カメラおよび画像処理プログラム
【課題】撮像画素と焦点検出画素を混載する撮像素子を備えたカメラにおいて、画像信号の品質を向上させる。
【解決手段】撮像画素があるべき画素位置に焦点検出用画素を配置し、焦点検出画素位置における画像信号を形成する場合、該焦点検出画素位置が合焦しているか否かを判定し（Ｓ２１０）する。肯定判定の場合は、該焦点検出画素位置の像高と、光学系の絞り開口径と、射出瞳距離とに応じて光量比を算出し（Ｓ２２０）、算出した該光量比と該焦点検出画素位置の焦点検出画素のデータとに基づき、該焦点検出画素位置の画像信号を算出する（Ｓ２３０）。否定判定の場合は、該焦点検出画素位置の焦点検出画素のデータと、該焦点検出画素位置の焦点検出画素を挟む２つの焦点検出画素のデータとに基づき、該焦点検出画素位置の画像信号を算出する（Ｓ２４０）。
【解決手段】撮像画素があるべき画素位置に焦点検出用画素を配置し、焦点検出画素位置における画像信号を形成する場合、該焦点検出画素位置が合焦しているか否かを判定し（Ｓ２１０）する。肯定判定の場合は、該焦点検出画素位置の像高と、光学系の絞り開口径と、射出瞳距離とに応じて光量比を算出し（Ｓ２２０）、算出した該光量比と該焦点検出画素位置の焦点検出画素のデータとに基づき、該焦点検出画素位置の画像信号を算出する（Ｓ２３０）。否定判定の場合は、該焦点検出画素位置の焦点検出画素のデータと、該焦点検出画素位置の焦点検出画素を挟む２つの焦点検出画素のデータとに基づき、該焦点検出画素位置の画像信号を算出する（Ｓ２４０）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画素と焦点検出画素を混載する撮像素子を備えたカメラおよび撮影画像データに対して画像処理を行う画像処理プログラムに関する。
【背景技術】
【０００２】
特許文献１には撮像画素と焦点検出画素を混載する撮像素子を備えた固体撮像装置が開示されている。この固体撮像装置では、隣接して１列に並んだ緑色の色フィルタを有する画素のマイクロレンズ中心を通る直線上に並び、隣接画素同士でマイクロレンズ中心に対して逆向きにずれた焦点検出画素で、撮影レンズの瞳の特定領域を透過する光束を受光する。そして、これら互いに逆向きにずれた焦点検出画素から得られる第一の像信号と第二の像信号の位相差に基づいて撮影レンズの焦点状態を検出している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３０３４０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の固体撮像装置においては、以下のような問題があった。すなわち、撮像画素があるべき画素位置に焦点検出用画素が配置されている。したがって、焦点検出画素位置における画像信号を形成する場合には、該焦点検出画素位置が合焦しているか否かに関わらず、一律に、焦点検出用画素の受光した信号をそのまま画像信号として用いて画像を生成しているので、生成された画像信号の品質が良くなかった。
【課題を解決するための手段】
【０００５】
（１）請求項１に記載のカメラは、所定の色配列に対応する分光感度を有する複数の撮像画素と、複数の焦点検出画素とが２次元的に配列され、複数の焦点検出画素が、一対の焦点検出光束を受光する第１の焦点検出画素列と第２の焦点検出画素列とを形成する撮像素子と、撮像素子上に被写体像を形成する光学系と、第１の焦点検出画素列に含まれる複数の第１の焦点検出画素が出力する画素信号と、第２の焦点検出画素列に含まれる複数の第２の焦点検出画素が出力する画素信号とに基づき、被写体像についての焦点状態を検出し、第１の検出出力または第２の検出出力を出力する焦点検出手段と、焦点検出手段が第１の検出出力を出力したとき、所定の演算処理により、複数の焦点検出画素の各々が配置された焦点検出画素位置の撮像信号を算出する第１の演算処理手段と、焦点検出手段が第２の検出出力を出力したとき、第１の演算処理手段とは異なる演算処理により、複数の焦点検出画素の各々が配置された焦点検出画素位置の撮像信号を算出する第２の演算処理手段と、複数の撮像画素が出力する撮像信号と、第１の演算処理手段または第２の演算処理手段が算出する焦点検出画素位置の撮像信号とに基づき画像データを生成する画像生成手段とを備えることを特徴とする。
（２）請求項１２に記載の画像処理プログラムは、複数の撮像画素の撮像信号データと、一対の焦点検出画素列の焦点検出信号列データを構成する複数の焦点検出画素の焦点検出信号データとを含むＲＡＷ画像データから被写体画像データを生成する処理をコンピュータに実行させる画像処理プログラムであって、ＲＡＷ画像データを読み込む読み込み手順と、焦点検出信号列データに基づき、被写体画像の焦点検出位置における被写体画像についての焦点状態を検出し、第１の検出出力または第２の検出出力を出力する焦点検出手順と、焦点検出手順により第１の検出出力が出力されたとき、所定の演算処理により、焦点検出位置の撮像信号データを算出する第１の演算処理手順と、焦点検出手順により第２の検出出力が出力されたとき、第１の演算処理手順とは異なる演算処理により、焦点検出位置の撮像信号データを算出する第２の演算処理手順と、複数の撮像画素の撮像信号データと、第１の演算処理手順または第２の演算処理手手順により算出される焦点検出位置の撮像信号データとに基づき被写体画像データを生成する画像生成手順とをコンピュータに実行させることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、撮像画素と焦点検出画素を混載する撮像素子を備えたカメラにおいて、画像信号の品質を向上させることができる。
【図面の簡単な説明】
【０００７】
【図１】第１の実施の形態のデジタルスチルカメラの構成を示す横断面図である。
【図２】交換レンズの撮影画面上における焦点検出位置を示す図である。
【図３】撮像素子の詳細な構成を示す正面図である。
【図４】撮像画素が受光する撮影光束の様子を説明するための図である。
【図５】焦点検出画素が受光する撮影光束の様子を説明するための図である。
【図６】デジタルスチルカメラの撮像動作を示すフローチャートである。
【図７】色収差情報を像高（光軸からの距離）の関数として示した図である。
【図８】焦点検出画素位置の画像データ算出処理の詳細を示すフローチャートである。
【図９】予定焦点面を示す側面図および正面図である。
【図１０】一対の焦点検出光束と光学系の絞り開口の関係を示した図である。
【図１１】一対の焦点検出光束と光学系の絞り開口の関係を示した図である。
【図１２】一対の焦点検出光束と光学系の絞り開口の関係を示した図である。
【図１３】所定の射出瞳距離および絞り開口径における光量比を像高の関数として示した図である。
【図１４】撮影画面上において光軸と焦点検出画素位置の角度と像高とを定めた図である。
【図１５】撮像素子の詳細な構成を示す正面図における４画素×４画素の領域を示した拡大図である。
【図１６】撮像素子の詳細な構成を示す正面図である。
【図１７】撮像素子の詳細な構成を示す正面図における８画素×８画素の領域を示した拡大図である。
【図１８】撮像素子の詳細な構成を示す正面図である。
【図１９】撮像素子の詳細な構成を示す正面図である。
【図２０】撮像素子の詳細な構成を示す正面図である。
【図２１】焦点検出画素の正面図である。
【図２２】画像処理装置における画像処理プログラムを用いた焦点検出画素位置の画像データ算出処理を説明するための図である。
【発明を実施するための形態】
【０００８】
−−−第１の実施の形態−−−
第１の実施の形態のカメラとして、レンズ交換式のデジタルスチルカメラを例に挙げて説明する。図１は第１の実施の形態のデジタルスチルカメラの構成を示す横断面図である。本実施の形態のデジタルスチルカメラ２０１は、交換レンズ２０２とカメラボディ２０３とから構成され、交換レンズ２０２がマウント部２０４を介してカメラボディ２０３に装着される。カメラボディ２０３にはマウント部２０４を介して種々の撮影光学系を有する交換レンズ２０２が装着可能である。
【０００９】
交換レンズ２０２は、レンズ２０９、ズーミング用レンズ２０８、フォーカシング用レンズ２１０、絞り２１１、レンズ駆動制御装置２０６などを備えている。レンズ駆動制御装置２０６は、不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成される。レンズ駆動制御装置２０６は、フォーカシング用レンズ２１０の焦点調節と絞り２１１の開口径調節のための駆動制御や、ズーミング用レンズ２０８、フォーカシング用レンズ２１０および絞り２１１の状態検出などを行う。また、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信とカメラ情報（デフォーカス量や絞り値など）の受信を行う。絞り２１１は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。
【００１０】
カメラボディ２０３は、撮像素子２１２、ボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、接眼レンズ２１７、メモリカード２１９などを備えている。撮像素子２１２には、撮像画素が二次元状に配置されるとともに、焦点検出位置（焦点検出エリア）に対応した部分に焦点検出画素が組み込まれている。この撮像素子２１２については詳細を後述する。
【００１１】
ボディ駆動制御装置２１４は、マイクロコンピューター、メモリ、駆動制御回路などから構成される。ボディ駆動制御装置２１４は、撮像素子２１２の駆動制御と、撮像画素および焦点検出画素からの画素信号の読み出しと、焦点検出画素からの画素信号に基づく焦点検出演算と、交換レンズ２０２の焦点調節とを繰り返し行う。また、焦点検出画素位置の画像信号の生成を含む画像処理、画像情報の記録、デジタルスチルカメラ２０１の動作制御なども行う。また、ボディ駆動制御装置２１４は電気接点２１３を介してレンズ駆動制御装置２０６と通信を行い、レンズ情報の受信とカメラ情報の送信を行う。
【００１２】
液晶表示素子２１６は電気的なビューファインダー（ＥＶＦ：Electronic View Finder）として機能する。液晶表示素子駆動回路２１５は撮像素子２１２から出力される画像データに基づき、画像を液晶表示素子２１６に表示し、撮影者は接眼レンズ２１７を介してその画像を観察することができる。メモリカード２１９は、撮像素子２１２により撮像された画像データを記憶する画像ストレージである。内蔵メモリ２２０は、焦点検出画素位置の画像信号の生成の際に使用する焦点検出画素の光量比に関する情報が記憶格納されている。
【００１３】
交換レンズ２０２を通過した光束により、撮像素子２１２の受光面上に被写体像が形成される。この被写体像は撮像素子２１２により光電変換され、撮像画素と焦点検出画素の画素信号としてボディ駆動制御装置２１４へ送られる。
【００１４】
ボディ駆動制御装置２１４は、撮像素子２１２の焦点検出画素からの画素信号に基づいてデフォーカス量を算出するとともに、該デフォーカス量に色収差補正を加えてレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像素子２１２の撮像画素および焦点検出画素からの画素信号を処理して画像データを生成し、メモリカード２１９に格納するとともに、撮像素子２１２が出力する画像データを液晶表示素子駆動回路２１５へ送り、画像を液晶表示素子２１６に表示させる。さらに、ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６へ絞り制御情報を送って絞り２１１の開口制御を行う。
【００１５】
レンズ駆動制御装置２０６は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ２０８とフォーカシング用レンズ２１０の位置と絞り２１１の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択する。なおレンズ情報には射出瞳距離の情報も含まれる。
【００１６】
レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ２１０を合焦位置へ駆動する。また、レンズ駆動制御装置２０６は受信した絞り値に応じて絞り２１１を駆動する。
【００１７】
図２は、交換レンズ２０２の撮影画面上における焦点検出位置（焦点検出エリア）を示す図であり、後述する撮像素子２１２上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする領域（焦点検出エリア、焦点検出位置）の一例を示す。この例では、矩形の撮影画面１００上の中央および上下左右の９箇所に焦点検出エリア１０１〜１０９が配置される。長方形で示す焦点検出エリアの長手方向に、焦点検出画素が右上がり斜め４５度方向に直線的に配列される。
【００１８】
図３は撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２上の焦点検出エリア１０１の近傍を拡大して示す。撮像素子２１２には撮像画素３１０が二次元正方格子状に稠密に配列される。撮像画素３１０は赤画素（Ｒ）、緑画素（Ｇ）、青画素（Ｂ）からなり、ベイヤー配列の配置規則によって配置されている。焦点検出エリア１０１に対応する位置には撮像画素３１０と同一の画素サイズを有し、緑画素と同じ分光感度を備えた焦点検出用の焦点検出画素３１３と３１４とが、交互に、本来緑画素が連続的に配置されるべき斜め右上がり４５度方向の直線上に連続して配列される。
【００１９】
撮像画素３１０は、図３に示すように矩形のマイクロレンズ１０、後述の遮光マスクで受光領域を正方形に制限された光電変換部１１、および色フィルタ（不図示）から構成される。色フィルタは赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、それぞれの色に対応する分光感度特性を有している。撮像素子２１２には、各色フィルタを備えた撮像画素３１０がベイヤー配列されている。
【００２０】
焦点検出画素３１３は、図３に示すように矩形のマイクロレンズと遮光マスクで受光領域を正方形の半分（正方形を左上がり４５度方向の対角線で２等分した場合の右上半分）に制限された光電変換部、および緑（Ｇ）の色フィルタから構成される。
【００２１】
また、焦点検出画素３１４は、図３に示すように矩形のマイクロレンズと遮光マスクで受光領域を正方形の半分（正方形を左上がり４５度方向の対角線で２等分した場合の左下半分）に制限された光電変換部、および緑（Ｇ）の色フィルタから構成される。
【００２２】
焦点検出画素３１３と焦点検出画素３１４とをマイクロレンズを重ね合わせて表示すると、遮光マスクで受光領域を正方形の半分に制限された光電変換部が右上がり斜め４５度方向に並んでいる。
【００２３】
また、上述した正方形を半分にした受光領域の部分に正方形を半分にした残りの部分（破線部分）を加えると、撮像画素の受光領域と同じサイズの正方形となる。
【００２４】
図４は、図３に示す撮像画素３１０が受光する撮影光束の様子を説明するための図であって、右上がり斜め４５度方向の直線で撮像画素配列の断面をとっている。
【００２５】
撮像素子上に配列された全ての撮像画素の光電変換部１１は、光電変換部１１に近接して配置された遮光マスク開口を通過した光束を受光する。遮光マスク開口の形状は、各撮像画素のマイクロレンズ１０により、マイクロレンズ１０から測距瞳距離ｄだけ離間した射出瞳９０上の全撮像画素共通な領域９５に投影される。
【００２６】
従って各撮像画素の光電変換部１１は、領域９５と各撮像画素のマイクロレンズ１０を通過する光束７１を受光し、領域９５を通過して各撮像画素のマイクロレンズ１０へ向う光束７１によって各マイクロレンズ１０上に形成される像の強度に対応した信号を出力する。
【００２７】
図５は、図３に示す焦点検出画素３１３，３１４が受光する撮影光束の様子を図４と比較して説明するための図であって、右上がり斜め４５度方向の直線で焦点検出画素配列の断面をとっている。
【００２８】
撮像素子上に配列された全ての焦点検出画素の光電変換部１３，１４は、光電変換部１３，１４に近接して配置された遮光マスク開口を通過した光束を受光する。遮光マスク開口の形状は、各焦点検出画素３１３のマイクロレンズ１０によりマイクロレンズ１０から測距瞳距離ｄだけ離間した射出瞳９０上の焦点検出画素３１３に全てに共通した領域９３に投影される。同じく、遮光マスク開口３０ｃの形状は、各焦点検出画素３１４のマイクロレンズ１０によりマイクロレンズ１０から測距瞳距離ｄだけ離間した射出瞳９０上の焦点検出画素３１４に全てに共通した領域９４に投影される。一対の領域９３，９４を測距瞳と呼ぶ。
【００２９】
従って、各焦点検出画素３１３の光電変換部１３は、領域９３と各撮像画素のマイクロレンズ１０を通過する光束７３を受光し、領域９３を通過して各撮像画素のマイクロレンズ１０へ向う光束７３によって各マイクロレンズ１０上に形成される像の強度に対応した信号を出力する。また、各焦点検出画素３１４の光電変換部１４は、領域９４と各撮像画素のマイクロレンズ１０とを通過する光束７４を受光し、領域９４を通過して各撮像画素のマイクロレンズ１０へ向う光束７４によって各マイクロレンズ１０上に形成される像の強度に対応した信号を出力する。
【００３０】
一対の焦点検出画素３１３，３１４が受光する光束７３，７４が通過する射出瞳９０上の領域９３と９４を統合した領域は、撮像画素３１０が受光する光束７１が通過する射出瞳９０上の領域９５と一致する。射出瞳９０上において光束７３，７４は光束７１に対して相補的な関係になっている。
【００３１】
ある焦点検出画素の位置に仮想的な撮像画素があると仮定した場合には、該仮想的な撮像画素が受光する光束７１に対してその焦点検出画素が受光する光束７３（７４）とその焦点検出画素に隣接する焦点検出画素が受光する光束７４（７３）は相補的な関係となる。
【００３２】
すなわち、撮像画素と焦点検出画素の構成を同一にするとともに、撮像画素の光電変換部の受光領域に対して、一対の焦点検出画素の光電変換部の受光領域を相補的にすることにより、隣接した一対の焦点検出画素の出力を加算した出力と仮想的な撮像画素の出力とは等しい関係となり、隣接した一対の焦点検出画素の出力を加算することで仮想的な撮像画素の出力を高精度に再現することができることになる。
【００３３】
上述した一対の焦点検出画素を交互にかつ直線状に多数配置する。各焦点検出画素の光電変換部の出力を測距瞳９３および測距瞳９４に対応した一対の出力グループにまとめることによって、測距瞳９３と測距瞳９４をそれぞれ通過する一対の光束が焦点検出画素配列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に一対の測距瞳の重心間隔と測距瞳距離の比例関係に応じた変換演算を行うことによって、予定結像面（マイクロレンズアレイの位置）に対する現在の結像面（撮影画面１００上で定められる焦点検出位置における実際の結像面）の偏差（デフォーカス量）が算出される。
【００３４】
図６は、一実施の形態のデジタルスチルカメラ２０１の撮像動作を示すフローチャートである。ボディ駆動制御装置２１４は、ステップＳ１００でデジタルスチルカメラ２０１の電源がオンされると、ステップＳ１１０以降の撮像動作を開始する。ステップＳ１１０において、撮像画素３１０のデータの一部を間引きして読み出し、液晶表示素子２１６に表示させる。続くステップＳ１２０では、焦点検出画素配列から一対の像に対応した一対の像データを読み出すとともに、焦点検出画素配列の周囲の撮像画素３１０のデータを読み出す。なお、焦点検出エリアは、撮影者が焦点検出エリア選択部材（不図示）を用いて焦点検出エリア１０１〜１０９の内のいずれかを予め選択しているものとする。
【００３５】
ステップＳ１３０では、読み出された一対の像データに基づいて後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を行って像ズレ量を演算し、さらに像ズレ量をデフォーカス量に変換する。
【００３６】
ステップＳ１３５では、焦点検出画素配列の周囲の撮像画素３１０から読み出されたデータに基づき、焦点検出画素配列を含む領域の色を検出するとともに、該検出された色と焦点検出画素３１３、３１４の色（緑）との差によって生じる色収差に応じた補正量をレンズ駆動制御装置２０６から読み出した撮影光学系の色収差情報に基づいて決定し、該補正量によりデフォーカス量を補正する。
【００３７】
ステップＳ１４０で、合焦近傍か否か、すなわち補正デフォーカス量の絶対値が所定値以内であるか否かを調べる。合焦近傍でないと判定された場合は、ステップＳ１５０へ進み、補正デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシング用レンズ２１０を合焦位置に駆動させる。その後、ステップＳ１１０へ戻って上述した動作を繰り返す。
【００３８】
なお、焦点検出不能な場合もこのステップに分岐し、レンズ駆動制御装置２０６へスキャン駆動命令を送信し、交換レンズ２０２のフォーカシングレンズ用２１０を無限から至近までの間でスキャン駆動させる。その後、ステップＳ１１０へ戻って上述した動作を繰り返す。
【００３９】
ステップＳ１４０で合焦近傍であると判定された場合はステップＳ１６０へ進み、シャッターボタン（不図示）の操作によりシャッターレリーズがなされたか否かを判別する。シャッターレリーズがなされていないと判定された場合はステップＳ１１０へ戻り、上述した動作を繰り返す。一方、シャッターレリーズがなされたと判定された場合はステップＳ１７０へ進み、レンズ駆動制御装置２０６へ絞り調整命令を送信し、交換レンズ２０２の絞り値を制御Ｆ値（撮影者または自動により設定されたＦ値）にする。絞り制御が終了した時点で、撮像素子２１２に撮像動作を行わせ、撮像素子２１２の撮像画素３１０および全ての焦点検出画素３１３、３１４から画像データを読み出す。
【００４０】
ステップＳ１７５において、読み出された一対の像データに基づいて後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を行い、全ての焦点検出エリア１０１〜１０９における像ズレ量を演算する。
【００４１】
ステップＳ１８０では、全ての焦点検出エリア１０１〜１０９において焦点検出画素列の各焦点検出画素位置の画像データをステップＳ１７０で求めた像ズレ量に応じた算出方法で、焦点検出画素位置の焦点検出画素３１３、３１４のデータおよび該焦点検出画素３１３、３１４の周囲の焦点検出画素３１３、３１４のデータに基づき算出する。なおこの演算処理については後述する。続くステップＳ１９０では、撮像画素３１０の画素データおよびステップＳ１８０で求めた画素データからなる画像データをメモリカード２１９に記憶し、ステップＳ１１０へ戻って上述した動作を繰り返す。
【００４２】
図６のステップＳ１３０およびステップＳ１７０における像ズレ検出演算処理（相関演算処理、位相差検出処理）の詳細について以下説明する。
【００４３】
焦点検出画素３１３、３１４が検出する一対の像は、測距瞳９３、９４がレンズの絞り開口によりけられて光量バランスが崩れている可能性があるので、光量バランス崩れに対して像ズレ検出精度を維持できるタイプの相関演算を施す。
【００４４】
焦点検出画素列から読み出された一対のデータ列（Ａ１１〜Ａ１Ｍ、Ａ２１〜Ａ２Ｍ：Ｍはデータ数）に対し、特開２００７−３３３７２０号公報に開示された相関演算式（１）を行い、相関量Ｃ（ｋ）を演算する。
Ｃ（ｋ）＝Σ｜Ａ１ｎ・Ａ２ｎ＋１＋ｋ−Ａ２ｎ＋ｋ・Ａ１ｎ＋１｜ （１）
【００４５】
特開２００９−１４１７９１号公報に開示された算出方法により、相関量Ｃ（ｋ）の極小値Ｃ（ｘ）を与えるずらしｘを用いて像ズレ量ｓｈｆｔを算出することができる。こうして算出された像ズレ量に所定の変換係数Ｋｄを乗じてデフォーカス量ｄｅｆへ変換する。なお、変換係数Ｋｄは、測距瞳距離ｄを一対の測距瞳９３、９４の重心間隔で除算した値である。
ｄｅｆ＝Ｋｄ・ｓｈｆｔ （２）
【００４６】
式（２）で求めたデフォーカス量は緑フィルタを有する焦点検出画素配列の焦点検出画素３１３、３１４のデータに基づいて求められたものであり、従って、緑フィルタの分光感度特性を有する光の合焦面と撮像面の間の偏差を示している。本来は、焦点検出画素配列近傍の像の色（分光感度特性）についての合焦面と撮像面との間のデフォーカス量を求めたいので、式（２）で求めたデフォーカス量に色収差に関する補正量を加える。
【００４７】
レンズ駆動制御装置２０６には、絞り開口径、ズーミング、フォーカシングに応じた色収差情報が記憶されている。焦点検出画素３１３、３１４から画素信号を読み出した時点での交換レンズ２０２の絞り開口径、ズーミング、フォーカシングに応じた色収差情報がボディ駆動制御装置２１４に送られる。
【００４８】
図７に示すように、色収差情報は、緑フィルタの分光感度特性を有する光の合焦面位置を基準とした場合の赤フィルタおよび青フィルタの分光感度特性を有する光の合焦面位置の偏差（ΔＲ、ΔＢ）を像高ｈ（光軸からの距離）の関数として示したものである。
【００４９】
ボディ駆動制御装置２１４は、焦点検出画素配列の周囲の赤画素、緑画素、青画素それぞれの画素データの平均値Ｒｓ、Ｇｓ、Ｂｓを算出するとともに、焦点検出画素配列の平均的な像高ｈ１に応じて色収差情報より赤色収差ΔＲ（ｈ１）と青色収差ΔＢ（ｈ１）を算出する。
【００５０】
補正量Ｅは、赤色収差ΔＲ（ｈ１）および青色収差ΔＢ（ｈ１）の各々に、白色に対する赤色の成分比Ｒｓ／（Ｒｓ＋Ｇｓ＋Ｂｓ）および白色に対する青色の成分比Ｂｓ／（Ｒｓ＋Ｇｓ＋Ｂｓ）の各々を乗じた次式（３）で算出される。
Ｅ＝ΔＲ（ｈ１）・Ｒｓ／（Ｒｓ＋Ｇｓ＋Ｂｓ）＋ΔＢ（ｈ１）・Ｂｓ／（Ｒｓ＋Ｇｓ＋Ｂｓ） （３）
【００５１】
最終的に色収差が補正されたデフォーカス量ｄｅｆ’は次式（４）により求められる。
ｄｅｆ’＝ｄｅｆ＋Ｅ （４）
【００５２】
図６のステップＳ１８０における焦点検出画素位置の画像データ算出処理の詳細なフローチャートを図８に示す。なお、図８のフローチャートは、１つの焦点検出エリアにおける１つの焦点検出画素に対する処理であり、この処理が全ての焦点検出エリア１０１〜１０９の全ての焦点検出画素３１３、３１４に適用される。
【００５３】
ここで、焦点検出画素位置に仮想的に配置された撮像画素の画素データ（画像データ）の基本的な算出方法について述べる。
【００５４】
上述したように、図８のフローチャートに従った処理が開始される際には、焦点検出エリア１０１〜１０９のうち、撮影者が焦点検出エリア選択部材を用いて予め選択した焦点検出エリアにおいては既に像が合焦近傍にある。しかし、他の焦点検出エリアにおいては、像が合焦近傍にある場合もあるとともに、像が合焦近傍に無い場合もある。
【００５５】
一対の焦点検出画素３１３、３１４が受光する一対の光束は撮像画素３１０が受光する光束に対して相補的な関係になっている。したがって、同一の焦点検出画素位置に同時に一対の焦点検出画素が存在したと仮定すれば、一対の焦点検出画素の画素データを加算することにより、焦点検出画素位置に仮想的に配置された撮像画素の画素データを求めることができる。しかし１つの焦点検出画素位置には一対の焦点検出画素３１３、３１４の一方しか配置できないので、一対の焦点検出画素３１３、３１４のうちの一方の焦点検出画素の画素データは、該焦点検出画素を挟むもう一方の２つの焦点検出画素の画素データを平均することにより求める。
【００５６】
しかしながら、像が合焦近傍の場合には、上述した一方の焦点検出画素の画素データを求める際に、該焦点検出画素を挟むもう一方の２つの焦点検出画素の画素データを平均することが３画素にわたる画素データを平均することと同等となる。したがって、結果的に像の高周波成分が低減され、像の細密な構造が失われてしまう。
【００５７】
そこで、光学系により形成された像が合焦近傍の場合には、焦点検出画素位置の焦点検出画素の画素データのみから、焦点検出画素位置に仮想的に配置された撮像画素の画素データを算出することにより、像の高周波成分が低減を防止し、像の細密な構造を保存する。
【００５８】
焦点検出画素位置の画像データ算出処理が開始されると、ステップＳ２１０において、図６のステップＳ１７５で算出された像ズレ量の絶対値が所定閾値以下か否かを判定し、判定結果に応じて画像データの算出方法を変更する。具体的には、像ズレ量の絶対値が所定閾値以下、すなわち合焦近傍の場合は、像の空間周波数成分のうち、高周波成分が相対的に増加してコントラストの高い像となる。そこで、像の細密構造を高品質に再現するために、焦点検出画素位置の画像データの算出にあたって、焦点検出画素位置の焦点検出画素の画素データのみを用いる。合焦近傍においては、一対の焦点検出画素３１３、３１４の受光特性の同一性が高く（像の同じ部分を受光している）、一方の焦点検出画素の画素データを単に所定倍することで緑の撮像画素の画素データを再現できるため、焦点検出画素位置の画素データの再現品質を維持することができる。
【００５９】
また、像ズレ量の絶対値が所定閾値以上、すなわち合焦近傍でない場合は、像の空間周波数成分のうち、高周波成分が相対的に減少して像がぼける。したがって、像の細密構造を再現する必要がないとともに、合焦近傍でない場合は、一対の焦点検出画素の受光特性の同一性が崩れ（像の異なる部分を受光している）、一方の焦点検出画素の画素データを単に所定倍することだけでは焦点検出画素位置の画素データの再現品質が低下する。そこで、焦点検出画素位置の画像データの算出にあたって、焦点検出画素位置の焦点検出画素の画素データと、受光する光束に関して、該焦点検出画素位置の焦点検出画素と相補的な関係を有する該焦点検出画素の周囲の焦点検出画素の画素データを用いる。相補的な関係については後述する。
【００６０】
また、像ズレ量の絶対値を判定する閾値は、一対の焦点検出画素３１３、３１４の受光特性の同一性による高周波成分の再現効果を考慮して、画素ピッチ換算で１〜２画素ピッチ以内とするのが適当である。
【００６１】
ステップＳ２１０において合焦近傍と判定された場合は、ステップＳ２２０に進み、焦点検出画素位置の像高と、レンズ駆動制御装置２０６から読み出した絞り開口径および射出瞳距離とに応じ、内蔵メモリ２２０に記憶された光量比情報に基づき、焦点検出画素位置の光量比を算出する。
【００６２】
合焦近傍においても、交換レンズの射出瞳距離が図５に示す測距瞳距離ｄから離れている場合には、焦点検出画素位置の像高が高くなると、焦点検出画素に入射する光束がシェーディングによりけられる。このため、焦点検出画素の画素データを単に２倍しただけでは焦点検出画素位置の画素データ（仮想的な緑色の撮像画素の画素データ）を再現できない。したがって、シェーディングに応じた光量比（焦点検出画素位置に仮想的に一対の焦点検出画素が配置された場合の一対の焦点検出画素の画素データの出力比）を算出する必要がある。
【００６３】
図９は、予定焦点面９２を示す側面図および正面図である。図９（ａ）は、シェーディングに応じた光量比の変化（焦点検出光束のケラレ（口径蝕））を説明するための図である。図において、位置ｘ０（像高０、すなわち撮影画面１００の中心ｘ０に対応）と位置ｘ１（像高ｈ、すなわち撮影画面１００の外周近傍のｘ１に対応）とに位置する一対の焦点検出画素は、それぞれ予定焦点面９２の前方ｄにある測距瞳面９７において測距瞳領域９３、９４を通過する一対の焦点検出光束５３、５４および６３、６４を受光するように構成されている。予定焦点面９２の前方ｄ１（＜ｄ）の面９８に光学系の絞り開口９６がある場合には、位置ｘ０（像高０）にある一対の焦点検出画素が受光する一対の焦点検出光束５３、５４は、絞り開口９６により光軸９１に対して対称に口径蝕が発生する。そのため、一対の焦点検出画素が受光する光量のバランスは崩れず、光量の比は１である。
【００６４】
これに対し、位置ｘ１（像高ｈ）にある一対の焦点検出画素が受光する一対の焦点検出光束６３、６４は、絞り開口９６によって光軸９１に対して非対称に口径蝕が発生するために、焦点検出画素の配列方向によっては一対の焦点検出画素が受光する光量のバランスが崩れ、光量の比は１以外の値になる。
【００６５】
図１０、図１１、図１２は、焦点検出画素が撮影画面１００の外周近傍に対応する位置に配置された場合の一対の焦点検出光束６３、６４と光学系の絞り開口９６の関係を面９８上で示した図である。
【００６６】
図１０は、焦点検出画素が光軸に対して右上がり４５度対角方向の撮影画面１００の外周近傍であって右上に対応する位置に配置された場合の図であって、一対の焦点検出光束６３、６４は光学系の絞り開口９６によって不均等にけられている。
【００６７】
図１１は、焦点検出画素が光軸に対して垂直方向の撮影画面１００の外周近傍であって上方に対応する位置に配置された場合の図であって、一対の焦点検出光束６３、６４は光学系の絞り開口９６によって不均等にけられているが、図１０の状態よりも不均等性は減少している。
【００６８】
図１２は、焦点検出画素が光軸に対して左上がり４５度対角方向の撮影画面１００の外周近傍であって左上に対応する位置に配置された場合の図であって、一対の焦点検出光束６３、６４は光学系の絞り開口９６によって均等にけられている。
【００６９】
図１３は、所定の射出瞳距離および絞り開口径における光量比を像高ｈの関数として表した場合の図である。光量比とは、一対の焦点検出光束６３、６４を受光する一対の焦点検出画素の画素信号の出力比（図１０〜図１２の一対の焦点検出光束６３，６４の開口９６によってけられていない部分の面積の比）をいう。図１３は、光量比が１以下になるように出力（小）／出力（大）の値で示されている。また、Ｇ０は、一対の測距瞳の並び方向（右上がり４５度方向）の直線から焦点検出画素位置と光軸とを結ぶ直線までの反時計方向で測った交差角度が０度の場合（図１０に対応）の光量比を示す。交差角度を説明するための図である図９（ｂ）において、一番右側に位置する右上がり４５度方向の破線で示した測距瞳の並び方向と、像高ｈの位置ｘ１と像高０の位置ｘ０とを結んだ直線とが形成する交差角度が０度であることが表されている。
【００７０】
同じくＧ４５は、一対の測距瞳の並び方向（右上がり４５度方向）の直線から焦点検出画素位置と光軸とを結ぶ直線までの反時計方向で測った交差角度が４５度の場合（図１１に対応）の光量比を示す。図９（ｂ）において、中央に位置する右上がり４５度方向の破線で示した測距瞳の並び方向と、像高ｈの位置ｘ１と像高０の位置ｘ０とを結んだ直線とが形成する交差角度が４５度であることが表されている。
【００７１】
同じくＧ９０は、一対の測距瞳の並び方向（右上がり４５度方向）の直線から焦点検出画素位置と光軸とを結ぶ直線までの反時計方向で測った交差角度が９０度の場合（図１２に対応）の光量比を示す。図９（ｂ）において、一番左側に位置する右上がり４５度方向の破線で示した測距瞳の並び方向と、像高ｈの位置ｘ１と像高０の位置ｘ０とを結んだ直線とが形成する交差角度が９０度であることが表されている。この場合は、一対の焦点検出光束６３，６４が開口９６によって均等にけられるので、光量比は像高によらず常に１になる。また、一対の測距瞳の並び方向（右上がり４５度方向）の直線と、焦点検出画素位置の光軸からの方向の直線との交差角度が１３５度の場合の光量比は、Ｇ４５と等しい。
【００７２】
上述した光量比情報は、射出瞳距離および絞り開口径のすべての組み合わせに対して内蔵メモリ２２０に記憶されており、レンズ駆動制御装置２０６から読み出した絞り開口径および射出瞳距離と、焦点検出画素位置の像高ｈ１とに応じて、光量比Ｇ０（ｈ１）、Ｇ４５（ｈ１）、Ｇ９０（ｈ１）が定められる。
【００７３】
図１４のように、撮影画面１００上において光軸４００、焦点検出画素位置４０１を定め、焦点検出画素位置の角度θと像高ｈ１を定める。このようにして定めた焦点検出画素位置における光量比を、光量比Ｇ０（ｈ１）、Ｇ４５（ｈ１）、Ｇ９０（ｈ１）の重み付け加算平均で求める。なお、上述したように、一対の焦点検出画素の画素信号のいずれの出力が光量比の分母または分子に該当するかについては、該一対の焦点検出画素の画素信号の出力の大小関係で定まるため、焦点検出画素の種類と光軸に対する位置に応じて、光量比として１以下の値を用いるか、逆数を用いるかを決定することができる。
【００７４】
例えば、焦点検出画素位置の角度θが４５度から９０度の間にあり、一対の焦点検出画素の画素信号の出力のうち、小さい出力を出力する焦点検出画素（焦点検出光束６４を受光する焦点検出画素）の場合には、該一対の焦点検出画素の画素信号の出力のうち、大きい出力を出力する焦点検出画素に対する光量比の値Ｇ（θ、ｈ１）は次式（５）となる。具体的な一例としては、Ｇ０（ｈ１）とＧ４５（ｈ１）とを角度θに応じた比例配分計算により、Ｇ（θ、ｈ１）を求めることができる。
Ｇ（θ、ｈ１）＝Ｇ０（ｈ１）・（９０−θ）／４５＋Ｇ４５（ｈ１）・（θ−４５）／４５ （５）
【００７５】
また、例えば、角度θが９０度から１３５度の間にあり、一対の焦点検出画素の画素信号の出力のうち、大きい出力を出力する焦点検出画素（焦点検出光束６３を受光する焦点検出画素）の場合には、該一対の焦点検出画素の画素信号の出力のうち、小さい出力を出力する焦点検出画素に対する光量比の値Ｇ（θ、ｈ１）は次式（６）となる。具体的な一例としては、Ｇ４５（ｈ１）の逆数とＧ９０（ｈ１）の逆数とを角度θに応じた比例配分計算により、Ｇ（θ、ｈ１）を求めることができる。
Ｇ（θ、ｈ１）＝（１／Ｇ４５（ｈ１））・（１３５−θ）／４５＋（１／Ｇ９０（ｈ１））・（θ−９０）／４５ （６）
【００７６】
以上のようにして、ステップＳ２２０において焦点検出画素位置の光量比Ｇ（θ、ｈ１）が算出されると、次に、ステップＳ２３０において、算出された光量比Ｇ（θ、ｈ１）と焦点検出画素の画素データに基づき焦点検出画素位置の画像データ（仮想的な緑の撮像画素の画素データ）が求められる。
【００７７】
図１５は、右上がり斜め４５度方向に焦点検出画素３１３、３１４を配列した場合の４画素×４画素の領域を示した拡大図であって、各焦点検出画素３１３、３１４の画素データを、図のようにＡ４１、Ａ３２、Ａ２３、Ａ１４で示している。画像データを算出すべき焦点検出画素位置にある焦点検出画素の画素データをＡ２３とすると、該焦点検出画素位置の画像データＧ２３は以下に示す式（７）により求められる。
Ｇ２３＝Ａ２３・（１＋１／Ｇ（θ、ｈ１）） （７）
【００７８】
一方、ステップＳ２１０において合焦近傍で無いと判定された場合は、ステップＳ２４０で焦点検出画素の画素データと該焦点検出画素を挟む２つの焦点検出画素の画素データに基づき、焦点検出画素位置の画像データ（仮想的な緑の撮像画素の画素データ）を算出する。
【００７９】
前述したように、一対の焦点検出画素３１３、３１４が受光する一対の光束は、撮像画素３１０が受光する光束に対して相補的な関係にある。よって、焦点検出画素位置にある仮想的な撮像画素の出力は、その位置にある焦点検出画素の出力とそれと一対となる隣接した焦点検出画素の出力を加算することにより得られる。ただし、隣接する同等な焦点検出画素は２つあるので、この２つの焦点検出画素の出力が平均されて隣接する焦点検出画素の出力とされる。
【００８０】
図１５において、画像データを算出すべき焦点検出画素位置にある焦点検出画素の画素データをＡ２３とすると、該焦点検出画素位置の画像データＧ２３は、以下に示す式（８）により求められる。
Ｇ２３＝Ａ２３＋（Ａ１４＋Ａ３２）／２ （８）
【００８１】
同じく、画像データを算出すべき焦点検出画素位置にある焦点検出画素の画素データをＡ３２とすると、該焦点検出画素位置の画像データＧ３２は、以下に示す式（９）により求められる。
Ｇ３２＝Ａ３２＋（Ａ２３＋Ａ４１）／２ （９）
【００８２】
ステップＳ２３０またはステップＳ２４０において、焦点検出画素位置の画像データ（仮想的な緑の撮像画素の画素データ）が算出されると、ステップＳ２５０では、すべての焦点検出エリアにおいて、画像データの算出を終了したか否かを判定する。否定判定の場合は、画像データの算出が未了の焦点検出エリアにおいて、ステップＳ２１０以降の処理を繰り返す。肯定判定の場合は、図６に示すフローチャートへ処理を戻す。
【００８３】
上記実施形態において、撮像素子は、複数色の撮像画素３１０が所定の色配列規則に従って２次元的に配列されている。焦点検出画素３１３、３１４は、撮像画素３１０と同一の光学的構成、かつ撮像画素３１０と同一の分光感度を備える。さらに、撮像画素３１０と同色の焦点検出画素３１３、３１４は、同色の撮像画素３１０が配置される色配列規則に従って配列される。一対の焦点検出画素３１３、３１４（第１および第２の種類の焦点検出画素）が受光する光束は、撮像画素３１０が受光する光束に対して相補的になっている構成を有している。
【００８４】
そして、焦点検出画素位置における仮想的な撮像画素の画素信号を算出する際に、焦点検出画素位置における焦点調節状態を考慮する。焦点検出画素位置における焦点調節状態がほぼ合焦（像ズレ量の絶対値が所定閾値以内）の場合には、同一の焦点検出画素位置において、仮に一対の焦点検出画素がともに設けられていたならば、該一対の焦点検出画素は、互いに像の同一部分を受光していることとなる。すなわち、該焦点検出画素位置に配置された焦点検出画素の画素信号値と仮想的な撮像画素の画素信号値との間に光量比に応じた比例関係があることとなる。この場合、該焦点検出画素位置に配置された焦点検出画素の画素信号値のみに基づいて仮想的な撮像画素の画素信号値を求めることにより、合焦時の高周波成分を多く含んだ像の画像データを再現することができる。
【００８５】
また、焦点検出画素位置における焦点調節状態が非合焦（像ズレ量の絶対値が所定閾値以上）の場合には、上述した焦点検出画素列から読み出された一対のデータ列は、互いに偏位している。したがって、同一の焦点検出画素位置において、一対の焦点検出画素が像の異なる部分を受光しているので、焦点検出画素位置に配置された焦点検出画素の画素信号値と仮想的な撮像画素の画素信号値との間の比例関係が崩れる。この場合、焦点検出画素位置に配置された仮想的な撮像画素の画素信号は、該焦点検出画素位置に一対の焦点検出画素がともに配置されたと仮定すれば、該一対の焦点検出画素の画素信号を加算したものとなる。すなわち、該焦点検出画素位置に配置された第１の種類の焦点検出画素の画素信号値と、撮像画素が受光する撮像光束に対し、該第１の種類の焦点検出画素が受光する光束と相補的な関係となる光束を受光する第２の種類の焦点検出画素であり、かつ該第１の種類の焦点検出画素の近傍に存在する第２の種類の焦点検出画素の画素信号値と基づいて、仮想的な撮像画素の画素信号値を求める。これにより、非合焦時の高周波成分が減少した像の画像データを良好に再現することができる。
【００８６】
また、焦点検出画素位置における仮想的な撮像画素の画素信号を算出する際に、焦点検出画素の画素信号のみで算出できるので、焦点検出画素の周囲に存在する撮像画素の出力を用いるような複雑な画素補間演算を行う必要がなくなる。
【００８７】
また、撮像画素と同じ構造かつ同じ分光感度を備えた焦点検出画素を、撮像画素と同じ色配列規則に従って配置しているので、焦点検出画素用の遮光マスクの変更を除いて撮像素子の製造上において特別な工程が不要となる。
【００８８】
また、焦点検出画素は、撮像画素と同様に、１つの画素に１つの光電変換部を備えた構成となっているので、撮像画素のみで構成される撮像素子と同一の回路構成、信号線の配線を適用でき、撮像素子の製造上において特別な工程が不要となる。
【００８９】
また、上記のように焦点検出画素が色フィルタを有している場合には、焦点検出画素の周囲に配置された撮像画素の画素信号に基づいて像の色情報を検出し、該色情報に基づいて色収差補正を行うことにより、より正確な合焦を達成することができる。
【００９０】
−発明の他の実施の形態−
上述の実施形態の撮像素子２１２においては、緑の分光感度を備えた一対の焦点検出画素３１３、３１４を、ベイヤー配列された撮像画素配列の緑画素の位置に右上がり斜め４５度方向に配列しているが、これ以外のパターンで焦点検出画素３１３、３１４を配列するようにしても構わない。
【００９１】
図１６は、別実施形態の撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２上の焦点検出エリアの近傍を拡大して示す。撮像素子２１２には、撮像画素３１０が二次元正方格子状に稠密に配列される。焦点検出エリアに対応する位置には、撮像画素と同一の画素サイズを有し、かつ青画素と同じ分光感度を備えた焦点検出用の焦点検出画素５１３、５１４のペアが、図に示すように本来青画素が配置されるべき斜め右上がり４５度方向の直線上に連続して配列される。
【００９２】
図１７は、上記実施形態の８画素×８画素の領域を示した図であって、青色の分光感度を有する焦点検出画素の画素信号をＡ７２、Ａ５４、Ａ３６、Ａ１８で示している。
【００９３】
画素信号Ａ３６、Ａ５４を生成する焦点検出画素の位置に、仮想的に青画素が配置されているとした場合の画素信号をＢ３６、Ｂ５４とすれば、これらは、以下の式（１０）〜（１３）により求められる。
【００９４】
すなわち、画素信号Ａ３６、Ａ５４を生成する焦点検出画素の位置における焦点調節状態が合焦近傍である場合は、画素信号Ａ３６、Ａ５４を生成する焦点検出画素の位置（角度θ、像高ｈ）の光量比をＧａ（θ、ｈ）、Ｇｂ（θ、ｈ）とすると、式（７）と同様にして、以下に示す式（１０）、（１１）が得られる。
Ｂ３６＝Ａ３６・（１＋１／Ｇａ（θ、ｈ）） （１０）
Ｂ５４＝Ａ５４・（１＋１／Ｇｂ（θ、ｈ）） （１１）
【００９５】
画素信号Ａ３６、Ａ５４を生成する焦点検出画素の位置における焦点調節状態が合焦近傍でない場合は、式（８）、（９）と同様にして、以下に示す式（１２）、（１３）が得られる。
Ｂ３６＝Ａ３６＋（Ａ５４＋Ａ１８）／２ （１２）
Ｂ５４＝Ａ５４＋（Ａ７２＋Ａ３６）／２ （１３）
【００９６】
上記実施形態においては、第１の実施の形態と比して、焦点検出画素の配置密度が低くなるので、より高画質な画像が得られる。
【００９７】
図１８は、別実施形態の撮像素子２１２の詳細な構成を示す正面図であって、焦点検出画素配列の近傍を拡大して示す。撮像素子２１２には、撮像画素３１０が二次元正方格子状に稠密に配列される。撮像画素３１０の色配列規則はＲＧＢ順次ストライプ配列となっており、赤、緑、青の撮像画素３１０がこの順に列方向に配列している。撮像画素３１０と同一の画素サイズを備え、かつ緑画素と同じ分光感度を備えた焦点検出用の焦点検出画素３２３と３２４が、緑の撮像画素３１０が配列されるべき列に直線上に連続して交互に配列される。
【００９８】
焦点検出画素３２３は、矩形のマイクロレンズと遮光マスクで受光領域を正方形の半分（正方形を水平線で２等分した場合の上半分）に制限された光電変換部、および緑（Ｇ）の色フィルタとから構成される。
【００９９】
また、焦点検出画素３２４は、矩形のマイクロレンズと遮光マスクで受光領域を正方形の半分（正方形を水平線で２等分した場合の下半分）に制限された光電変換部、および緑（Ｇ）の色フィルタとから構成される。
【０１００】
焦点検出画素３２３と焦点検出画素３２４とをマイクロレンズを重ね合わせて表示すると、遮光マスクで受光領域を制限された２つの光電変換部が垂直方向に並んでいる。
【０１０１】
また、上述した正方形を半分にした受光領域の部分に正方形を半分にした残りの部分（破線部分）を加えると、撮像画素３１０の受光領域と同じサイズの正方形となる。
【０１０２】
上記のような構成の撮像素子２１２においても本発明を適用することが可能であり、第１の実施の形態と比して、焦点検出画素３２３、３２４のサンプリングピッチが短くなるので、焦点検出精度が向上する。
【０１０３】
図１９は、別実施形態の撮像素子２１２の詳細な構成を示す正面図であって、焦点検出画素配列の近傍を拡大して示す。撮像素子２１２には、撮像画素３１０が二次元正方格子状に稠密に配列される。撮像画素３１０の色配列規則はＧストライプＲＢ市松配列となっている。撮像画素３１０と同一の画素サイズを備え、かつ緑画素と同じ分光感度を備えた焦点検出用の焦点検出画素３２３、３２４が、緑の撮像画素３１０の配列されるべき位置に直線上に連続して一対のペアとなって交互に配列される。
【０１０４】
上記のような構成の撮像素子においても本発明を適用することが可能であり、第１の実施の形態と比して、焦点検出画素のサンプリングピッチが短くなるので、焦点検出精度が向上する。
【０１０５】
図２０は、別実施形態の撮像素子２１２の詳細な構成を示す正面図であり、焦点検出画素配列の近傍を拡大して示す。撮像素子２１２には、撮像画素３１０がベイヤー配列で二次元正方格子状に稠密に配列される。撮像画素３１０と同一の画素サイズを有し、かつ緑画素と同じ分光感度を備えた焦点検出用の焦点検出画素３３３、３３４が、水平方向の隣接する２行の本来緑画素が配置されるべき位置に、１画素おきに交互かつ直線上に配列される。
【０１０６】
焦点検出画素３３３、３３４の構成は基本的に焦点検出画素３２３、３２４の構成を９０度回転した構成になっている。
【０１０７】
上記実施形態においては、第１の実施の形態と比して、焦点検出画素３３３、３３４の配置密度が低くなるので、より高画質な画像が得られる。
【０１０８】
また撮像画素３１０の光電変換部の受光領域は必ずしも図３、１６、１８〜２０に示すような正方形である必要はない。
【０１０９】
例えば、撮像画素３１０の光電変換部１１の受光領域の形状が図２１（ｃ）に示すように円形である場合には、焦点検出画素３１３、３１４の光電変換部の受光領域１３、１４は、図２１（ａ）、（ｂ）に示すように撮像画素３１０の受光領域１１を左上がり４５度の直線で２等分した半円領域とすることができる。
【０１１０】
上述した実施形態においては、焦点検出画素位置における像ズレ量の絶対値が所定閾値以内の場合には、該焦点検出画素位置に配置された焦点検出画素の画素信号値にのみに基づいて仮想的な撮像画素の画素信号値を式（５）、（６）のようにして求めた。像ズレ量の絶対値が所定閾値以上の場合には、該焦点検出画素位置に配置された第１の種類の焦点検出画素の画素信号値と、撮像画素が受光する撮像光束に対し、該第１の種類の焦点検出画素が受光する光束と相補的な関係となる光束を受光する第２の種類の焦点検出画素であり、かつ該第１の種類の焦点検出画素の近傍に存在する第２の種類の焦点検出画素の画素信号値を用いて、仮想的な撮像画素の画素信号値を、式（８）、（９）のように求めている。しかし、所定閾値を境に２つの算出方式を変更するのではなく、像ズレ量の絶対値が所定閾値を中心とする所定範囲に含まれる場合には、２つの算出方式で算出した結果を平均するようにしてもよい。
【０１１１】
上述した実施形態においては、図６に示すように、撮影者が焦点検出エリア選択部材を用いて予め選択した焦点検出エリアにおいて、像が合焦近傍にある場合に、シャッターレリーズが行われることとした。したがって、該焦点検出エリアに対応する焦点検出画素位置に配置された焦点検出画素の画素信号値のみに基づき、仮想的な撮像画素の画素信号値を算出することとした。しかし、該焦点検出エリアにおいて像が合焦近傍に無い場合に、シャッターレリーズが行われることも考えられる。この場合、該焦点検出エリアに対応する焦点検出画素位置にある仮想的な撮像画素の出力は、隣接する相補的な焦点検出画素２つの出力を平均して算出することとしても良い。
【０１１２】
上述した実施形態においては、焦点検出画素位置における仮想的な撮像画素の画素データを求める演算処理が、ボディ駆動制御装置２１４内で行われ、生成された画像データがメモリカード２１９に格納されている。しかし、図２２に示すように、デジタルスチルカメラ２０１とは別のパーソナルコンピュータなどの画像処理装置９００において、画像処理プログラムを用いて、焦点検出画素位置における仮想的な撮像画素の画素データを求める演算処理を行っても良い。図２２（ａ）に示すように、その画像処理プログラムは、媒体９５０から画像処理装置９００にインストールされても良いし、サーバ７００からネットワーク８００を介して画像処理装置９００にダウンロードされても良い。
【０１１３】
また、図２２（ａ）に示すように、画像処理装置９００はデジタルスチルカメラ２０１と直接接続されることにより、撮像時の撮像画素の画素データおよび焦点検出画素の画素データ等を読み出すこととしても良いし、メモリカード２１９を介してそれらのデータ等を読み出しても良い。後者の場合には、ボディ駆動制御装置２１４は、撮像時の撮像画素の画素データおよび焦点検出画素の画素データをＲＡＷデータとして一旦メモリカード２１９に格納する。該ＲＡＷデータに付随して、撮像時のレンズ情報（射出瞳距離、絞り開口径）をメモリカード２１９に格納しておく。
【０１１４】
図２２（ｂ）に、上述した画像処理プログラムに従って動作する画像処理装置９００の動作フローを示す。画像処理装置９００は、ステップＳ３１０において、メモリカード２１９に格納されたＲＡＷデータ、レンズ情報、および焦点検出画素位置情報を読み込む。ステップＳ３２０において、ＲＡＷデータに含まれる焦点検出画素の画素データに基づき、焦点検出画素位置における焦点状態を検出し、像ズレ量を算出する。ステップＳ３３０において、像ズレ量の絶対値が所定閾値以内の場合は、略合焦していると判定し、ステップＳ３４０において、予め画像処理装置９００に記憶された光量比情報、およびメモリカード２１９から読み出したレンズ情報と焦点検出画素位置情報とに基づいて焦点検出画素位置の光量比を算出する。算出した光量比と焦点検出画素位置の焦点検出画素の画素データとに基づいて、焦点検出画素位置における仮想的な撮像画素の画素データを演算する。また、ステップＳ３３０において、像ズレ量の絶対値が所定閾値以上の場合は、合焦していないと判定し、ステップＳ３５０において、焦点検出画素位置の焦点検出画素の画素データと、それを挟む２つの焦点検出画素の画素データとに基づいて、焦点検出画素位置における仮想的な撮像画素の画素データを演算する。ステップＳ３６０において、ステップＳ３４０またはステップＳ３５０において演算された焦点検出画素位置における仮想的な撮像画素の画素データと、ステップＳ３１０において読み込んだＲＡＷデータとに基づき、画像データを生成する。
【０１１５】
このようにすれば、ユーザが、画像処理された画像をモニターなどで表示した結果を、各種パラメータ（像ズレ量の閾値、光量比など）を調整しながら視認するといったフィードバック処理を行うことにより、最適な画像処理結果を得ることができる。
【０１１６】
上述した実施形態における撮像素子では、撮像画素がベイヤー配列等に従った色フィルタを備えた例を示したが、色フィルタの構成や配列はこれに限定されることはなく、補色フィルタ（緑：Ｇ、イエロー：Ｙｅ、マゼンタ：Ｍｇ，シアン：Ｃｙ）の配列等、ベイヤー配列以外の配列にも本発明を適用することができる。
【０１１７】
上述した実施形態においては、撮像素子としてＣＣＤイメージセンサやＣＭＯＳイメージセンサなどを適用することができる。
【０１１８】
なお、カメラとしては、上述したようなカメラボディに交換レンズが装着される構成のデジタルスチルカメラやフィルムスチルカメラに限定されない。例えばレンズ一体型のデジタルスチルカメラ、フィルムスチルカメラ、あるいはビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置、車載カメラなどにも適用できる。
【符号の説明】
【０１１９】
１０ マイクロレンズ、
１１、１３、１４ 光電変換部、
５３、５４、６３、６４、７３、７４ 焦点検出光束、７１ 撮影光束、
９０ 射出瞳、 ９１、４００ 光軸、 ９２ 予定焦点面、
９３、９４ 測距瞳、 ９５ 領域、
９６ 絞り開口、 ９７ 測距瞳面、 ９８ 面、
１００ 撮影画面、
１０１、１０２、１０３、１０４、１０５、１０６、１０７、１０８、１０９ 焦点検出エリア、
２０１ デジタルスチルカメラ、 ２０２ 交換レンズ、 ２０３ カメラボディ、
２０４ マウント部、 ２０６ レンズ駆動制御装置、
２０８ ズーミング用レンズ、 ２０９ レンズ、 ２１０ フォーカシング用レンズ、
２１１ 絞り、 ２１２ 撮像素子、 ２１３ 電気接点、
２１４ ボディ駆動制御装置、
２１５ 液晶表示素子駆動回路、 ２１６ 液晶表示素子、 ２１７ 接眼レンズ、
２１９ メモリカード、 ２２０ 内蔵メモリ、
３１０ 撮像画素、
３１３、３１４、３２３、３２４、３３３、３３４、５１３、５１４ 焦点検出画素、
４０１ 焦点検出画素位置、
７００ サーバ、 ８００ ネットワーク、 ９００ 画像処理装置、 ９５０ 媒体
【技術分野】
【０００１】
本発明は、撮像画素と焦点検出画素を混載する撮像素子を備えたカメラおよび撮影画像データに対して画像処理を行う画像処理プログラムに関する。
【背景技術】
【０００２】
特許文献１には撮像画素と焦点検出画素を混載する撮像素子を備えた固体撮像装置が開示されている。この固体撮像装置では、隣接して１列に並んだ緑色の色フィルタを有する画素のマイクロレンズ中心を通る直線上に並び、隣接画素同士でマイクロレンズ中心に対して逆向きにずれた焦点検出画素で、撮影レンズの瞳の特定領域を透過する光束を受光する。そして、これら互いに逆向きにずれた焦点検出画素から得られる第一の像信号と第二の像信号の位相差に基づいて撮影レンズの焦点状態を検出している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３０３４０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の固体撮像装置においては、以下のような問題があった。すなわち、撮像画素があるべき画素位置に焦点検出用画素が配置されている。したがって、焦点検出画素位置における画像信号を形成する場合には、該焦点検出画素位置が合焦しているか否かに関わらず、一律に、焦点検出用画素の受光した信号をそのまま画像信号として用いて画像を生成しているので、生成された画像信号の品質が良くなかった。
【課題を解決するための手段】
【０００５】
（１）請求項１に記載のカメラは、所定の色配列に対応する分光感度を有する複数の撮像画素と、複数の焦点検出画素とが２次元的に配列され、複数の焦点検出画素が、一対の焦点検出光束を受光する第１の焦点検出画素列と第２の焦点検出画素列とを形成する撮像素子と、撮像素子上に被写体像を形成する光学系と、第１の焦点検出画素列に含まれる複数の第１の焦点検出画素が出力する画素信号と、第２の焦点検出画素列に含まれる複数の第２の焦点検出画素が出力する画素信号とに基づき、被写体像についての焦点状態を検出し、第１の検出出力または第２の検出出力を出力する焦点検出手段と、焦点検出手段が第１の検出出力を出力したとき、所定の演算処理により、複数の焦点検出画素の各々が配置された焦点検出画素位置の撮像信号を算出する第１の演算処理手段と、焦点検出手段が第２の検出出力を出力したとき、第１の演算処理手段とは異なる演算処理により、複数の焦点検出画素の各々が配置された焦点検出画素位置の撮像信号を算出する第２の演算処理手段と、複数の撮像画素が出力する撮像信号と、第１の演算処理手段または第２の演算処理手段が算出する焦点検出画素位置の撮像信号とに基づき画像データを生成する画像生成手段とを備えることを特徴とする。
（２）請求項１２に記載の画像処理プログラムは、複数の撮像画素の撮像信号データと、一対の焦点検出画素列の焦点検出信号列データを構成する複数の焦点検出画素の焦点検出信号データとを含むＲＡＷ画像データから被写体画像データを生成する処理をコンピュータに実行させる画像処理プログラムであって、ＲＡＷ画像データを読み込む読み込み手順と、焦点検出信号列データに基づき、被写体画像の焦点検出位置における被写体画像についての焦点状態を検出し、第１の検出出力または第２の検出出力を出力する焦点検出手順と、焦点検出手順により第１の検出出力が出力されたとき、所定の演算処理により、焦点検出位置の撮像信号データを算出する第１の演算処理手順と、焦点検出手順により第２の検出出力が出力されたとき、第１の演算処理手順とは異なる演算処理により、焦点検出位置の撮像信号データを算出する第２の演算処理手順と、複数の撮像画素の撮像信号データと、第１の演算処理手順または第２の演算処理手手順により算出される焦点検出位置の撮像信号データとに基づき被写体画像データを生成する画像生成手順とをコンピュータに実行させることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、撮像画素と焦点検出画素を混載する撮像素子を備えたカメラにおいて、画像信号の品質を向上させることができる。
【図面の簡単な説明】
【０００７】
【図１】第１の実施の形態のデジタルスチルカメラの構成を示す横断面図である。
【図２】交換レンズの撮影画面上における焦点検出位置を示す図である。
【図３】撮像素子の詳細な構成を示す正面図である。
【図４】撮像画素が受光する撮影光束の様子を説明するための図である。
【図５】焦点検出画素が受光する撮影光束の様子を説明するための図である。
【図６】デジタルスチルカメラの撮像動作を示すフローチャートである。
【図７】色収差情報を像高（光軸からの距離）の関数として示した図である。
【図８】焦点検出画素位置の画像データ算出処理の詳細を示すフローチャートである。
【図９】予定焦点面を示す側面図および正面図である。
【図１０】一対の焦点検出光束と光学系の絞り開口の関係を示した図である。
【図１１】一対の焦点検出光束と光学系の絞り開口の関係を示した図である。
【図１２】一対の焦点検出光束と光学系の絞り開口の関係を示した図である。
【図１３】所定の射出瞳距離および絞り開口径における光量比を像高の関数として示した図である。
【図１４】撮影画面上において光軸と焦点検出画素位置の角度と像高とを定めた図である。
【図１５】撮像素子の詳細な構成を示す正面図における４画素×４画素の領域を示した拡大図である。
【図１６】撮像素子の詳細な構成を示す正面図である。
【図１７】撮像素子の詳細な構成を示す正面図における８画素×８画素の領域を示した拡大図である。
【図１８】撮像素子の詳細な構成を示す正面図である。
【図１９】撮像素子の詳細な構成を示す正面図である。
【図２０】撮像素子の詳細な構成を示す正面図である。
【図２１】焦点検出画素の正面図である。
【図２２】画像処理装置における画像処理プログラムを用いた焦点検出画素位置の画像データ算出処理を説明するための図である。
【発明を実施するための形態】
【０００８】
−−−第１の実施の形態−−−
第１の実施の形態のカメラとして、レンズ交換式のデジタルスチルカメラを例に挙げて説明する。図１は第１の実施の形態のデジタルスチルカメラの構成を示す横断面図である。本実施の形態のデジタルスチルカメラ２０１は、交換レンズ２０２とカメラボディ２０３とから構成され、交換レンズ２０２がマウント部２０４を介してカメラボディ２０３に装着される。カメラボディ２０３にはマウント部２０４を介して種々の撮影光学系を有する交換レンズ２０２が装着可能である。
【０００９】
交換レンズ２０２は、レンズ２０９、ズーミング用レンズ２０８、フォーカシング用レンズ２１０、絞り２１１、レンズ駆動制御装置２０６などを備えている。レンズ駆動制御装置２０６は、不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成される。レンズ駆動制御装置２０６は、フォーカシング用レンズ２１０の焦点調節と絞り２１１の開口径調節のための駆動制御や、ズーミング用レンズ２０８、フォーカシング用レンズ２１０および絞り２１１の状態検出などを行う。また、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信とカメラ情報（デフォーカス量や絞り値など）の受信を行う。絞り２１１は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。
【００１０】
カメラボディ２０３は、撮像素子２１２、ボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、接眼レンズ２１７、メモリカード２１９などを備えている。撮像素子２１２には、撮像画素が二次元状に配置されるとともに、焦点検出位置（焦点検出エリア）に対応した部分に焦点検出画素が組み込まれている。この撮像素子２１２については詳細を後述する。
【００１１】
ボディ駆動制御装置２１４は、マイクロコンピューター、メモリ、駆動制御回路などから構成される。ボディ駆動制御装置２１４は、撮像素子２１２の駆動制御と、撮像画素および焦点検出画素からの画素信号の読み出しと、焦点検出画素からの画素信号に基づく焦点検出演算と、交換レンズ２０２の焦点調節とを繰り返し行う。また、焦点検出画素位置の画像信号の生成を含む画像処理、画像情報の記録、デジタルスチルカメラ２０１の動作制御なども行う。また、ボディ駆動制御装置２１４は電気接点２１３を介してレンズ駆動制御装置２０６と通信を行い、レンズ情報の受信とカメラ情報の送信を行う。
【００１２】
液晶表示素子２１６は電気的なビューファインダー（ＥＶＦ：Electronic View Finder）として機能する。液晶表示素子駆動回路２１５は撮像素子２１２から出力される画像データに基づき、画像を液晶表示素子２１６に表示し、撮影者は接眼レンズ２１７を介してその画像を観察することができる。メモリカード２１９は、撮像素子２１２により撮像された画像データを記憶する画像ストレージである。内蔵メモリ２２０は、焦点検出画素位置の画像信号の生成の際に使用する焦点検出画素の光量比に関する情報が記憶格納されている。
【００１３】
交換レンズ２０２を通過した光束により、撮像素子２１２の受光面上に被写体像が形成される。この被写体像は撮像素子２１２により光電変換され、撮像画素と焦点検出画素の画素信号としてボディ駆動制御装置２１４へ送られる。
【００１４】
ボディ駆動制御装置２１４は、撮像素子２１２の焦点検出画素からの画素信号に基づいてデフォーカス量を算出するとともに、該デフォーカス量に色収差補正を加えてレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像素子２１２の撮像画素および焦点検出画素からの画素信号を処理して画像データを生成し、メモリカード２１９に格納するとともに、撮像素子２１２が出力する画像データを液晶表示素子駆動回路２１５へ送り、画像を液晶表示素子２１６に表示させる。さらに、ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６へ絞り制御情報を送って絞り２１１の開口制御を行う。
【００１５】
レンズ駆動制御装置２０６は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ２０８とフォーカシング用レンズ２１０の位置と絞り２１１の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択する。なおレンズ情報には射出瞳距離の情報も含まれる。
【００１６】
レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ２１０を合焦位置へ駆動する。また、レンズ駆動制御装置２０６は受信した絞り値に応じて絞り２１１を駆動する。
【００１７】
図２は、交換レンズ２０２の撮影画面上における焦点検出位置（焦点検出エリア）を示す図であり、後述する撮像素子２１２上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする領域（焦点検出エリア、焦点検出位置）の一例を示す。この例では、矩形の撮影画面１００上の中央および上下左右の９箇所に焦点検出エリア１０１〜１０９が配置される。長方形で示す焦点検出エリアの長手方向に、焦点検出画素が右上がり斜め４５度方向に直線的に配列される。
【００１８】
図３は撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２上の焦点検出エリア１０１の近傍を拡大して示す。撮像素子２１２には撮像画素３１０が二次元正方格子状に稠密に配列される。撮像画素３１０は赤画素（Ｒ）、緑画素（Ｇ）、青画素（Ｂ）からなり、ベイヤー配列の配置規則によって配置されている。焦点検出エリア１０１に対応する位置には撮像画素３１０と同一の画素サイズを有し、緑画素と同じ分光感度を備えた焦点検出用の焦点検出画素３１３と３１４とが、交互に、本来緑画素が連続的に配置されるべき斜め右上がり４５度方向の直線上に連続して配列される。
【００１９】
撮像画素３１０は、図３に示すように矩形のマイクロレンズ１０、後述の遮光マスクで受光領域を正方形に制限された光電変換部１１、および色フィルタ（不図示）から構成される。色フィルタは赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、それぞれの色に対応する分光感度特性を有している。撮像素子２１２には、各色フィルタを備えた撮像画素３１０がベイヤー配列されている。
【００２０】
焦点検出画素３１３は、図３に示すように矩形のマイクロレンズと遮光マスクで受光領域を正方形の半分（正方形を左上がり４５度方向の対角線で２等分した場合の右上半分）に制限された光電変換部、および緑（Ｇ）の色フィルタから構成される。
【００２１】
また、焦点検出画素３１４は、図３に示すように矩形のマイクロレンズと遮光マスクで受光領域を正方形の半分（正方形を左上がり４５度方向の対角線で２等分した場合の左下半分）に制限された光電変換部、および緑（Ｇ）の色フィルタから構成される。
【００２２】
焦点検出画素３１３と焦点検出画素３１４とをマイクロレンズを重ね合わせて表示すると、遮光マスクで受光領域を正方形の半分に制限された光電変換部が右上がり斜め４５度方向に並んでいる。
【００２３】
また、上述した正方形を半分にした受光領域の部分に正方形を半分にした残りの部分（破線部分）を加えると、撮像画素の受光領域と同じサイズの正方形となる。
【００２４】
図４は、図３に示す撮像画素３１０が受光する撮影光束の様子を説明するための図であって、右上がり斜め４５度方向の直線で撮像画素配列の断面をとっている。
【００２５】
撮像素子上に配列された全ての撮像画素の光電変換部１１は、光電変換部１１に近接して配置された遮光マスク開口を通過した光束を受光する。遮光マスク開口の形状は、各撮像画素のマイクロレンズ１０により、マイクロレンズ１０から測距瞳距離ｄだけ離間した射出瞳９０上の全撮像画素共通な領域９５に投影される。
【００２６】
従って各撮像画素の光電変換部１１は、領域９５と各撮像画素のマイクロレンズ１０を通過する光束７１を受光し、領域９５を通過して各撮像画素のマイクロレンズ１０へ向う光束７１によって各マイクロレンズ１０上に形成される像の強度に対応した信号を出力する。
【００２７】
図５は、図３に示す焦点検出画素３１３，３１４が受光する撮影光束の様子を図４と比較して説明するための図であって、右上がり斜め４５度方向の直線で焦点検出画素配列の断面をとっている。
【００２８】
撮像素子上に配列された全ての焦点検出画素の光電変換部１３，１４は、光電変換部１３，１４に近接して配置された遮光マスク開口を通過した光束を受光する。遮光マスク開口の形状は、各焦点検出画素３１３のマイクロレンズ１０によりマイクロレンズ１０から測距瞳距離ｄだけ離間した射出瞳９０上の焦点検出画素３１３に全てに共通した領域９３に投影される。同じく、遮光マスク開口３０ｃの形状は、各焦点検出画素３１４のマイクロレンズ１０によりマイクロレンズ１０から測距瞳距離ｄだけ離間した射出瞳９０上の焦点検出画素３１４に全てに共通した領域９４に投影される。一対の領域９３，９４を測距瞳と呼ぶ。
【００２９】
従って、各焦点検出画素３１３の光電変換部１３は、領域９３と各撮像画素のマイクロレンズ１０を通過する光束７３を受光し、領域９３を通過して各撮像画素のマイクロレンズ１０へ向う光束７３によって各マイクロレンズ１０上に形成される像の強度に対応した信号を出力する。また、各焦点検出画素３１４の光電変換部１４は、領域９４と各撮像画素のマイクロレンズ１０とを通過する光束７４を受光し、領域９４を通過して各撮像画素のマイクロレンズ１０へ向う光束７４によって各マイクロレンズ１０上に形成される像の強度に対応した信号を出力する。
【００３０】
一対の焦点検出画素３１３，３１４が受光する光束７３，７４が通過する射出瞳９０上の領域９３と９４を統合した領域は、撮像画素３１０が受光する光束７１が通過する射出瞳９０上の領域９５と一致する。射出瞳９０上において光束７３，７４は光束７１に対して相補的な関係になっている。
【００３１】
ある焦点検出画素の位置に仮想的な撮像画素があると仮定した場合には、該仮想的な撮像画素が受光する光束７１に対してその焦点検出画素が受光する光束７３（７４）とその焦点検出画素に隣接する焦点検出画素が受光する光束７４（７３）は相補的な関係となる。
【００３２】
すなわち、撮像画素と焦点検出画素の構成を同一にするとともに、撮像画素の光電変換部の受光領域に対して、一対の焦点検出画素の光電変換部の受光領域を相補的にすることにより、隣接した一対の焦点検出画素の出力を加算した出力と仮想的な撮像画素の出力とは等しい関係となり、隣接した一対の焦点検出画素の出力を加算することで仮想的な撮像画素の出力を高精度に再現することができることになる。
【００３３】
上述した一対の焦点検出画素を交互にかつ直線状に多数配置する。各焦点検出画素の光電変換部の出力を測距瞳９３および測距瞳９４に対応した一対の出力グループにまとめることによって、測距瞳９３と測距瞳９４をそれぞれ通過する一対の光束が焦点検出画素配列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に一対の測距瞳の重心間隔と測距瞳距離の比例関係に応じた変換演算を行うことによって、予定結像面（マイクロレンズアレイの位置）に対する現在の結像面（撮影画面１００上で定められる焦点検出位置における実際の結像面）の偏差（デフォーカス量）が算出される。
【００３４】
図６は、一実施の形態のデジタルスチルカメラ２０１の撮像動作を示すフローチャートである。ボディ駆動制御装置２１４は、ステップＳ１００でデジタルスチルカメラ２０１の電源がオンされると、ステップＳ１１０以降の撮像動作を開始する。ステップＳ１１０において、撮像画素３１０のデータの一部を間引きして読み出し、液晶表示素子２１６に表示させる。続くステップＳ１２０では、焦点検出画素配列から一対の像に対応した一対の像データを読み出すとともに、焦点検出画素配列の周囲の撮像画素３１０のデータを読み出す。なお、焦点検出エリアは、撮影者が焦点検出エリア選択部材（不図示）を用いて焦点検出エリア１０１〜１０９の内のいずれかを予め選択しているものとする。
【００３５】
ステップＳ１３０では、読み出された一対の像データに基づいて後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を行って像ズレ量を演算し、さらに像ズレ量をデフォーカス量に変換する。
【００３６】
ステップＳ１３５では、焦点検出画素配列の周囲の撮像画素３１０から読み出されたデータに基づき、焦点検出画素配列を含む領域の色を検出するとともに、該検出された色と焦点検出画素３１３、３１４の色（緑）との差によって生じる色収差に応じた補正量をレンズ駆動制御装置２０６から読み出した撮影光学系の色収差情報に基づいて決定し、該補正量によりデフォーカス量を補正する。
【００３７】
ステップＳ１４０で、合焦近傍か否か、すなわち補正デフォーカス量の絶対値が所定値以内であるか否かを調べる。合焦近傍でないと判定された場合は、ステップＳ１５０へ進み、補正デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシング用レンズ２１０を合焦位置に駆動させる。その後、ステップＳ１１０へ戻って上述した動作を繰り返す。
【００３８】
なお、焦点検出不能な場合もこのステップに分岐し、レンズ駆動制御装置２０６へスキャン駆動命令を送信し、交換レンズ２０２のフォーカシングレンズ用２１０を無限から至近までの間でスキャン駆動させる。その後、ステップＳ１１０へ戻って上述した動作を繰り返す。
【００３９】
ステップＳ１４０で合焦近傍であると判定された場合はステップＳ１６０へ進み、シャッターボタン（不図示）の操作によりシャッターレリーズがなされたか否かを判別する。シャッターレリーズがなされていないと判定された場合はステップＳ１１０へ戻り、上述した動作を繰り返す。一方、シャッターレリーズがなされたと判定された場合はステップＳ１７０へ進み、レンズ駆動制御装置２０６へ絞り調整命令を送信し、交換レンズ２０２の絞り値を制御Ｆ値（撮影者または自動により設定されたＦ値）にする。絞り制御が終了した時点で、撮像素子２１２に撮像動作を行わせ、撮像素子２１２の撮像画素３１０および全ての焦点検出画素３１３、３１４から画像データを読み出す。
【００４０】
ステップＳ１７５において、読み出された一対の像データに基づいて後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を行い、全ての焦点検出エリア１０１〜１０９における像ズレ量を演算する。
【００４１】
ステップＳ１８０では、全ての焦点検出エリア１０１〜１０９において焦点検出画素列の各焦点検出画素位置の画像データをステップＳ１７０で求めた像ズレ量に応じた算出方法で、焦点検出画素位置の焦点検出画素３１３、３１４のデータおよび該焦点検出画素３１３、３１４の周囲の焦点検出画素３１３、３１４のデータに基づき算出する。なおこの演算処理については後述する。続くステップＳ１９０では、撮像画素３１０の画素データおよびステップＳ１８０で求めた画素データからなる画像データをメモリカード２１９に記憶し、ステップＳ１１０へ戻って上述した動作を繰り返す。
【００４２】
図６のステップＳ１３０およびステップＳ１７０における像ズレ検出演算処理（相関演算処理、位相差検出処理）の詳細について以下説明する。
【００４３】
焦点検出画素３１３、３１４が検出する一対の像は、測距瞳９３、９４がレンズの絞り開口によりけられて光量バランスが崩れている可能性があるので、光量バランス崩れに対して像ズレ検出精度を維持できるタイプの相関演算を施す。
【００４４】
焦点検出画素列から読み出された一対のデータ列（Ａ１１〜Ａ１Ｍ、Ａ２１〜Ａ２Ｍ：Ｍはデータ数）に対し、特開２００７−３３３７２０号公報に開示された相関演算式（１）を行い、相関量Ｃ（ｋ）を演算する。
Ｃ（ｋ）＝Σ｜Ａ１ｎ・Ａ２ｎ＋１＋ｋ−Ａ２ｎ＋ｋ・Ａ１ｎ＋１｜ （１）
【００４５】
特開２００９−１４１７９１号公報に開示された算出方法により、相関量Ｃ（ｋ）の極小値Ｃ（ｘ）を与えるずらしｘを用いて像ズレ量ｓｈｆｔを算出することができる。こうして算出された像ズレ量に所定の変換係数Ｋｄを乗じてデフォーカス量ｄｅｆへ変換する。なお、変換係数Ｋｄは、測距瞳距離ｄを一対の測距瞳９３、９４の重心間隔で除算した値である。
ｄｅｆ＝Ｋｄ・ｓｈｆｔ （２）
【００４６】
式（２）で求めたデフォーカス量は緑フィルタを有する焦点検出画素配列の焦点検出画素３１３、３１４のデータに基づいて求められたものであり、従って、緑フィルタの分光感度特性を有する光の合焦面と撮像面の間の偏差を示している。本来は、焦点検出画素配列近傍の像の色（分光感度特性）についての合焦面と撮像面との間のデフォーカス量を求めたいので、式（２）で求めたデフォーカス量に色収差に関する補正量を加える。
【００４７】
レンズ駆動制御装置２０６には、絞り開口径、ズーミング、フォーカシングに応じた色収差情報が記憶されている。焦点検出画素３１３、３１４から画素信号を読み出した時点での交換レンズ２０２の絞り開口径、ズーミング、フォーカシングに応じた色収差情報がボディ駆動制御装置２１４に送られる。
【００４８】
図７に示すように、色収差情報は、緑フィルタの分光感度特性を有する光の合焦面位置を基準とした場合の赤フィルタおよび青フィルタの分光感度特性を有する光の合焦面位置の偏差（ΔＲ、ΔＢ）を像高ｈ（光軸からの距離）の関数として示したものである。
【００４９】
ボディ駆動制御装置２１４は、焦点検出画素配列の周囲の赤画素、緑画素、青画素それぞれの画素データの平均値Ｒｓ、Ｇｓ、Ｂｓを算出するとともに、焦点検出画素配列の平均的な像高ｈ１に応じて色収差情報より赤色収差ΔＲ（ｈ１）と青色収差ΔＢ（ｈ１）を算出する。
【００５０】
補正量Ｅは、赤色収差ΔＲ（ｈ１）および青色収差ΔＢ（ｈ１）の各々に、白色に対する赤色の成分比Ｒｓ／（Ｒｓ＋Ｇｓ＋Ｂｓ）および白色に対する青色の成分比Ｂｓ／（Ｒｓ＋Ｇｓ＋Ｂｓ）の各々を乗じた次式（３）で算出される。
Ｅ＝ΔＲ（ｈ１）・Ｒｓ／（Ｒｓ＋Ｇｓ＋Ｂｓ）＋ΔＢ（ｈ１）・Ｂｓ／（Ｒｓ＋Ｇｓ＋Ｂｓ） （３）
【００５１】
最終的に色収差が補正されたデフォーカス量ｄｅｆ’は次式（４）により求められる。
ｄｅｆ’＝ｄｅｆ＋Ｅ （４）
【００５２】
図６のステップＳ１８０における焦点検出画素位置の画像データ算出処理の詳細なフローチャートを図８に示す。なお、図８のフローチャートは、１つの焦点検出エリアにおける１つの焦点検出画素に対する処理であり、この処理が全ての焦点検出エリア１０１〜１０９の全ての焦点検出画素３１３、３１４に適用される。
【００５３】
ここで、焦点検出画素位置に仮想的に配置された撮像画素の画素データ（画像データ）の基本的な算出方法について述べる。
【００５４】
上述したように、図８のフローチャートに従った処理が開始される際には、焦点検出エリア１０１〜１０９のうち、撮影者が焦点検出エリア選択部材を用いて予め選択した焦点検出エリアにおいては既に像が合焦近傍にある。しかし、他の焦点検出エリアにおいては、像が合焦近傍にある場合もあるとともに、像が合焦近傍に無い場合もある。
【００５５】
一対の焦点検出画素３１３、３１４が受光する一対の光束は撮像画素３１０が受光する光束に対して相補的な関係になっている。したがって、同一の焦点検出画素位置に同時に一対の焦点検出画素が存在したと仮定すれば、一対の焦点検出画素の画素データを加算することにより、焦点検出画素位置に仮想的に配置された撮像画素の画素データを求めることができる。しかし１つの焦点検出画素位置には一対の焦点検出画素３１３、３１４の一方しか配置できないので、一対の焦点検出画素３１３、３１４のうちの一方の焦点検出画素の画素データは、該焦点検出画素を挟むもう一方の２つの焦点検出画素の画素データを平均することにより求める。
【００５６】
しかしながら、像が合焦近傍の場合には、上述した一方の焦点検出画素の画素データを求める際に、該焦点検出画素を挟むもう一方の２つの焦点検出画素の画素データを平均することが３画素にわたる画素データを平均することと同等となる。したがって、結果的に像の高周波成分が低減され、像の細密な構造が失われてしまう。
【００５７】
そこで、光学系により形成された像が合焦近傍の場合には、焦点検出画素位置の焦点検出画素の画素データのみから、焦点検出画素位置に仮想的に配置された撮像画素の画素データを算出することにより、像の高周波成分が低減を防止し、像の細密な構造を保存する。
【００５８】
焦点検出画素位置の画像データ算出処理が開始されると、ステップＳ２１０において、図６のステップＳ１７５で算出された像ズレ量の絶対値が所定閾値以下か否かを判定し、判定結果に応じて画像データの算出方法を変更する。具体的には、像ズレ量の絶対値が所定閾値以下、すなわち合焦近傍の場合は、像の空間周波数成分のうち、高周波成分が相対的に増加してコントラストの高い像となる。そこで、像の細密構造を高品質に再現するために、焦点検出画素位置の画像データの算出にあたって、焦点検出画素位置の焦点検出画素の画素データのみを用いる。合焦近傍においては、一対の焦点検出画素３１３、３１４の受光特性の同一性が高く（像の同じ部分を受光している）、一方の焦点検出画素の画素データを単に所定倍することで緑の撮像画素の画素データを再現できるため、焦点検出画素位置の画素データの再現品質を維持することができる。
【００５９】
また、像ズレ量の絶対値が所定閾値以上、すなわち合焦近傍でない場合は、像の空間周波数成分のうち、高周波成分が相対的に減少して像がぼける。したがって、像の細密構造を再現する必要がないとともに、合焦近傍でない場合は、一対の焦点検出画素の受光特性の同一性が崩れ（像の異なる部分を受光している）、一方の焦点検出画素の画素データを単に所定倍することだけでは焦点検出画素位置の画素データの再現品質が低下する。そこで、焦点検出画素位置の画像データの算出にあたって、焦点検出画素位置の焦点検出画素の画素データと、受光する光束に関して、該焦点検出画素位置の焦点検出画素と相補的な関係を有する該焦点検出画素の周囲の焦点検出画素の画素データを用いる。相補的な関係については後述する。
【００６０】
また、像ズレ量の絶対値を判定する閾値は、一対の焦点検出画素３１３、３１４の受光特性の同一性による高周波成分の再現効果を考慮して、画素ピッチ換算で１〜２画素ピッチ以内とするのが適当である。
【００６１】
ステップＳ２１０において合焦近傍と判定された場合は、ステップＳ２２０に進み、焦点検出画素位置の像高と、レンズ駆動制御装置２０６から読み出した絞り開口径および射出瞳距離とに応じ、内蔵メモリ２２０に記憶された光量比情報に基づき、焦点検出画素位置の光量比を算出する。
【００６２】
合焦近傍においても、交換レンズの射出瞳距離が図５に示す測距瞳距離ｄから離れている場合には、焦点検出画素位置の像高が高くなると、焦点検出画素に入射する光束がシェーディングによりけられる。このため、焦点検出画素の画素データを単に２倍しただけでは焦点検出画素位置の画素データ（仮想的な緑色の撮像画素の画素データ）を再現できない。したがって、シェーディングに応じた光量比（焦点検出画素位置に仮想的に一対の焦点検出画素が配置された場合の一対の焦点検出画素の画素データの出力比）を算出する必要がある。
【００６３】
図９は、予定焦点面９２を示す側面図および正面図である。図９（ａ）は、シェーディングに応じた光量比の変化（焦点検出光束のケラレ（口径蝕））を説明するための図である。図において、位置ｘ０（像高０、すなわち撮影画面１００の中心ｘ０に対応）と位置ｘ１（像高ｈ、すなわち撮影画面１００の外周近傍のｘ１に対応）とに位置する一対の焦点検出画素は、それぞれ予定焦点面９２の前方ｄにある測距瞳面９７において測距瞳領域９３、９４を通過する一対の焦点検出光束５３、５４および６３、６４を受光するように構成されている。予定焦点面９２の前方ｄ１（＜ｄ）の面９８に光学系の絞り開口９６がある場合には、位置ｘ０（像高０）にある一対の焦点検出画素が受光する一対の焦点検出光束５３、５４は、絞り開口９６により光軸９１に対して対称に口径蝕が発生する。そのため、一対の焦点検出画素が受光する光量のバランスは崩れず、光量の比は１である。
【００６４】
これに対し、位置ｘ１（像高ｈ）にある一対の焦点検出画素が受光する一対の焦点検出光束６３、６４は、絞り開口９６によって光軸９１に対して非対称に口径蝕が発生するために、焦点検出画素の配列方向によっては一対の焦点検出画素が受光する光量のバランスが崩れ、光量の比は１以外の値になる。
【００６５】
図１０、図１１、図１２は、焦点検出画素が撮影画面１００の外周近傍に対応する位置に配置された場合の一対の焦点検出光束６３、６４と光学系の絞り開口９６の関係を面９８上で示した図である。
【００６６】
図１０は、焦点検出画素が光軸に対して右上がり４５度対角方向の撮影画面１００の外周近傍であって右上に対応する位置に配置された場合の図であって、一対の焦点検出光束６３、６４は光学系の絞り開口９６によって不均等にけられている。
【００６７】
図１１は、焦点検出画素が光軸に対して垂直方向の撮影画面１００の外周近傍であって上方に対応する位置に配置された場合の図であって、一対の焦点検出光束６３、６４は光学系の絞り開口９６によって不均等にけられているが、図１０の状態よりも不均等性は減少している。
【００６８】
図１２は、焦点検出画素が光軸に対して左上がり４５度対角方向の撮影画面１００の外周近傍であって左上に対応する位置に配置された場合の図であって、一対の焦点検出光束６３、６４は光学系の絞り開口９６によって均等にけられている。
【００６９】
図１３は、所定の射出瞳距離および絞り開口径における光量比を像高ｈの関数として表した場合の図である。光量比とは、一対の焦点検出光束６３、６４を受光する一対の焦点検出画素の画素信号の出力比（図１０〜図１２の一対の焦点検出光束６３，６４の開口９６によってけられていない部分の面積の比）をいう。図１３は、光量比が１以下になるように出力（小）／出力（大）の値で示されている。また、Ｇ０は、一対の測距瞳の並び方向（右上がり４５度方向）の直線から焦点検出画素位置と光軸とを結ぶ直線までの反時計方向で測った交差角度が０度の場合（図１０に対応）の光量比を示す。交差角度を説明するための図である図９（ｂ）において、一番右側に位置する右上がり４５度方向の破線で示した測距瞳の並び方向と、像高ｈの位置ｘ１と像高０の位置ｘ０とを結んだ直線とが形成する交差角度が０度であることが表されている。
【００７０】
同じくＧ４５は、一対の測距瞳の並び方向（右上がり４５度方向）の直線から焦点検出画素位置と光軸とを結ぶ直線までの反時計方向で測った交差角度が４５度の場合（図１１に対応）の光量比を示す。図９（ｂ）において、中央に位置する右上がり４５度方向の破線で示した測距瞳の並び方向と、像高ｈの位置ｘ１と像高０の位置ｘ０とを結んだ直線とが形成する交差角度が４５度であることが表されている。
【００７１】
同じくＧ９０は、一対の測距瞳の並び方向（右上がり４５度方向）の直線から焦点検出画素位置と光軸とを結ぶ直線までの反時計方向で測った交差角度が９０度の場合（図１２に対応）の光量比を示す。図９（ｂ）において、一番左側に位置する右上がり４５度方向の破線で示した測距瞳の並び方向と、像高ｈの位置ｘ１と像高０の位置ｘ０とを結んだ直線とが形成する交差角度が９０度であることが表されている。この場合は、一対の焦点検出光束６３，６４が開口９６によって均等にけられるので、光量比は像高によらず常に１になる。また、一対の測距瞳の並び方向（右上がり４５度方向）の直線と、焦点検出画素位置の光軸からの方向の直線との交差角度が１３５度の場合の光量比は、Ｇ４５と等しい。
【００７２】
上述した光量比情報は、射出瞳距離および絞り開口径のすべての組み合わせに対して内蔵メモリ２２０に記憶されており、レンズ駆動制御装置２０６から読み出した絞り開口径および射出瞳距離と、焦点検出画素位置の像高ｈ１とに応じて、光量比Ｇ０（ｈ１）、Ｇ４５（ｈ１）、Ｇ９０（ｈ１）が定められる。
【００７３】
図１４のように、撮影画面１００上において光軸４００、焦点検出画素位置４０１を定め、焦点検出画素位置の角度θと像高ｈ１を定める。このようにして定めた焦点検出画素位置における光量比を、光量比Ｇ０（ｈ１）、Ｇ４５（ｈ１）、Ｇ９０（ｈ１）の重み付け加算平均で求める。なお、上述したように、一対の焦点検出画素の画素信号のいずれの出力が光量比の分母または分子に該当するかについては、該一対の焦点検出画素の画素信号の出力の大小関係で定まるため、焦点検出画素の種類と光軸に対する位置に応じて、光量比として１以下の値を用いるか、逆数を用いるかを決定することができる。
【００７４】
例えば、焦点検出画素位置の角度θが４５度から９０度の間にあり、一対の焦点検出画素の画素信号の出力のうち、小さい出力を出力する焦点検出画素（焦点検出光束６４を受光する焦点検出画素）の場合には、該一対の焦点検出画素の画素信号の出力のうち、大きい出力を出力する焦点検出画素に対する光量比の値Ｇ（θ、ｈ１）は次式（５）となる。具体的な一例としては、Ｇ０（ｈ１）とＧ４５（ｈ１）とを角度θに応じた比例配分計算により、Ｇ（θ、ｈ１）を求めることができる。
Ｇ（θ、ｈ１）＝Ｇ０（ｈ１）・（９０−θ）／４５＋Ｇ４５（ｈ１）・（θ−４５）／４５ （５）
【００７５】
また、例えば、角度θが９０度から１３５度の間にあり、一対の焦点検出画素の画素信号の出力のうち、大きい出力を出力する焦点検出画素（焦点検出光束６３を受光する焦点検出画素）の場合には、該一対の焦点検出画素の画素信号の出力のうち、小さい出力を出力する焦点検出画素に対する光量比の値Ｇ（θ、ｈ１）は次式（６）となる。具体的な一例としては、Ｇ４５（ｈ１）の逆数とＧ９０（ｈ１）の逆数とを角度θに応じた比例配分計算により、Ｇ（θ、ｈ１）を求めることができる。
Ｇ（θ、ｈ１）＝（１／Ｇ４５（ｈ１））・（１３５−θ）／４５＋（１／Ｇ９０（ｈ１））・（θ−９０）／４５ （６）
【００７６】
以上のようにして、ステップＳ２２０において焦点検出画素位置の光量比Ｇ（θ、ｈ１）が算出されると、次に、ステップＳ２３０において、算出された光量比Ｇ（θ、ｈ１）と焦点検出画素の画素データに基づき焦点検出画素位置の画像データ（仮想的な緑の撮像画素の画素データ）が求められる。
【００７７】
図１５は、右上がり斜め４５度方向に焦点検出画素３１３、３１４を配列した場合の４画素×４画素の領域を示した拡大図であって、各焦点検出画素３１３、３１４の画素データを、図のようにＡ４１、Ａ３２、Ａ２３、Ａ１４で示している。画像データを算出すべき焦点検出画素位置にある焦点検出画素の画素データをＡ２３とすると、該焦点検出画素位置の画像データＧ２３は以下に示す式（７）により求められる。
Ｇ２３＝Ａ２３・（１＋１／Ｇ（θ、ｈ１）） （７）
【００７８】
一方、ステップＳ２１０において合焦近傍で無いと判定された場合は、ステップＳ２４０で焦点検出画素の画素データと該焦点検出画素を挟む２つの焦点検出画素の画素データに基づき、焦点検出画素位置の画像データ（仮想的な緑の撮像画素の画素データ）を算出する。
【００７９】
前述したように、一対の焦点検出画素３１３、３１４が受光する一対の光束は、撮像画素３１０が受光する光束に対して相補的な関係にある。よって、焦点検出画素位置にある仮想的な撮像画素の出力は、その位置にある焦点検出画素の出力とそれと一対となる隣接した焦点検出画素の出力を加算することにより得られる。ただし、隣接する同等な焦点検出画素は２つあるので、この２つの焦点検出画素の出力が平均されて隣接する焦点検出画素の出力とされる。
【００８０】
図１５において、画像データを算出すべき焦点検出画素位置にある焦点検出画素の画素データをＡ２３とすると、該焦点検出画素位置の画像データＧ２３は、以下に示す式（８）により求められる。
Ｇ２３＝Ａ２３＋（Ａ１４＋Ａ３２）／２ （８）
【００８１】
同じく、画像データを算出すべき焦点検出画素位置にある焦点検出画素の画素データをＡ３２とすると、該焦点検出画素位置の画像データＧ３２は、以下に示す式（９）により求められる。
Ｇ３２＝Ａ３２＋（Ａ２３＋Ａ４１）／２ （９）
【００８２】
ステップＳ２３０またはステップＳ２４０において、焦点検出画素位置の画像データ（仮想的な緑の撮像画素の画素データ）が算出されると、ステップＳ２５０では、すべての焦点検出エリアにおいて、画像データの算出を終了したか否かを判定する。否定判定の場合は、画像データの算出が未了の焦点検出エリアにおいて、ステップＳ２１０以降の処理を繰り返す。肯定判定の場合は、図６に示すフローチャートへ処理を戻す。
【００８３】
上記実施形態において、撮像素子は、複数色の撮像画素３１０が所定の色配列規則に従って２次元的に配列されている。焦点検出画素３１３、３１４は、撮像画素３１０と同一の光学的構成、かつ撮像画素３１０と同一の分光感度を備える。さらに、撮像画素３１０と同色の焦点検出画素３１３、３１４は、同色の撮像画素３１０が配置される色配列規則に従って配列される。一対の焦点検出画素３１３、３１４（第１および第２の種類の焦点検出画素）が受光する光束は、撮像画素３１０が受光する光束に対して相補的になっている構成を有している。
【００８４】
そして、焦点検出画素位置における仮想的な撮像画素の画素信号を算出する際に、焦点検出画素位置における焦点調節状態を考慮する。焦点検出画素位置における焦点調節状態がほぼ合焦（像ズレ量の絶対値が所定閾値以内）の場合には、同一の焦点検出画素位置において、仮に一対の焦点検出画素がともに設けられていたならば、該一対の焦点検出画素は、互いに像の同一部分を受光していることとなる。すなわち、該焦点検出画素位置に配置された焦点検出画素の画素信号値と仮想的な撮像画素の画素信号値との間に光量比に応じた比例関係があることとなる。この場合、該焦点検出画素位置に配置された焦点検出画素の画素信号値のみに基づいて仮想的な撮像画素の画素信号値を求めることにより、合焦時の高周波成分を多く含んだ像の画像データを再現することができる。
【００８５】
また、焦点検出画素位置における焦点調節状態が非合焦（像ズレ量の絶対値が所定閾値以上）の場合には、上述した焦点検出画素列から読み出された一対のデータ列は、互いに偏位している。したがって、同一の焦点検出画素位置において、一対の焦点検出画素が像の異なる部分を受光しているので、焦点検出画素位置に配置された焦点検出画素の画素信号値と仮想的な撮像画素の画素信号値との間の比例関係が崩れる。この場合、焦点検出画素位置に配置された仮想的な撮像画素の画素信号は、該焦点検出画素位置に一対の焦点検出画素がともに配置されたと仮定すれば、該一対の焦点検出画素の画素信号を加算したものとなる。すなわち、該焦点検出画素位置に配置された第１の種類の焦点検出画素の画素信号値と、撮像画素が受光する撮像光束に対し、該第１の種類の焦点検出画素が受光する光束と相補的な関係となる光束を受光する第２の種類の焦点検出画素であり、かつ該第１の種類の焦点検出画素の近傍に存在する第２の種類の焦点検出画素の画素信号値と基づいて、仮想的な撮像画素の画素信号値を求める。これにより、非合焦時の高周波成分が減少した像の画像データを良好に再現することができる。
【００８６】
また、焦点検出画素位置における仮想的な撮像画素の画素信号を算出する際に、焦点検出画素の画素信号のみで算出できるので、焦点検出画素の周囲に存在する撮像画素の出力を用いるような複雑な画素補間演算を行う必要がなくなる。
【００８７】
また、撮像画素と同じ構造かつ同じ分光感度を備えた焦点検出画素を、撮像画素と同じ色配列規則に従って配置しているので、焦点検出画素用の遮光マスクの変更を除いて撮像素子の製造上において特別な工程が不要となる。
【００８８】
また、焦点検出画素は、撮像画素と同様に、１つの画素に１つの光電変換部を備えた構成となっているので、撮像画素のみで構成される撮像素子と同一の回路構成、信号線の配線を適用でき、撮像素子の製造上において特別な工程が不要となる。
【００８９】
また、上記のように焦点検出画素が色フィルタを有している場合には、焦点検出画素の周囲に配置された撮像画素の画素信号に基づいて像の色情報を検出し、該色情報に基づいて色収差補正を行うことにより、より正確な合焦を達成することができる。
【００９０】
−発明の他の実施の形態−
上述の実施形態の撮像素子２１２においては、緑の分光感度を備えた一対の焦点検出画素３１３、３１４を、ベイヤー配列された撮像画素配列の緑画素の位置に右上がり斜め４５度方向に配列しているが、これ以外のパターンで焦点検出画素３１３、３１４を配列するようにしても構わない。
【００９１】
図１６は、別実施形態の撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２上の焦点検出エリアの近傍を拡大して示す。撮像素子２１２には、撮像画素３１０が二次元正方格子状に稠密に配列される。焦点検出エリアに対応する位置には、撮像画素と同一の画素サイズを有し、かつ青画素と同じ分光感度を備えた焦点検出用の焦点検出画素５１３、５１４のペアが、図に示すように本来青画素が配置されるべき斜め右上がり４５度方向の直線上に連続して配列される。
【００９２】
図１７は、上記実施形態の８画素×８画素の領域を示した図であって、青色の分光感度を有する焦点検出画素の画素信号をＡ７２、Ａ５４、Ａ３６、Ａ１８で示している。
【００９３】
画素信号Ａ３６、Ａ５４を生成する焦点検出画素の位置に、仮想的に青画素が配置されているとした場合の画素信号をＢ３６、Ｂ５４とすれば、これらは、以下の式（１０）〜（１３）により求められる。
【００９４】
すなわち、画素信号Ａ３６、Ａ５４を生成する焦点検出画素の位置における焦点調節状態が合焦近傍である場合は、画素信号Ａ３６、Ａ５４を生成する焦点検出画素の位置（角度θ、像高ｈ）の光量比をＧａ（θ、ｈ）、Ｇｂ（θ、ｈ）とすると、式（７）と同様にして、以下に示す式（１０）、（１１）が得られる。
Ｂ３６＝Ａ３６・（１＋１／Ｇａ（θ、ｈ）） （１０）
Ｂ５４＝Ａ５４・（１＋１／Ｇｂ（θ、ｈ）） （１１）
【００９５】
画素信号Ａ３６、Ａ５４を生成する焦点検出画素の位置における焦点調節状態が合焦近傍でない場合は、式（８）、（９）と同様にして、以下に示す式（１２）、（１３）が得られる。
Ｂ３６＝Ａ３６＋（Ａ５４＋Ａ１８）／２ （１２）
Ｂ５４＝Ａ５４＋（Ａ７２＋Ａ３６）／２ （１３）
【００９６】
上記実施形態においては、第１の実施の形態と比して、焦点検出画素の配置密度が低くなるので、より高画質な画像が得られる。
【００９７】
図１８は、別実施形態の撮像素子２１２の詳細な構成を示す正面図であって、焦点検出画素配列の近傍を拡大して示す。撮像素子２１２には、撮像画素３１０が二次元正方格子状に稠密に配列される。撮像画素３１０の色配列規則はＲＧＢ順次ストライプ配列となっており、赤、緑、青の撮像画素３１０がこの順に列方向に配列している。撮像画素３１０と同一の画素サイズを備え、かつ緑画素と同じ分光感度を備えた焦点検出用の焦点検出画素３２３と３２４が、緑の撮像画素３１０が配列されるべき列に直線上に連続して交互に配列される。
【００９８】
焦点検出画素３２３は、矩形のマイクロレンズと遮光マスクで受光領域を正方形の半分（正方形を水平線で２等分した場合の上半分）に制限された光電変換部、および緑（Ｇ）の色フィルタとから構成される。
【００９９】
また、焦点検出画素３２４は、矩形のマイクロレンズと遮光マスクで受光領域を正方形の半分（正方形を水平線で２等分した場合の下半分）に制限された光電変換部、および緑（Ｇ）の色フィルタとから構成される。
【０１００】
焦点検出画素３２３と焦点検出画素３２４とをマイクロレンズを重ね合わせて表示すると、遮光マスクで受光領域を制限された２つの光電変換部が垂直方向に並んでいる。
【０１０１】
また、上述した正方形を半分にした受光領域の部分に正方形を半分にした残りの部分（破線部分）を加えると、撮像画素３１０の受光領域と同じサイズの正方形となる。
【０１０２】
上記のような構成の撮像素子２１２においても本発明を適用することが可能であり、第１の実施の形態と比して、焦点検出画素３２３、３２４のサンプリングピッチが短くなるので、焦点検出精度が向上する。
【０１０３】
図１９は、別実施形態の撮像素子２１２の詳細な構成を示す正面図であって、焦点検出画素配列の近傍を拡大して示す。撮像素子２１２には、撮像画素３１０が二次元正方格子状に稠密に配列される。撮像画素３１０の色配列規則はＧストライプＲＢ市松配列となっている。撮像画素３１０と同一の画素サイズを備え、かつ緑画素と同じ分光感度を備えた焦点検出用の焦点検出画素３２３、３２４が、緑の撮像画素３１０の配列されるべき位置に直線上に連続して一対のペアとなって交互に配列される。
【０１０４】
上記のような構成の撮像素子においても本発明を適用することが可能であり、第１の実施の形態と比して、焦点検出画素のサンプリングピッチが短くなるので、焦点検出精度が向上する。
【０１０５】
図２０は、別実施形態の撮像素子２１２の詳細な構成を示す正面図であり、焦点検出画素配列の近傍を拡大して示す。撮像素子２１２には、撮像画素３１０がベイヤー配列で二次元正方格子状に稠密に配列される。撮像画素３１０と同一の画素サイズを有し、かつ緑画素と同じ分光感度を備えた焦点検出用の焦点検出画素３３３、３３４が、水平方向の隣接する２行の本来緑画素が配置されるべき位置に、１画素おきに交互かつ直線上に配列される。
【０１０６】
焦点検出画素３３３、３３４の構成は基本的に焦点検出画素３２３、３２４の構成を９０度回転した構成になっている。
【０１０７】
上記実施形態においては、第１の実施の形態と比して、焦点検出画素３３３、３３４の配置密度が低くなるので、より高画質な画像が得られる。
【０１０８】
また撮像画素３１０の光電変換部の受光領域は必ずしも図３、１６、１８〜２０に示すような正方形である必要はない。
【０１０９】
例えば、撮像画素３１０の光電変換部１１の受光領域の形状が図２１（ｃ）に示すように円形である場合には、焦点検出画素３１３、３１４の光電変換部の受光領域１３、１４は、図２１（ａ）、（ｂ）に示すように撮像画素３１０の受光領域１１を左上がり４５度の直線で２等分した半円領域とすることができる。
【０１１０】
上述した実施形態においては、焦点検出画素位置における像ズレ量の絶対値が所定閾値以内の場合には、該焦点検出画素位置に配置された焦点検出画素の画素信号値にのみに基づいて仮想的な撮像画素の画素信号値を式（５）、（６）のようにして求めた。像ズレ量の絶対値が所定閾値以上の場合には、該焦点検出画素位置に配置された第１の種類の焦点検出画素の画素信号値と、撮像画素が受光する撮像光束に対し、該第１の種類の焦点検出画素が受光する光束と相補的な関係となる光束を受光する第２の種類の焦点検出画素であり、かつ該第１の種類の焦点検出画素の近傍に存在する第２の種類の焦点検出画素の画素信号値を用いて、仮想的な撮像画素の画素信号値を、式（８）、（９）のように求めている。しかし、所定閾値を境に２つの算出方式を変更するのではなく、像ズレ量の絶対値が所定閾値を中心とする所定範囲に含まれる場合には、２つの算出方式で算出した結果を平均するようにしてもよい。
【０１１１】
上述した実施形態においては、図６に示すように、撮影者が焦点検出エリア選択部材を用いて予め選択した焦点検出エリアにおいて、像が合焦近傍にある場合に、シャッターレリーズが行われることとした。したがって、該焦点検出エリアに対応する焦点検出画素位置に配置された焦点検出画素の画素信号値のみに基づき、仮想的な撮像画素の画素信号値を算出することとした。しかし、該焦点検出エリアにおいて像が合焦近傍に無い場合に、シャッターレリーズが行われることも考えられる。この場合、該焦点検出エリアに対応する焦点検出画素位置にある仮想的な撮像画素の出力は、隣接する相補的な焦点検出画素２つの出力を平均して算出することとしても良い。
【０１１２】
上述した実施形態においては、焦点検出画素位置における仮想的な撮像画素の画素データを求める演算処理が、ボディ駆動制御装置２１４内で行われ、生成された画像データがメモリカード２１９に格納されている。しかし、図２２に示すように、デジタルスチルカメラ２０１とは別のパーソナルコンピュータなどの画像処理装置９００において、画像処理プログラムを用いて、焦点検出画素位置における仮想的な撮像画素の画素データを求める演算処理を行っても良い。図２２（ａ）に示すように、その画像処理プログラムは、媒体９５０から画像処理装置９００にインストールされても良いし、サーバ７００からネットワーク８００を介して画像処理装置９００にダウンロードされても良い。
【０１１３】
また、図２２（ａ）に示すように、画像処理装置９００はデジタルスチルカメラ２０１と直接接続されることにより、撮像時の撮像画素の画素データおよび焦点検出画素の画素データ等を読み出すこととしても良いし、メモリカード２１９を介してそれらのデータ等を読み出しても良い。後者の場合には、ボディ駆動制御装置２１４は、撮像時の撮像画素の画素データおよび焦点検出画素の画素データをＲＡＷデータとして一旦メモリカード２１９に格納する。該ＲＡＷデータに付随して、撮像時のレンズ情報（射出瞳距離、絞り開口径）をメモリカード２１９に格納しておく。
【０１１４】
図２２（ｂ）に、上述した画像処理プログラムに従って動作する画像処理装置９００の動作フローを示す。画像処理装置９００は、ステップＳ３１０において、メモリカード２１９に格納されたＲＡＷデータ、レンズ情報、および焦点検出画素位置情報を読み込む。ステップＳ３２０において、ＲＡＷデータに含まれる焦点検出画素の画素データに基づき、焦点検出画素位置における焦点状態を検出し、像ズレ量を算出する。ステップＳ３３０において、像ズレ量の絶対値が所定閾値以内の場合は、略合焦していると判定し、ステップＳ３４０において、予め画像処理装置９００に記憶された光量比情報、およびメモリカード２１９から読み出したレンズ情報と焦点検出画素位置情報とに基づいて焦点検出画素位置の光量比を算出する。算出した光量比と焦点検出画素位置の焦点検出画素の画素データとに基づいて、焦点検出画素位置における仮想的な撮像画素の画素データを演算する。また、ステップＳ３３０において、像ズレ量の絶対値が所定閾値以上の場合は、合焦していないと判定し、ステップＳ３５０において、焦点検出画素位置の焦点検出画素の画素データと、それを挟む２つの焦点検出画素の画素データとに基づいて、焦点検出画素位置における仮想的な撮像画素の画素データを演算する。ステップＳ３６０において、ステップＳ３４０またはステップＳ３５０において演算された焦点検出画素位置における仮想的な撮像画素の画素データと、ステップＳ３１０において読み込んだＲＡＷデータとに基づき、画像データを生成する。
【０１１５】
このようにすれば、ユーザが、画像処理された画像をモニターなどで表示した結果を、各種パラメータ（像ズレ量の閾値、光量比など）を調整しながら視認するといったフィードバック処理を行うことにより、最適な画像処理結果を得ることができる。
【０１１６】
上述した実施形態における撮像素子では、撮像画素がベイヤー配列等に従った色フィルタを備えた例を示したが、色フィルタの構成や配列はこれに限定されることはなく、補色フィルタ（緑：Ｇ、イエロー：Ｙｅ、マゼンタ：Ｍｇ，シアン：Ｃｙ）の配列等、ベイヤー配列以外の配列にも本発明を適用することができる。
【０１１７】
上述した実施形態においては、撮像素子としてＣＣＤイメージセンサやＣＭＯＳイメージセンサなどを適用することができる。
【０１１８】
なお、カメラとしては、上述したようなカメラボディに交換レンズが装着される構成のデジタルスチルカメラやフィルムスチルカメラに限定されない。例えばレンズ一体型のデジタルスチルカメラ、フィルムスチルカメラ、あるいはビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置、車載カメラなどにも適用できる。
【符号の説明】
【０１１９】
１０ マイクロレンズ、
１１、１３、１４ 光電変換部、
５３、５４、６３、６４、７３、７４ 焦点検出光束、７１ 撮影光束、
９０ 射出瞳、 ９１、４００ 光軸、 ９２ 予定焦点面、
９３、９４ 測距瞳、 ９５ 領域、
９６ 絞り開口、 ９７ 測距瞳面、 ９８ 面、
１００ 撮影画面、
１０１、１０２、１０３、１０４、１０５、１０６、１０７、１０８、１０９ 焦点検出エリア、
２０１ デジタルスチルカメラ、 ２０２ 交換レンズ、 ２０３ カメラボディ、
２０４ マウント部、 ２０６ レンズ駆動制御装置、
２０８ ズーミング用レンズ、 ２０９ レンズ、 ２１０ フォーカシング用レンズ、
２１１ 絞り、 ２１２ 撮像素子、 ２１３ 電気接点、
２１４ ボディ駆動制御装置、
２１５ 液晶表示素子駆動回路、 ２１６ 液晶表示素子、 ２１７ 接眼レンズ、
２１９ メモリカード、 ２２０ 内蔵メモリ、
３１０ 撮像画素、
３１３、３１４、３２３、３２４、３３３、３３４、５１３、５１４ 焦点検出画素、
４０１ 焦点検出画素位置、
７００ サーバ、 ８００ ネットワーク、 ９００ 画像処理装置、 ９５０ 媒体
【特許請求の範囲】
【請求項１】
所定の色配列に対応する分光感度を有する複数の撮像画素と、複数の焦点検出画素とが２次元的に配列され、前記複数の焦点検出画素が、一対の焦点検出光束を受光する第１の焦点検出画素列と第２の焦点検出画素列とを形成する撮像素子と、
前記撮像素子上に被写体像を形成する光学系と、
前記第１の焦点検出画素列に含まれる複数の第１の焦点検出画素が出力する画素信号と、前記第２の焦点検出画素列に含まれる複数の第２の焦点検出画素が出力する画素信号とに基づき、前記被写体像についての焦点状態を検出し、第１の検出出力または第２の検出出力を出力する焦点検出手段と、
前記焦点検出手段が前記第１の検出出力を出力したとき、所定の演算処理により、前記複数の焦点検出画素の各々が配置された焦点検出画素位置の撮像信号を算出する第１の演算処理手段と、
前記焦点検出手段が前記第２の検出出力を出力したとき、前記第１の演算処理手段とは異なる演算処理により、前記複数の焦点検出画素の各々が配置された焦点検出画素位置の撮像信号を算出する第２の演算処理手段と、
前記複数の撮像画素が出力する撮像信号と、前記第１の演算処理手段または前記第２の演算処理手段が算出する前記焦点検出画素位置の撮像信号とに基づき画像データを生成する画像生成手段とを備えることを特徴とするカメラ。
【請求項２】
請求項１に記載のカメラにおいて、
前記複数の第１の焦点検出画素の各々と前記複数の第２の焦点検出画素の各々とは、同一の方向に交互に配置され、
前記焦点検出手段は、前記焦点状態が合焦状態または略合焦状態であるときは前記第１の検出出力を出力し、前記焦点状態が非合焦状態であるときは第２の検出出力を出力し、
前記第１の算出部は、前記焦点検出画素位置に配置される焦点検出画素が出力する画素信号に基づき、前記焦点検出画素位置の撮像信号を算出し、
前記第２の算出部は、前記焦点検出画素位置の周囲に配置された前記複数の撮像画素と前記焦点検出画素位置の周囲に配置された前記複数の焦点検出画素とが出力する画素信号と、前記焦点検出画素位置に配置される焦点検出画素が出力する画素信号とに基づき、前記焦点検出画素位置の撮像信号を算出することを特徴とするカメラ。
【請求項３】
請求項２に記載のカメラにおいて、
前記複数の第１の焦点検出画素および前記複数の第２の焦点検出画素のうち、前記第１の焦点検出画素列と前記第２の焦点検出画素列との間で位置的に対応する一対の焦点検出画素の受光量の光量比を算出する算出手段をさらに備え、
前記第１の算出部は、前記焦点検出画素位置に配置される焦点検出画素が出力する画素信号と前記光量比とに基づき、前記焦点検出画素位置の撮像信号を算出することを特徴とするカメラ。
【請求項４】
請求項２または３に記載のカメラにおいて、
前記第２の算出部は、前記焦点検出画素位置に配置される焦点検出画素が出力する画素信号と、前記焦点検出画素位置に配置される焦点検出画素を挟む２つの焦点検出画素が出力する２つの画素信号の平均との和に基づき、前記焦点検出画素位置の撮像信号を算出し、
前記２つの焦点検出画素は、前記第１の焦点検出画素列および前記第２の焦点検出画素列のうち、前記焦点検出画素位置に配置される焦点検出画素が含まれる焦点検出画素列とは異なる焦点検出画素列に含まれることを特徴とするカメラ。
【請求項５】
請求項２〜４のいずれか１項に記載のカメラにおいて、
前記焦点状態は、前記第１焦点検出画素列に含まれる複数の焦点検出画素が出力する画素信号と、前記第２焦点検出画素列に含まれる複数の焦点検出画素が出力する画素信号とに基づく一対の信号列間の位相の相対的なズレ量であり、
前記演算処理手段は、前記ズレ量の絶対値の大きさに基づき、前記焦点状態が合焦状態または略合焦状態であるか非合焦状態であるかを判断することを特徴とするカメラ。
【請求項６】
請求項３に記載のカメラにおいて、
前記光学系の絞り開口径および射出瞳距離の組合せと、前記焦点検出画素位置との関数としての前記光量比を光量比情報として記憶する記憶手段をさらに備え、
前記算出手段は、前記光量比情報と、撮像時の前記絞り開口径および前記射出瞳距離と、前記焦点検出画素位置とに基づき、前記焦点検出画素位置における前記光量比を算出することを特徴とするカメラ。
【請求項７】
請求項１〜６のいずれか１項に記載のカメラにおいて、
前記複数の焦点検出画素は、前記所定の色配列に対応する分光感度を有し、
前記複数の撮像画素と前記複数の焦点検出画素とが全体として前記所定の色配列に従って前記撮像素子に配置され、
前記複数の撮像画素および前記複数の焦点検出画素のうち、同一の分光感度を有する撮像画素および焦点検出画素の各々の画素に含まれるマイクロレンズと色フィルタとは同一であり、前記各々の画素に含まれる光電変換部が受光する光束の範囲が異なることを特徴とするカメラ。
【請求項８】
請求項７に記載のカメラにおいて、
前記複数の第１の焦点検出画素および前記複数の第２の焦点検出画素のうち、前記第１の焦点検出画素列と前記第２の焦点検出画素列との間で位置的に対応する一対の焦点検出画素の各々の光電変換部の受光領域の形状は、前記複数の撮像画素の各々の光電変換部の受光領域の形状に関して互いに相補的であることを特徴とするカメラ。
【請求項９】
請求項１〜８のいずれか１項に記載のカメラにおいて、
前記所定の色配列は、赤、緑および青の各色が正方格子配列に従って配列されることにより構成されるベイヤー配列であるとともに、前記複数の焦点検出画素は、緑の分光感度を有し、前記正方格子配列を構成する単位格子の対角方向に配列されることを特徴とするカメラ。
【請求項１０】
請求項１〜９のいずれか１項に記載のカメラにおいて、
前記複数の焦点検出画素の各々の有する分光感度と、前記複数の焦点検出画素の各々の周囲に配置された前記複数の撮像画素の各々が出力する撮像信号とに基づいて算出された前記被写体像の色相と、前記光学系の色収差情報とに基づき、前記焦点検出手段により検出された前記焦点状態を補正する補正手段をさらに備えることを特徴とするカメラ。
【請求項１１】
請求項１〜１０のいずれか１項に記載のカメラにおいて、
前記複数の焦点検出画素は、前記一対の焦点検出光束を受光する第１の焦点検出画素列と第２の焦点検出画素列とをさらに複数列形成することを特徴とするカメラ。
【請求項１２】
複数の撮像画素の撮像信号データと、一対の焦点検出画素列の焦点検出信号列データを構成する複数の焦点検出画素の焦点検出信号データとを含むＲＡＷ画像データから被写体画像データを生成する処理をコンピュータに実行させる画像処理プログラムにおいて、
前記ＲＡＷ画像データを読み込む読み込み手順と、
前記焦点検出信号列データに基づき、被写体画像の焦点検出位置における前記被写体画像についての焦点状態を検出し、第１の検出出力または第２の検出出力を出力する焦点検出手順と、
前記焦点検出手順により前記第１の検出出力が出力されたとき、所定の演算処理により、前記焦点検出位置の撮像信号データを算出する第１の演算処理手順と、
前記焦点検出手順により前記第２の検出出力が出力されたとき、前記第１の演算処理手順とは異なる演算処理により、前記焦点検出位置の撮像信号データを算出する第２の演算処理手順と、
前記複数の撮像画素の撮像信号データと、前記第１の演算処理手順または前記第２の演算処理手手順により算出される前記焦点検出位置の撮像信号データとに基づき被写体画像データを生成する画像生成手順とをコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１】
所定の色配列に対応する分光感度を有する複数の撮像画素と、複数の焦点検出画素とが２次元的に配列され、前記複数の焦点検出画素が、一対の焦点検出光束を受光する第１の焦点検出画素列と第２の焦点検出画素列とを形成する撮像素子と、
前記撮像素子上に被写体像を形成する光学系と、
前記第１の焦点検出画素列に含まれる複数の第１の焦点検出画素が出力する画素信号と、前記第２の焦点検出画素列に含まれる複数の第２の焦点検出画素が出力する画素信号とに基づき、前記被写体像についての焦点状態を検出し、第１の検出出力または第２の検出出力を出力する焦点検出手段と、
前記焦点検出手段が前記第１の検出出力を出力したとき、所定の演算処理により、前記複数の焦点検出画素の各々が配置された焦点検出画素位置の撮像信号を算出する第１の演算処理手段と、
前記焦点検出手段が前記第２の検出出力を出力したとき、前記第１の演算処理手段とは異なる演算処理により、前記複数の焦点検出画素の各々が配置された焦点検出画素位置の撮像信号を算出する第２の演算処理手段と、
前記複数の撮像画素が出力する撮像信号と、前記第１の演算処理手段または前記第２の演算処理手段が算出する前記焦点検出画素位置の撮像信号とに基づき画像データを生成する画像生成手段とを備えることを特徴とするカメラ。
【請求項２】
請求項１に記載のカメラにおいて、
前記複数の第１の焦点検出画素の各々と前記複数の第２の焦点検出画素の各々とは、同一の方向に交互に配置され、
前記焦点検出手段は、前記焦点状態が合焦状態または略合焦状態であるときは前記第１の検出出力を出力し、前記焦点状態が非合焦状態であるときは第２の検出出力を出力し、
前記第１の算出部は、前記焦点検出画素位置に配置される焦点検出画素が出力する画素信号に基づき、前記焦点検出画素位置の撮像信号を算出し、
前記第２の算出部は、前記焦点検出画素位置の周囲に配置された前記複数の撮像画素と前記焦点検出画素位置の周囲に配置された前記複数の焦点検出画素とが出力する画素信号と、前記焦点検出画素位置に配置される焦点検出画素が出力する画素信号とに基づき、前記焦点検出画素位置の撮像信号を算出することを特徴とするカメラ。
【請求項３】
請求項２に記載のカメラにおいて、
前記複数の第１の焦点検出画素および前記複数の第２の焦点検出画素のうち、前記第１の焦点検出画素列と前記第２の焦点検出画素列との間で位置的に対応する一対の焦点検出画素の受光量の光量比を算出する算出手段をさらに備え、
前記第１の算出部は、前記焦点検出画素位置に配置される焦点検出画素が出力する画素信号と前記光量比とに基づき、前記焦点検出画素位置の撮像信号を算出することを特徴とするカメラ。
【請求項４】
請求項２または３に記載のカメラにおいて、
前記第２の算出部は、前記焦点検出画素位置に配置される焦点検出画素が出力する画素信号と、前記焦点検出画素位置に配置される焦点検出画素を挟む２つの焦点検出画素が出力する２つの画素信号の平均との和に基づき、前記焦点検出画素位置の撮像信号を算出し、
前記２つの焦点検出画素は、前記第１の焦点検出画素列および前記第２の焦点検出画素列のうち、前記焦点検出画素位置に配置される焦点検出画素が含まれる焦点検出画素列とは異なる焦点検出画素列に含まれることを特徴とするカメラ。
【請求項５】
請求項２〜４のいずれか１項に記載のカメラにおいて、
前記焦点状態は、前記第１焦点検出画素列に含まれる複数の焦点検出画素が出力する画素信号と、前記第２焦点検出画素列に含まれる複数の焦点検出画素が出力する画素信号とに基づく一対の信号列間の位相の相対的なズレ量であり、
前記演算処理手段は、前記ズレ量の絶対値の大きさに基づき、前記焦点状態が合焦状態または略合焦状態であるか非合焦状態であるかを判断することを特徴とするカメラ。
【請求項６】
請求項３に記載のカメラにおいて、
前記光学系の絞り開口径および射出瞳距離の組合せと、前記焦点検出画素位置との関数としての前記光量比を光量比情報として記憶する記憶手段をさらに備え、
前記算出手段は、前記光量比情報と、撮像時の前記絞り開口径および前記射出瞳距離と、前記焦点検出画素位置とに基づき、前記焦点検出画素位置における前記光量比を算出することを特徴とするカメラ。
【請求項７】
請求項１〜６のいずれか１項に記載のカメラにおいて、
前記複数の焦点検出画素は、前記所定の色配列に対応する分光感度を有し、
前記複数の撮像画素と前記複数の焦点検出画素とが全体として前記所定の色配列に従って前記撮像素子に配置され、
前記複数の撮像画素および前記複数の焦点検出画素のうち、同一の分光感度を有する撮像画素および焦点検出画素の各々の画素に含まれるマイクロレンズと色フィルタとは同一であり、前記各々の画素に含まれる光電変換部が受光する光束の範囲が異なることを特徴とするカメラ。
【請求項８】
請求項７に記載のカメラにおいて、
前記複数の第１の焦点検出画素および前記複数の第２の焦点検出画素のうち、前記第１の焦点検出画素列と前記第２の焦点検出画素列との間で位置的に対応する一対の焦点検出画素の各々の光電変換部の受光領域の形状は、前記複数の撮像画素の各々の光電変換部の受光領域の形状に関して互いに相補的であることを特徴とするカメラ。
【請求項９】
請求項１〜８のいずれか１項に記載のカメラにおいて、
前記所定の色配列は、赤、緑および青の各色が正方格子配列に従って配列されることにより構成されるベイヤー配列であるとともに、前記複数の焦点検出画素は、緑の分光感度を有し、前記正方格子配列を構成する単位格子の対角方向に配列されることを特徴とするカメラ。
【請求項１０】
請求項１〜９のいずれか１項に記載のカメラにおいて、
前記複数の焦点検出画素の各々の有する分光感度と、前記複数の焦点検出画素の各々の周囲に配置された前記複数の撮像画素の各々が出力する撮像信号とに基づいて算出された前記被写体像の色相と、前記光学系の色収差情報とに基づき、前記焦点検出手段により検出された前記焦点状態を補正する補正手段をさらに備えることを特徴とするカメラ。
【請求項１１】
請求項１〜１０のいずれか１項に記載のカメラにおいて、
前記複数の焦点検出画素は、前記一対の焦点検出光束を受光する第１の焦点検出画素列と第２の焦点検出画素列とをさらに複数列形成することを特徴とするカメラ。
【請求項１２】
複数の撮像画素の撮像信号データと、一対の焦点検出画素列の焦点検出信号列データを構成する複数の焦点検出画素の焦点検出信号データとを含むＲＡＷ画像データから被写体画像データを生成する処理をコンピュータに実行させる画像処理プログラムにおいて、
前記ＲＡＷ画像データを読み込む読み込み手順と、
前記焦点検出信号列データに基づき、被写体画像の焦点検出位置における前記被写体画像についての焦点状態を検出し、第１の検出出力または第２の検出出力を出力する焦点検出手順と、
前記焦点検出手順により前記第１の検出出力が出力されたとき、所定の演算処理により、前記焦点検出位置の撮像信号データを算出する第１の演算処理手順と、
前記焦点検出手順により前記第２の検出出力が出力されたとき、前記第１の演算処理手順とは異なる演算処理により、前記焦点検出位置の撮像信号データを算出する第２の演算処理手順と、
前記複数の撮像画素の撮像信号データと、前記第１の演算処理手順または前記第２の演算処理手手順により算出される前記焦点検出位置の撮像信号データとに基づき被写体画像データを生成する画像生成手順とをコンピュータに実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１１−１７６７１４（Ｐ２０１１−１７６７１４Ａ）
【公開日】平成２３年９月８日（２０１１．９．８）
【国際特許分類】
【出願番号】特願２０１０−４０３７６（Ｐ２０１０−４０３７６）
【出願日】平成２２年２月２５日（２０１０．２．２５）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２３年９月８日（２０１１．９．８）
【国際特許分類】
【出願日】平成２２年２月２５日（２０１０．２．２５）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]