撮像装置及びその制御方法
【課題】焦点検出部における被写体の輝度分布の検出能力を向上させ、より正確な焦点検出を行うこと。
【解決手段】撮像装置は、撮像素子１０７と合成手段９０２と連結手段９０３と演算手段９０４とを備える。撮像素子１０７は瞳分割された第１の焦点検出用画素９０１ａと第２の焦点検出用画素９０１ｂとで構成される焦点検出部９０１を複数有し、合成手段９０２は撮像素子１０７にそれぞれ割り当てられた複数のセクションＣＳＴにおいて、第１の焦点検出用画素９０１ａからの出力信号を合成して第１の合成信号を得る処理と、第２の焦点検出用画素９０１ｂからの出力信号を合成して第２の合成信号を得る処理とを行い、連結手段９０３は前記第１の合成信号を連結して第１の連結信号を得る処理と、前記第２の合成信号を連結して第２の連結信号を得る処理とを行い、演算手段９０４は前記第１の連結信号及び前記第２の連結信号に基づいて、焦点ずれ量を演算する。
【解決手段】撮像装置は、撮像素子１０７と合成手段９０２と連結手段９０３と演算手段９０４とを備える。撮像素子１０７は瞳分割された第１の焦点検出用画素９０１ａと第２の焦点検出用画素９０１ｂとで構成される焦点検出部９０１を複数有し、合成手段９０２は撮像素子１０７にそれぞれ割り当てられた複数のセクションＣＳＴにおいて、第１の焦点検出用画素９０１ａからの出力信号を合成して第１の合成信号を得る処理と、第２の焦点検出用画素９０１ｂからの出力信号を合成して第２の合成信号を得る処理とを行い、連結手段９０３は前記第１の合成信号を連結して第１の連結信号を得る処理と、前記第２の合成信号を連結して第２の連結信号を得る処理とを行い、演算手段９０４は前記第１の連結信号及び前記第２の連結信号に基づいて、焦点ずれ量を演算する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２次元に構成された複数の光電変換素子で静止画及び動画の少なくとも一方を撮像可能な撮像素子を用いた撮像装置及びその制御方法に関する。
【背景技術】
【０００２】
撮像装置の自動焦点検出・調節方法で撮影光学系を通過した光束を用いる一般的な方式として、コントラスト検出方式（ぼけ方式と呼ばれる）と位相差検出方式（ずれ方式と呼ばれる）とがある。
【０００３】
コントラスト検出方式は動画撮影用ビデオムービー機器（カムコーダー）や電子スチルカメラで多く用いられる方式であり、撮像素子が焦点検出用センサとして用いられるものである。撮像素子の出力信号、特に高周波成分の情報（コントラスト情報）に着目し、その評価値が最も大きくなる撮影光学系の位置を合焦位置とする方式である。しかしながら、山登り方式とも言われるように、撮影光学系を微少量動かしながら評価値を求め、その評価値が結果的に最大であったとわかるまで動かす事が必要であるため、高速な焦点調節動作には不向きとされている。
【０００４】
もう一方の位相差検出方式は、銀塩フィルムによる一眼レフカメラに多く用いられ、自動焦点検出（Ａｕｔｏ Ｆｏｃｕｓ：ＡＦ）一眼レフカメラの実用化に最も貢献した技術である。位相差検出方式では、撮影光学系の射出瞳を通過した光束を２分割し、２分割した光束を一組の焦点検出用センサによりそれぞれ受光する。そして、その受光量に応じて出力される信号のずれ量、すなわち、光束の分割方向の相対的位置ずれ量を検出することで撮影光学系のピント方向のずれ量を直接求めるものである。従って、焦点検出用センサにより一度蓄積動作を行なえばピントずれの量と方向が得られ、高速な焦点調節動作が可能となっている。但し、撮影光学系の射出瞳を通過した光束を２分割し、それぞれの光束に対応する信号を得るためには、撮像光路中にクイックリターンミラーやハーフミラー等の光路分割手段を設け、その先に焦点検出用光学系とＡＦセンサを設けるのが一般的である。そのため、装置が大型、かつ高価となる欠点がある。
【０００５】
この欠点を解消するために、撮像素子に位相差検出機能を付与し、専用のＡＦセンサを不要とし、かつ高速の位相差ＡＦを実現するための技術も開示されている。
【０００６】
例えば、特許文献１では、撮像素子の一部の受光素子（画素）において、オンチップマイクロレンズの光軸に対して受光部の感度領域を偏心させることで瞳分割機能を付与している。そしてこれらの画素を焦点検出用画素とし、撮像用画素群の間に所定の間隔で配置することで、位相差式焦点検出を行なう。また、焦点検出用画素が配置された箇所は撮像画素の欠損部に相当するため、周辺の撮像画素情報から補間して画像情報を生成している。
【０００７】
また、特許文献２では、撮像素子の一部の画素の受光部を左右方向又は上下方向に２分割することで瞳分割機能を付与している。そしてこれらの画素を焦点検出用画素（焦点検出部）とし、撮像用画素群の間に所定の間隔で配置することで、位相差式焦点検出を行なう。また、当技術においても焦点検出用画素が配置された箇所は撮像画素が欠損しているため、周辺の撮像画素情報から補間して画像情報を生成している。
【０００８】
また、特許文献３では、撮像素子の一部の画素の受光部を上下方向に２分割することで瞳分割機能を付与し、２分割された受光部の出力を個別に処理することで、上下方向に輝度分布を有した被写体に対して位相差式焦点検出を行なう。また、２分割受光部の出力を合算することで撮像信号にも用いるほか、左右方向に隣接した画素間のコントラストを検出することで、該方向に輝度分布を有する被写体に対してコントラスト式焦点検出を行なう技術が開示されている。
【０００９】
また、特許文献４では、受光部を左右方向又は上下方向に分割した焦点検出用素子を、撮像素子の１行おきに繰り返し配置することで、左右方向及び上下方向に輝度分布を有した被写体に対して位相差式焦点検出を行なう技術が開示されている。
【特許文献１】特開２０００−１５６８２３号公報
【特許文献２】特開２０００−２９２６８６号公報
【特許文献３】特開２００１−３０５４１５号公報
【特許文献４】特開２００３−１５３２９１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１〜４のいずれも、焦点検出部の１つ１つの輝度は小さく、被写体の輝度分布を十分に検出することが出来ない場合があった。そのため、正確な焦点検出を行うことが困難であるという課題があった。
【００１１】
本発明は、上記の課題に鑑みてなされたものであり、焦点検出部における検出能力を向上させ、より正確な焦点検出を行うことを目的とする。
【課題を解決するための手段】
【００１２】
本発明の第１の側面は、撮像装置に係り、瞳分割された第１の焦点検出用画素と第２の焦点検出用画素とで構成される焦点検出部を複数有する撮像素子と、複数の前記焦点検出部を含むように前記撮像素子にそれぞれ割り当てられた複数のセクションの各々において、前記第１の焦点検出用画素からの出力信号を合成して第１の合成信号を得る処理と、前記第２の焦点検出用画素からの出力信号を合成して第２の合成信号を得る処理とを行う合成手段と、前記複数のセクションに渡って、前記第１の合成信号を連結して第１の連結信号を得る処理と、前記第２の合成信号を連結して第２の連結信号を得る処理とを行う連結手段と、前記第１の連結信号及び前記第２の連結信号に基づいて、結像光学系の焦点ずれ量を演算する演算手段と、を備えることを特徴とする。
【００１３】
本発明の第２の側面は、瞳分割された第１の焦点検出用画素と第２の焦点検出用画素とで構成される焦点検出部を複数有する撮像素子を備えた撮像装置の制御方法に係り、前記撮像素子に前記焦点検出部を複数含むセクションを複数割り当てる工程と、前記複数のセクションの各々において、前記第１の焦点検出用画素からの出力信号を合成して第１の合成信号を得る工程と、前記複数のセクションの各々において、前記第２の焦点検出用画素からの出力信号を合成して第２の合成信号を得る工程と、前記複数のセクションに渡って、前記第１の合成信号を連結して第１の連結信号を得る工程と、前記複数のセクションに渡って、前記第２の合成信号を連結して第２の連結信号を得る工程と、前記第１の連結信号及び前記第２の連結信号に基づいて、結像光学系の焦点ずれ量を演算する工程と、を含むことを特徴とする。
【発明の効果】
【００１４】
本発明によれば、焦点検出部における検出能力を向上させ、より正確な焦点検出を行うことができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の好適な実施形態に係る撮像装置及びその制御方法について、図面を参照して詳細に説明する。
【００１６】
（第１の実施形態）
図１〜図２０は本発明の実施形態に係る撮像装置及びその制御方法を説明する図である。以下、図を用いて実施形態の作用を説明する。
【００１７】
図１は本発明の好適な実施の形態に係る撮像装置の構成図であり、撮像素子を有したカメラ本体と撮影光学系が一体となった電子カメラを示している。同図において、１０１は撮影光学系（結像光学系）の先端に配置された第１レンズ群であり、光軸方向に進退可能に保持される。１０２は絞り兼用シャッタであり、その開口径を調節することで撮影時の光量調節を行なうほか、静止画撮影時には露光秒時調節用シャッタとしての機能も備える。１０３は第２レンズ群である。そして絞り兼用シャッタ１０２及び第２レンズ群１０３は一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）をなす。
【００１８】
１０５は第３レンズ群であり、光軸方向の進退により、焦点調節を行なう。１０６は光学的ローパスフィルタであり、撮影画像の偽色やモアレを軽減するための光学素子である。１０７はＣＭＯＳイメージセンサとその周辺回路で構成された撮像素子である。この撮像素子は、横方向ｍ画素、縦方向ｎ画素の受光画素上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、２次元単板カラーセンサが用いられる。
【００１９】
１１１はズームアクチュエータであり、不図示のカム筒を回動することで、第１レンズ群１０１〜第３レンズ群１０３を光軸方向に進退駆動し、変倍操作を行なう。１１２は絞りシャッタアクチュエータであり、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行なう。１１４はフォーカスアクチュエータであり、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。
【００２０】
１１５は撮影時の被写体照明用電子フラッシュであり、キセノン管を用いた閃光照明装置が好適であるが、連続発光するＬＥＤを備えた照明装置を用いても良い。１１６はＡＦ補助光手段であり、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体や低コントラスト被写体に対する焦点検出能力を向上させる。
【００２１】
１２１はＣＰＵであり、撮像装置内でカメラ本体の種々の制御を司る。ＣＰＵ１２１は、例えば、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。そして、ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムに基づいて、撮像装置が有する各種回路を駆動し、ＡＦ、撮影、画像処理と記録等の一連の動作を実行する。
【００２２】
１２２は電子フラッシュ制御回路であり、撮影動作に同期して照明手段１１５を点灯制御する。１２３は補助光駆動回路であり、焦点検出動作に同期してＡＦ補助光手段１１６を点灯制御する。１２４は撮像素子駆動回路であり、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。１２５は画像処理回路であり、撮像素子１０７が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行なう。
【００２３】
１２６はフォーカス駆動回路であり、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。１２８は絞りシャッタ駆動回路であり、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。１２９はズーム駆動回路であり、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。
【００２４】
１３１はＬＣＤ等の表示器であり、撮像装置の撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。１３２は操作スイッチ群であり、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。１３３は着脱可能なフラッシュメモリであり、撮影済み画像を記録する。
【００２５】
図２は本発明の好適な実施形態に係る撮像素子の概略的回路構成図を示したものであり、本発明者による特開平０９−０４６５９６号公報等に開示された技術を用いて製造されうる。図２はＣＭＯＳイメージセンサが２次元に配列されたエリアセンサのうち２列×４行の画素領域を示したものである。撮像素子として利用する場合は、図２に示した画素領域が複数配置され、高解像度画像の取得を可能としている。本実施形態においては、画素ピッチが２μｍ、有効画素数が横３０００列×縦２０００行＝６００万画素、撮像画面サイズが横６ｍｍ×縦４ｍｍのデジタルスチルカメラ用の撮像素子を一例として説明を行なう。
【００２６】
図２において、１はトランジスタで構成された光電変換素子、２はフォトゲート、３は転送スイッチトランジスタである。光電変換素子１、フォトゲート２及び転送スイッチトランジスタ３により画素３０−１１〜３０−３２のうちの１画素が構成されている。４はリセット用トランジスタ、５はソースフォロワアンプトランジスタ、６は水平選択スイッチトランジスタ、７はソースフォロワの負荷トランジスタである。８は暗出力転送トランジスタ、９は明出力転送トランジスタ、１０は暗出力蓄積容量ＣＴＮ、１１は明出力蓄積容量ＣＴＳ、１２は水平転送トランジスタである。１３は水平出力線リセットトランジスタ、１４は差動出力アンプ、１５は水平走査回路、１６は垂直走査回路である。なお、図２に示す各トランジスタは、例えば、ＭＯＳトランジスタで構成されうる。
【００２７】
図３に２画素で構成されるユニットの断面図を示す。図３のユニット３０１は、図２の画素３０−１１及び画素３０−２１の２画素を１ユニットで構成したものを例示的に示したものである。図３において、１７はＰウェル、１８は酸化膜等で形成されるゲート絶縁膜、１９は一層目のポリＳｉ、２０は二層目のポリＳｉ、２１はｎ＋フローティングディフュージョン部（ＦＤ）である。２１のＦＤは他の転送トランジスタを介して他の光電変換素子と接続される。図３において、２つの転送スイッチトランジスタ３のドレインとＦＤ部２１を共通化して微細化とＦＤ部２１の容量低減による感度向上を図っているが、Ａｌ等の配線でＦＤ部２１を接続しても良い。
【００２８】
次に、図４のタイミングチャートを用いて動作を説明する。このタイミングチャートは全画素独立出力の場合である。図４において、横軸は時間、縦軸は各信号の信号波形を示す。
【００２９】
まず垂直走査回路１６からのタイミング出力によって、制御パルスφＬをハイとして垂直出力線をリセットする。また制御パルスφＲ０,φＰＧ００,φＰＧｅ０をハイとし、リセット用トランジスタ４をオンとし、フォトゲート２の一層目のポリＳｉ１９をハイとしておく。期間Ｔ０において、制御パルスφＳ０をハイとし、選択スイッチトランジスタ６をオンさせ、第１、第２ラインの画素を選択する。次に制御パルスφＲ０をロウとし、ＦＤ部２１のリセットを止め、ＦＤ部２１をフローティング状態とする。ＦＤ部２１に蓄積される電荷は、ソースフォロワアンプトランジスタ５のゲートを介して、電圧の変化としてソースから読み出される。その後、期間Ｔ１において制御パルスφＴＮをハイとし、ＦＤ部２１から読み出された暗電圧をソースフォロワ動作で蓄積容量ＣＴＮ１０に出力させる。
【００３０】
次に、第１ラインの画素の光電変換出力を行うため、第１ラインの制御パルスφＴＸ００をハイとして転送スイッチトランジスタ３を導通した後、期間Ｔ２において制御パルスφＰＧ００をローとする。この時フォトゲート２の下に拡がっていたポテンシャル井戸を上げて、光発生キャリアをＦＤ部２１に完全転送させるような電圧関係が好ましい。従って完全転送が可能であれば制御パルスφＴＸはパルスではなくある固定電位でもかまわない。
【００３１】
期間Ｔ２でフォトダイオードの光電変換素子１からの電荷がＦＤ部２１に転送されることにより、ＦＤ部２１の電位が光に応じて変化することになる。この時ソースフォロワアンプトランジスタ５がフローティング状態であるので、ＦＤ部２１の電位を期間Ｔ３において制御パルスφＴｓをハイとして蓄積容量ＣＴＳ１１に出力する。この時点で第１ラインの画素の暗出力と光出力はそれぞれ蓄積容量ＣＴＮ１０とＣＴＳ１１に蓄積されている。そして、期間Ｔ４で制御パルスφＨＣを一時ハイとして水平出力線リセットトランジスタ１３を導通して水平出力線をリセットし、水平転送期間において水平走査回路１５の走査タイミング信号により水平出力線に画素の暗出力と光出力が出力される。この時、蓄積容量ＣＴＮ１０とＣＴＳ１１の差動増幅器１４によって、差動出力ＶＯＵＴを取れば、画素のランダムノイズ、固定パターンノイズを除去したＳ／Ｎの良い信号が得られる。また画素３０−１２、３０−２２の光電荷は、画素３０−１１、３０−２１と同時に夫々の蓄積容量ＣＴＮ１０とＣＴＳ１１に蓄積される。しかしながら、その読み出しは水平走査回路１５からのタイミングパルスを１画素分遅延させて、水平出力線に読み出して差動増幅器１４から出力される。
【００３２】
本実施形態では、差動出力ＶＯＵＴをチップ内で行う構成を示しているが、チップ内に含めず、外部で従来のＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関二重サンプリング）回路を用いても同様の効果が得られる。
【００３３】
蓄積容量ＣＴＳ１１に明出力を出力した後、制御パルスφＲ０をハイとしてリセット用トランジスタ４を導通し、ＦＤ部２１を電源ＶＤＤにリセットする。第１ラインの水平転送が終了した後、第２ラインの読み出しを行う。第２ラインの読み出しは、制御パルスφＴＸｅ０、制御パルスφＰＧｅ０を同様に駆動させ、制御パルスφＴＮ、φＴＳに夫々ハイパルスを供給して、蓄積容量ＣＴＮ１０とＣＴＳ１１に夫々光電荷を蓄積し、暗出力及び明出力を取り出す。以上の駆動により、第１、第２ラインの読み出しが夫々独立に行なえる。この後、垂直走査回路を走査させ、同様に第２ｎ＋１ライン、第２ｎ＋２ライン（ｎ＝１、２、…）の読み出しを行なえば、全画素独立出力が行える。例えば、ｎ＝１の場合は、まず制御パルスφＳ１をハイとし、次に次にφＲ１をローとする。次いで、制御パルスφＴＮ、φＴＸ０１をハイとし、制御パルスφＰＧ０１をロー、制御パルスφＴＳをハイ、制御パルスφＨＣを一時ハイとして画素３０−３１、３０−３２の画素信号を読み出す。続いて、制御パルスφＴＸｅ１、φＰＧｅ１及び上記と同様に制御パルスを印加して、画素３０−４１、３０−４２の画素信号を読み出す。
【００３４】
図５〜図７は、撮像用画素と焦点検出用画素の構造を説明する図である。本発明の好適な実施形態においては、２行×２列の４画素のうち、対角２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素を各１個配置した、ベイヤー配列が採用されている。そして、このベイヤー配列の間に、後述する構造の焦点検出用画素が所定の規則にて分散配置される。
【００３５】
図５に撮像用画素の配置と構造を示す。図５（ａ）は２行×２列の撮像用画素の平面図である。周知のように、ベイヤー配列では対角方向にＧ画素が、他の２画素にＲとＢの画素が配置される。そして２行×２列の構造が繰り返し配置される。
【００３６】
図５（ａ）におけるＡ−Ａ断面図を図５（ｂ）に示す。ＭＬは各画素の最前面に配置されたオンチップマイクロレンズ、ＣＦＲはＲ（赤色）のカラーフィルタ、ＣＦＧはＧ（緑色）のカラーフィルタである。ＰＤ（Ｐｈｏｔｏ Ｄｉｏｄｅ）は図３で説明したＣＭＯＳイメージセンサの光電変換素子を模式的に示したものである。ＣＬ（Ｃｏｎｔａｃｔ Ｌａｙｅｒ）は、ＣＭＯＳイメージセンサ内の各種信号を伝達する信号線を形成するための配線層である。ＴＬは撮影光学系を模式的に示したものである。
【００３７】
ここで、撮像用画素のオンチップマイクロレンズＭＬと光電変換素子ＰＤは、撮影光学系ＴＬ（Ｔａｋｉｎｇ Ｌｅｎｓ）を通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影光学系ＴＬの射出瞳ＥＰ（Ｅｘｉｔ Ｐｕｐｉｌ）と光電変換素子ＰＤは、マイクロレンズＭＬにより共役関係にあり、かつ光電変換素子の有効面積は大面積に設計される。また、図５（ｂ）ではＲ画素の入射光束について説明したが、Ｇ画素及びＢ（青色）画素も同一の構造となっている。従って、撮像用のＲＧＢ各画素に対応した射出瞳ＥＰは大径となり、被写体からの光束（光量子）を効率よく取り込んで画像信号のＳ／Ｎを向上させている。
【００３８】
図６は、撮影光学系の水平方向（横方向）に瞳分割を行なうための焦点検出用画素の配置と構造を示す。ここで水平方向又は横方向とは、撮影光学系の光軸と撮影画面の長辺とが地面に平行となるように撮像装置を構えたとき、この光軸に直交し、かつ水平方向に伸びる直線に沿った方向をいう。また、図６における瞳分割方向は水平方向である。図６（ａ）は、焦点検出用画素を含む２行×２列の画素の平面図である。記録又は観賞のための画像信号を得る場合、Ｇ画素で輝度情報の主成分を取得する。そして人間の画像認識特性は輝度情報に敏感であるため、Ｇ画素が欠損すると画質劣化が認知されやすい。一方でＲ画素又はＢ画素は、色情報（色差情報）を取得する画素であるが、人間の視覚特性は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化は認識され難い。そこで本実施形態においては、２行×２列の画素のうち、Ｇ画素は撮像用画素として残し、Ｒ画素とＢ画素を焦点検出用画素に置き換える。この焦点検出用画素を図６（ａ）においてＳＨＡ及びＳＨＢと示す。
【００３９】
図６（ａ）におけるＡ−Ａ断面図を図６（ｂ）に示す。マイクロレンズＭＬと、光電変換素子ＰＤは図５（ｂ）に示した撮像用画素と同一構造である。本実施形態においては、焦点検出用画素の信号は画像生成には用いないため、色分離用カラーフィルタの代わりに透明膜ＣＦＷ（白色）が配置される。また、撮像素子で瞳分割を行なうため、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対して一方向に偏倚している。具体的には、画素ＳＨＡ及の開口部ＯＰＨＡは右側に偏倚しているため、撮影光学系ＴＬの左側の射出瞳ＥＰＨＡを通過した光束を受光する。同様に、画素ＳＨＢの開口部ＯＰＨＢは左側に偏倚しているため、撮影光学系ＴＬの右側の射出瞳ＥＰＨＢを通過した光束を受光する。よって、画素ＳＨＡを水平方向に規則的に配列し、これらの画素群で取得した被写体像をＡ像とする。また、画素ＳＨＢも水平方向に規則的に配列し、これらの画素群で取得した被写体像をＢ像とすると、Ａ像とＢ像の相対位置を検出することで、被写体像のピントずれ量（デフォーカス量）が検出できる。
【００４０】
なお、上記画素ＳＨＡ及びＳＨＢでは、撮影画面の横方向に輝度分布を有した被写体、例えば縦線に対しては焦点検出可能だが、縦方向に輝度分布を有する横線は焦点検出不能である。そこで本実施形態では、後者についても焦点状態を検出できるよう、撮影光学系の垂直方向（縦方向）にも瞳分割を行なう画素も備えるよう構成されうる。
【００４１】
図７は、撮影光学系の垂直方向（上下方向又は縦方向）に瞳分割を行なうための焦点検出用画素の配置と構造を示す。ここで垂直方向、上下方向及び縦横方向は、撮影光学系の光軸と撮影画面の長辺とが地面に平行となるように撮像装置を構えたとき、この光軸に直交し、鉛直方向に伸びる直線に沿った方向をいう。また、図７における瞳分割方向は垂直方向である。図７（ａ）は、焦点検出用画素を含む２行×２列の画素の平面図であり、図６（ａ）と同様に、Ｇ画素は撮像用画素として残し、Ｒ画素とＢ画素のを焦点検出用画素としている。この焦点検出用画素を図７（ａ）においてＳＶＣ及びＳＶＤと示す。
【００４２】
図７（ａ）のＡ−Ａ断面図を図７（ｂ）に示す。図６（ｂ）の画素が横方向に瞳分離する構造であるのに対して、図７（ｂ）の画素は瞳分離方向が縦方向になっているが、その他の画素の構造は同様である。画素ＳＶＣの開口部ＯＰＶＣは下側に偏倚しているため、撮影光学系ＴＬの上側の射出瞳ＥＰＶＣを通過した光束を受光する。同様に、画素ＳＶＤの開口部ＯＰＶＤは上側に偏倚しているため、撮影光学系ＴＬの下側の射出瞳ＥＰＶＤを通過した光束を受光する。よって、画素ＳＶＣを垂直方向に規則的に配列し、これらの画素群で取得した被写体像をＣ像とする。また、画素ＳＶＤも垂直方向に規則的に配列し、これらの画素群で取得した被写体像をＤ像とする。すると、Ｃ像とＤ像の相対位置を検出することで、垂直方向に輝度分布を有する被写体像のピントずれ量（デフォーカス量）が検出できる。
【００４３】
図８は、本発明の好適な実施形態における焦点検出を概略的に示す図である。撮像素子１０７は、瞳分割された第１の焦点検出用画素９０１ａと第２の焦点検出用画素９０１ｂとで構成される焦点検出部９０１を複数有する。撮像素子１０７はまた、撮影光学系（結像光学系）で結像された被写体像を光電変換するための撮像用画素を複数含む。ＣＰＵ１２１は、合成手段９０２と、連結手段９０３と、演算手段９０４と、を含む。ＣＰＵ１２１はまた、複数の焦点検出部９０１を含むように、撮像素子１０７の撮像面にセクション（領域）ＣＳＴを複数割り当てる。ＣＰＵ１２１は、セクションＣＳＴの大きさ、配置、数等を適宜変更することができる。合成手段９０２は、撮像素子１０７に割り当てられた複数のセクションＣＳＴの各々において、第１の焦点検出用画素９０１ａからの出力信号を合成して１画素の第１の合成信号を得る処理を行う。合成手段９０２はまた、各セクションＣＳＴにおいて、第２の焦点検出用画素９０１ｂからの出力信号を合成して１画素の第２の合成信号を得る処理を行う。連結手段９０３は、複数のセクションＣＳＴにおいて、第１の合成信号である各画素を連結して第１の連結信号を得る処理と、第２の合成信号を連結して第２の連結信号を得る処理とを行う。このように、第１の焦点検出用画素９０１ａ及び第１の焦点検出用画素９０１ｂのそれぞれに対して、セクション数の画素が連結された連結信号が得られる。演算手段９０４は、第１の連結信号及び第２の連結信号に基づいて、結像光学系の焦点ずれ量を演算する。このように、セクション内に配置された同一の瞳分割方向における焦点検出用画素の出力信号を合成するため、焦点検出部の１つ１つの輝度は小さい場合であっても、被写体の輝度分布を十分に検出することが可能となる。また、後述するように、焦点検出部９０１を瞳分割方向（図８では、水平方向）に密に配置することにより、細線（高周波パターン）の画像捕捉能力が向上する。なお、図８では、説明を簡略化するために水平方向に瞳分割する場合を例に示したが、後述するように垂直方向に瞳分割する場合についても同様である。
【００４４】
図９〜図１１は、図５〜図７に示した撮像用画素及び焦点検出用画素の配置規則を説明する図である。
【００４５】
図９は撮像用画素の間に焦点検出用画素を離散的に配置する場合の、本発明の好適な第１の実施形態に係る最小単位の配置規則を説明するための図である。図９において、１０行×１０列＝１００画素の正方形領域を１つのブロックと定義する。左上のブロックＢＬＫｈ（１、１）において、一番左下のＲ画素とＢ画素を、水平方向（第１の方向）に瞳分割を行なう１組の焦点検出用画素（第１の焦点検出部）ＳＨＡ及びＳＨＢで置き換える。
【００４６】
その右隣りのブロックＢＬＫｖ（１、２）においては、同じく一番左下のＲ画素とＢ画素を、垂直方向（第２の方向）に瞳分割を行なう１組の焦点検出用画素（第２の焦点検出部）ＳＶＣ及びＳＶＤで置き換える。また、最初のブロックＢＬＫｈ（１、１）の下に隣接したブロックＢＬＫｖ（２、１）の画素配列は、ブロックＢＬＫｖ（１、２）と同一とする。そして、その右隣りのブロックＢＬＫｈ（２、２）の画素配列は、先頭のブロックＢＬＫｈ（１、１）と同一とする。
【００４７】
この配置規則を一般化すると、ブロックＢＬＫ（ｉ、ｊ）において、ｉ＋ｊが偶数であれば水平瞳分割用の焦点検出画素を配置し、ｉ＋ｊが奇数であれば垂直瞳分割用の焦点検出画素を配置することになる。そして、図９の２×２＝４ブロック、すなわち２０行×２０列＝４００画素の領域を、ブロックの上位の配列単位として、クラスタと定義する。
【００４８】
図１０は、上記のクラスタを単位とした配置規則を説明するための図である。図１０において、２０行×２０列＝４００画素で構成された一番左上のクラスタをＣＳＴ（ｕ、ｗ）＝ＣＳＴ（１、１）とする。クラスタＣＳＴ（１、１）においては、各ブロックの一番左下のＲ画素とＢ画素を、焦点検出用画素ＳＨＡ及びＳＨＢ、又は、ＳＶＣ及びＳＶＤで置き換える。
【００４９】
その右隣りのクラスタＣＳＴ（１、２）においては、ブロック内における焦点検出用画素の配置を、クラスタＣＳＴ（１、１）に対して上方向に２画素分シフトした位置に配置する。また、最初のクラスタＣＳＴ（１、１）の下に隣接したクラスタＣＳＴ（２、１）においては、ブロック内における焦点検出用画素の配置を、クラスタＣＳＴ（１、１）に対して右方向に２画素分シフトした位置に配置する。以上の規則を繰り返し適用すると図１０に示した配置が得られる。
【００５０】
この配置規則を一般化すると以下のようになる。なお、焦点検出用画素の座標は、図６又は図７で示したＧ画素を含む４画素を一つの単位（ペア）とし、そのうちの左上の画素の座標で規定する。また各ブロック内の座標は左上を（１、１）とし、下方向と右方向を正とする。
【００５１】
以上の定義を適用すると、クラスタＣＳＴ（ｕ、ｗ）において、各ブロック内の焦点検出用画素ペアの水平座標は２×ｕ−１となり、垂直座標は１１−２×ｗとなる。そして、図１０の５×５＝２５クラスタ、すなわち１００行×１００列＝１万画素の領域を、クラスタの上位の配列単位として、フィールドと定義する。
【００５２】
図１１は、上記のフィールドを単位とした配置規則を説明するための図である。同図において、１００行×１００列＝１万画素で構成された一番左上のフィールドをＦＬＤ（ｑ、ｒ）＝ＦＬＤ（１、１）とする。そして本実施形態では、すべてのフィールドＦＬＤ（ｑ、ｒ）は先頭フィールドＦＬＤ（１、１）と同様の配列となっている。そこで、ＦＬＤ（１、１）を水平方向に３０個、垂直方向に２０個配列すると、３０００列×２０００行＝６００万画素の撮像領域は６００個のフィールドで構成される。そして撮像領域全面に渡って焦点検出用画素を均一に分布させることができる。
【００５３】
次に図１２〜図１５を用いて、焦点検出時の画素のグループと信号加算方法について説明する。図１２は、撮影光学系によって形成された被写体像の、横ずれ方向の焦点検出を行なう場合の画素グループ化方法を説明する図である。横ずれ方向の焦点検出とは、図６で説明した、撮影光学系の射出瞳を横方向（左右方向、水平方向）に分割するための焦点検出用画素を用いて、位相差式焦点検出を行なうことを指す。
【００５４】
図１２に示す画素配列は図１０で説明したものであるが、焦点検出の際には、横方向に１ブロック、縦方向に１０ブロックの合計１０ブロックを１つのグループとし、これをセクション（ここでは、第１のセクション）と定義する。そして、本実施形態では、一例として、横方向に複数配列された３０個のセクションで、１つの焦点検出領域を構成する。すなわち、１００行×３００列＝３万画素の領域が１つの焦点検出領域となる。この１つの焦点検出領域をＡＦエリアと定義する。ここで、１つのセクション内においては、横方向における一方の瞳分割を行なう画素ＳＨＡが５個、他方の瞳分割を行なう画素ＳＨＢも５個含まれている。そこで本実施形態においては、５個のＳＨＡの出力を加算して１画素の信号とし、位相差演算用の一方の画像信号（Ａ像と称する）の１ＡＦ画素を得る。同様に、５個のＳＨＢの出力を加算して１画素の信号とし、位相差演算用の他方の画像信号（Ｂ像と称する）の１ＡＦ画素を得る。
【００５５】
図１３は、一つのセクションにおける、被写体像の捕捉能力を説明するための図である。図１３（ａ）は図１２の左端のセクションを切り出したものである。下端に示された水平線ＰＲＪｈは、焦点検出用画素ＳＨＡ及びＳＨＢの瞳分割方向（第１の方向）と直交する第２の方向に延伸した第１の射影軸（Ｐｒｏｊｅｃｔｉｏｎ Ｌｉｎｅ）である。右端に示された垂直線ＰＲＪｖは、瞳分割方向に延伸した第２の射影軸である。ここで、１つのセクション内の画素ＳＨＡはすべて加算され、ＳＨＢも加算される。そこで、１つのセクションを１つのＡＦ画素と見なした場合、１つのＡＦ画素に含まれる受光部を瞳分割方向と直交する方向の射影軸ＰＲＪｈに射影すると、画素ＳＨＡとＳＨＢが交互に緻密に並ぶことがわかる。このときの、瞳分割方向と直交する方向の射影軸ＰＲＪｈにおける画素ＳＨＡの配列ピッチをＰ１とすると、Ｐ１＝ＰＨｈ＝２（単位は画素）となる。ピッチの代わりに空間周波数Ｆ１で表わすと、Ｆ１＝０．５（単位は画素／画素）となる。同様に射影軸ＰＲＪｈにおける画素ＳＨＢの配列ピッチもＰ１＝２（単位は画素）、空間周波数表記ではＦ１＝０．５（単位は画素／画素）となる。
【００５６】
一方、１つのＡＦ画素に含まれる受光部を瞳分割方向の射影軸ＰＲＪｖに射影すると、画素ＳＨＡとＳＨＢはまばらに並ぶことがわかる。このときの、射影軸ＰＲＪｖにおける画素ＳＨＡの配列ピッチをＰ２とすると、Ｐ２＝ＰＨｖ＝２０（単位は画素）となる。ピッチの代わりに空間周波数Ｆ２で表わすと、Ｆ２＝０．０５（単位は画素／画素）となる。同様に射影軸ＰＲＪｖにおける画素ＳＨＢの配列ピッチも、Ｐ２＝２０（単位は画素）、空間周波数表記ではＦ２＝０．０５（単位は画素／画素）となる。
【００５７】
すなわち、本実施形態におけるＡＦ画素は、上記グループ化前の分散特性については、瞳分割方向とこれに直交する方向の配置上のピッチが等しい。しかしながら、グループ化する際のグループ形状を長方形とすることで、瞳分割方向のサンプリング誤差を低減している。具体的には、１セクションの瞳分割方向と直交する方向の最大寸法Ｌ１は１０画素、瞳分割方向の最大寸法Ｌ２は１００画素としている。すなわち、セクション寸法をＬ１＜Ｌ２とすることで、瞳分割方向と直交する方向のサンプリング周波数Ｆ１を高周波（密）に、瞳分割方向のサンプリング周波数Ｆ２を低周波（疎）としている。
【００５８】
図１３（ａ）で説明したＡＦ画素（一つのセクション）に、細線の被写体像が投影された場合の画像捕捉能力を図１３（ｂ）にて説明する。図１３（ｂ）において、ＬＩＮＥｖは、撮像素子１０７上に投影された細い縦線を表わし、その幅は画素換算で４画素、画像の実寸では幅８μｍになっている。この時、セクションＳＣＴｈ（１）内では、ブロックＢＬＫ（３、１）とブロックＢＬＫ（５、１）に含まれる焦点検出用画素が被写体像を捕捉する。なお、被写体像の最小寸法は、撮影光学系の収差と撮像素子前面に配置された光学ＬＰＦの特性で決まるが、通常は非常に細い線でも２画素以上の幅になる。従って、本実施形態の１つのセクション内では、最低でも各１個ずつの画素ＳＨＡとＳＨＢで画像を捕捉することになり、捕捉洩れは生じない。
【００５９】
一方、図１３（ｂ）のＬＩＮＥｈは、撮像素子１０７上に投影された細い横線を表わし、その幅は前述のＬＩＮＥｖと同様に画素換算で４画素、画像の実寸では幅８μｍになっている。この時には、横線ＬＩＮＥｈはブロックＢＬＫ（５、１）にかかっているが、焦点検出用画素ＳＨＡ及びＳＨＢには捕捉されない。しかしながら、セクションＳＣＴｈ（１）は、縦線のように横方向に輝度分布を有する被写体について焦点検出を行なうためのものである。従って、横線のように縦方向に輝度分布を有する被写体については、焦点検出用画素による像の捕捉洩れが生じても構わない。
【００６０】
図１４は、撮影光学系によって形成された被写体像の、縦ずれ方向の焦点検出を行なう場合の画素グループ化方法を説明する図である。縦ずれ方向の焦点検出とは、図７で説明した、撮影光学系の射出瞳を縦方向（上下方向、すなわち垂直方向）に分割するための焦点検出用画素を用いて、位相差式焦点検出を行なうことをいう。すなわち、図１２を９０度回転したものに相当する。
【００６１】
図１４に示す画素配列も図１０で説明したものであるが、焦点検出の際には、横方向に１０ブロック、縦方向に１ブロックの合計１０ブロックを１つのグループとし、これをセクション（ここでは、第２のセクション）と定義する。そして、本実施形態では、一例として、縦方向に複数配列された３０個のセクションで、１つの焦点検出領域を構成する。すなわち、３００行×１００列＝３万画素の領域が１つの焦点検出領域となる。この１つの焦点検出領域も図１２と同様にＡＦエリアと定義する。ここで、１つのセクション内においては、縦方向における一方の瞳分割を行なう画素ＳＶＣが５個、他方の瞳分割を行なう画素ＳＶＤも５個含まれている。そこで本実施形態においては、５個のＳＶＣの出力を加算して、位相差演算用の一方の画像信号（Ｃ像と称する）の１ＡＦ画素とする。同様に、５個のＳＶＤの出力を加算して、位相差演算用の他方の画像信号（Ｄ像と称する）の１ＡＦ画素とする。
【００６２】
図１５は、一つのセクションにおける被写体像の捕捉能力を説明するための図であり、図１３を９０度回転したものと等価である。図１５（ａ）は図１４の上端のセクションを切り出したものである。そして右端に示された垂直線ＰＲＪｖは、焦点検出用画素ＳＶＣ及びＳＶＤの瞳分割方向（第２の方向）と直交する第１の方向に延伸した第３の射影軸、下端に示された水平線ＰＲＪｈは、瞳分割方向に延伸した第４の射影軸である。図１５（ａ）においても、１つのセクション内の画素ＳＶＣはすべて加算され、ＳＶＤも加算される。そこで、１セクションを１ＡＦ画素と見なした場合、１ＡＦ画素に含まれる受光部を瞳分割方向と直交する方向の射影軸ＰＲＪｖに射影すると、画素ＳＶＣ及びＳＶＤが交互に緻密に並ぶことがわかる。このときの、瞳分割方向と直交する方向の射影軸ＰＲＪｖにおける画素ＳＶＣの配列ピッチをＰ１とすると、Ｐ１＝ＰＶｖ＝２（単位は画素）となる。ピッチの代わりに空間周波数Ｆ１で表わすと、Ｆ１＝０．５（単位は画素／画素）となる。同様に射影軸ＰＲＪｖにおける画素ＳＶＤの配列ピッチもＰ１＝２（単位は画素）、空間周波数表記ではＦ１＝０．５（単位は画素／画素）となる。
【００６３】
一方、１つのＡＦ画素に含まれる受光部を瞳分割方向の射影軸ＰＲＪｈに射影すると、画素ＳＶＣとＳＶＤはまばらに並ぶことがわかる。このときの、射影軸ＰＲＪｈにおける画素ＳＶＣの配列ピッチをＰ２とすると、Ｐ２＝ＰＶｈ＝２０（単位は画素）となる。ピッチの代わりに空間周波数Ｆ２で表わすと、Ｆ２＝０．０５（単位は画素／画素）となる。同様に射影軸ＰＲＪｖにおける画素ＳＶＤの配列ピッチも、Ｐ２＝２０（単位は画素）、空間周波数表記ではＦ２＝０．０５（単位は画素／画素）となる。
【００６４】
以上のように、図１５におけるＡＦ画素のサンプリング特性は、瞳分割方向を基準に考えると、図１３と同様の特性、すなわちＦ１＞Ｆ２となっている。これは、図１５のセクションにおいても、瞳分割方向と直交する方向のセクション寸法Ｌ１と、瞳分割方向の寸法Ｌ２を、Ｌ１＜Ｌ２としたからである。これにより、空間周波数の高い被写体に対しても瞳分割方向と直交する方向の輝度情報を正確に検出することができるとともに、被写体輝度が低くても複数画素の加算によって焦点検出信号のＳ／Ｎ比を向上させることができる。
【００６５】
図１５（ａ）で説明したＡＦ画素（一つのセクション）に、細線の被写体像が投影された場合の画像捕捉能力を図１５（ｂ）にて説明する。図１５（ｂ）において、ＬＩＮＥｈは、撮像素子１０７上に投影された細い横線を表わし、その幅は画素換算で４画素、画像の実寸では幅８μｍになっている。この時、セクションＳＣＴｖ（１）内では、ブロックＢＬＫ（１、４）とブロックＢＬＫ（１、６）に含まれる焦点検出用画素が被写体像を捕捉する。
【００６６】
一方、図１５（ｂ）のＬＩＮＥｖは、撮像素子１０７上に投影された細い縦線を表わし、その幅は前述のＬＩＮＥｈと同様に画素換算で４画素、画像の実寸では幅８μｍになっている。この時には、縦線ＬＩＮＥｖはブロックＢＬＫ（１、６）にかかっているが、焦点検出用画素ＳＶＣ及びＳＶＤには捕捉されない。しかしながら、セクションＳＣＴｖ（１）は、横線のように縦方向に輝度分布を有する被写体について焦点検出を行なうためのものである。従って、縦線のように横方向に輝度分布を有する被写体については、焦点検出用画素による像の捕捉洩れが生じても構わない。
【００６７】
図１６は、第１の実施形態における撮像素子の瞳分割機能を概念的に説明する図である。ＴＬは撮影光学系、１０７は撮像素子、ＯＢＪは被写体、ＩＭＧは被写体像である。
【００６８】
撮像用画素は図５で説明したように、撮影光学系の射出瞳全域ＥＰを通過した光束を受光する。一方、焦点検出用画素は図６及び図７で説明したように、瞳分割機能を有している。具体的には、図６の画素ＳＨＡは撮像面からレンズ後端を見て左側の瞳を通過した光束ＬＨＡ、すなわち図１６の瞳ＥＰＨＡを通過した光束を受光する。同様に画素ＳＨＢ、ＳＶＣ及びＳＶＤはそれぞれ瞳ＥＰＨＢ、ＥＰＶＣ及びＥＰＶＤを通過した光束ＬＨＢ、ＬＨＣ、ＬＨＤをそれぞれ受光する。そして、焦点検出用画素は、図１１で説明したように撮像素子１０７の全領域に渡って分布しているため、撮像領域全域で焦点検出も可能となっている。
【００６９】
図１７は、焦点検出時に取得した画像と焦点検出領域を説明する図である。図１７において、撮像面に形成された被写体像には、中央に人物、左側に近景の樹木、右側に遠景の山並みが写っている。そして本実施形態においては、焦点検出用画素は、横ずれ検出用の画素ペアＳＨＡ及びＳＨＢと、縦ずれ検出用の画素ペアＳＶＣ及びＳＶＤが、図１１に示したように撮像領域全域に渡って均等な密度で配置されている。そして横ずれ検出の際には、位相差演算のためのＡＦ画素信号を図１２及び図１３で示したようにグループ化処理する。また、縦ずれ検出の際には、位相差演算のためのＡＦ画素信号を図１４及び図１５で示したようにグループ化処理する。よって、撮像領域の任意位置において、横ずれ検出及び縦ずれ検出のための測距領域を設定可能である。
【００７０】
図１７においては、画面中央に人物の顔が存在している。そこで公知の顔認識技術によって顔の存在が検出されると、顔領域を中心に横ずれ検知のための焦点検出領域ＡＦＡＲｈ（ｘ１,ｙ１）と、縦ずれ検知のための焦点検出領域ＡＦＡＲｖ（ｘ３,ｙ３）が設定される。ここで添え字のｈは水平方向を表わし、（ｘ１,ｙ１）及び（ｘ３,ｙ３）は焦点検出領域の左上隅の座標を表わす。そして、焦点検出領域ＡＦＡＲｈ（ｘ１,ｙ１）の各セクション内に含まれる５個の焦点検出画素用ＳＨＡを加算し、これを３０セクションに渡って連結した位相差検出用のＡ像信号がＡＦＳＩＧｈ（Ａ１）である。また、同様に各セクションの５個の焦点検出画素用ＳＨＢを加算し、これを３０セクションに渡って連結した位相差検出用のＢ像信号がＡＦＳＩＧｈ（Ｂ１）である。そして、Ａ像信号ＡＦＳＩＧｈ（Ａ１）とＢ像信号ＡＦＳＩＧｈ（Ｂ１）の相対的な横ずれ量を公知の相関演算によって演算することで、被写体の焦点ずれ量（デフォーカス量）を求めることができる。
【００７１】
焦点検出領域ＡＦＡＲｖ（ｘ３,ｙ３）についても同様に焦点ずれ量を求める。そして、横ずれ及び縦ずれの焦点検出領域で検出した２つの焦点ずれ量を比較し、信頼性の高い値を採用すればよい。
【００７２】
一方、画面左側の樹木の幹部は、縦線成分が主体、すなわち横方向に輝度分布を有しているため、横ずれ検知に適した被写体と判断され、横ずれ検知のための焦点検出領域ＡＦＡＲｈ（ｘ２,ｙ２）が設定される。また、画面右側の山並み稜線部は、横線成分が主体、すなわち縦方向に輝度分布を有しているため、縦ずれ検知に適した被写体と判断され、縦ずれ検知のための焦点検出領域ＡＦＡＲｖ（ｘ４,ｙ４）が設定される。
【００７３】
以上のように本実施形態においては、横ずれ及び縦ずれ検出のための焦点検出領域が画面の任意位置に設定可能なため、被写体の投影位置や輝度分布の方向性が様々であっても、正確な焦点検出が可能である。
【００７４】
図１８〜図２０は、本発明の好適な実施形態に係る撮像装置の焦点調節及び撮影方法等の制御方法を説明するためのフローチャートである。本フローチャートの制御方法は、後述する第２の実施形態〜第４の実施形態においても同様にして適用することができる。なお、本フローチャートの各工程は、特に言及がない限り、図１のＣＰＵ１２１により実行されるものとする。以下、先に説明した図１〜図１７の各図を参照しながら、図１８以降の制御フローを説明する。
【００７５】
図１８は、本発明の好適な実施形態に係る撮像装置のメインフローである。ステップＳ１０１において撮影者が撮像装置の電源スイッチをオン操作すると、ステップＳ１０３においてＣＰＵ１２１は撮像装置内の各アクチュエータや撮像素子の動作確認を行う。そして、メモリ内容や実行プログラムの初期化状態を検出すると共に、撮影準備動作を実行する。ステップＳ１０５では撮像素子の撮像動作を開始し、プレビュー用の低画素動画像を出力する。ステップＳ１０７では読み出した動画を撮像装置背面に設けられた表示器１３１に表示し、撮影者はこのプレビュー画像を目視して撮影時の構図決定を行なう。
【００７６】
ステップＳ１０９では、プレビュー用動画像に顔が存在するか否かを認識する。そして、撮影領域に顔が存在していると認識された場合には（ステップＳ１１１で「ＹＥＳ」）、ステップＳ１１１からステップＳ１１３に移行し、焦点調節モードを顔ＡＦモードに設定する。ここで顔ＡＦモードとは、撮影領域の顔に焦点を合わせるＡＦモードを指す。
【００７７】
一方、撮影領域に顔が存在していない場合は（ステップＳ１１１で「ＮＯ」）、ステップＳ１１１からステップＳ１１５に移行し、焦点調節モードを多点ＡＦモードに設定する。ここで多点ＡＦモードとは、撮影領域を例えば３×５＝１５分割し、各分割領域で焦点検出を行ない、焦点検出結果と被写体の輝度情報から主被写体を類推し、その領域を合焦させるモードを指す。
【００７８】
ステップＳ１１３又はステップＳ１１５でＡＦモードを決定したら、ステップＳ１１７で焦点検出領域を決定する。ステップＳ１２１では、撮影準備スイッチがオン操作されたか否かを判別し、オン操作されていなければステップＳ１０５に戻り、撮像素子駆動からステップＳ１１７の焦点検出領域の決定を繰り返し実行する。
【００７９】
ステップＳ１２１で撮影準備スイッチがオン操作されるとステップＳ１３１に移行し、焦点検出サブルーチンを実行する。
【００８０】
図１９は焦点検出サブルーチンのフロー図である。メインフローのステップＳ１２１からこのサブルーチンのステップＳ１３１に進むと、ステップＳ１３３においては、メインルーチンのステップＳ１１７で決定した焦点検出領域に含まれる焦点検出用画素を読み出す。ステップＳ１３４では、少なくとも２つの焦点検出部９０１を含むように、撮像素子１０７の撮像面にセクションを複数割り当てる。各セクションは、互いに重なり合わないように配置されることが好ましい。また、撮像素子１０７の撮像面の全ての焦点検出部９０１がいずれかのセクションに配置されるようにセクションを割り当てても良いし、一部の焦点検出部９０１がどのセクションにも配置されないようにセクションを割り当ててもよい。ステップＳ１３５では、ステップＳ１３４で割り当てた複数のセクションの各々において、焦点検出部９０１のうち第１の焦点検出用画素からの出力信号を合成して第１の合成信号を得る。同様に、ステップＳ１３４で割り当てた複数のセクションの各々において、第２の焦点検出用画素からの出力信号を合成して第２の合成信号を得る。ステップＳ１３６では、ステップＳ１３４で割り当てた複数のセクションに渡って、ステップＳ１３５で得られた第１の合成信号を連結して第１の連結信号を得る。同様に、ステップＳ１３４で割り当てた複数のセクションに渡って、ステップＳ１３５で得られた第２の合成信号を連結して第２の連結信号を得る。これらの第１、第２の連結信号は、相関演算用の２像の信号に対応する。具体的には、図１７に示したＡＦＳＩＧｈ（Ａ１）とＡＦＳＩＧｈ（Ｂ１）、又はＡＦＳＩＧｖ（Ｃ３）とＡＦＳＩＧｖ（Ｄ３）等の対の信号に対応する。ステップＳ１３９では得られた２像の信号の相関演算を行ない、２像の信号の相対的な位置ずれ量を演算する。ステップＳ１４１では、ステップＳ１３９の相関演算結果の信頼性を判定する。ここで、信頼性とは、２像の信号の一致度を指し、２像の信号の一致度が良い場合には、一般的に焦点検出結果の信頼性が高い。そこで、複数の焦点検出領域が選択されている場合は、信頼性の高い情報を優先的に使用する。
【００８１】
ステップＳ１４３では、上記の信頼性の高い検出結果から焦点ずれ量を演算する。そして、ステップＳ１４５では、図１８のメインフロー内のステップＳ１５１にリターンする。
【００８２】
図１８のステップＳ１５１では、図１９のステップＳ１４３で演算した焦点ずれ量が許容値以下か否かを判断する。そして焦点ずれ量が許容値異常である場合は、非合焦と判断し、ステップＳ１５３でフォーカスレンズを駆動し、その後ステップＳ１３１〜ステップＳ１５１を繰り返し実行する。そしてステップＳ１５１にて合焦状態に達したと判定されると、ステップＳ１５５にて合焦表示を行ない、ステップＳ１５７に移行する。
【００８３】
ステップＳ１５７では、撮影開始スイッチがオン操作されたか否かを判別し、オン操作されていなければステップＳ１５７にて撮影待機状態を維持する。ステップＳ１５７で撮影開始スイッチがオン操作されるとステップＳ１６１に移行し、撮影サブルーチンを実行する。
【００８４】
図２０は撮影サブルーチンのフロー図である。撮影開始スイッチが操作されると、ステップＳ１６１を経由して、ステップＳ１６３では光量調節絞りを駆動し、露光時間を規定するメカニカルシャッタの開口制御を行なう。ステップＳ１６５では、高画素静止画撮影のための画像読み出し、すなわち全画素の読み出しを行なう。ステップＳ１６７では読み出した画像信号の欠損画素補間を行なう。すなわち、焦点検出用画素の出力は撮像のためのＲＧＢカラー情報を有しておらず、画像を得る上では欠陥画素に相当するため、周囲の撮像用画素の情報から補間により画像信号を生成する。
【００８５】
ステップＳ１６９では、画像のγ補正、エッジ強調等の画像処理をおこない、ステップＳ１７１において、フラッシュメモリ１３３に撮影画像を記録する。ステップＳ１７３では、表示器１３１に撮影済み画像を表示し、ステップＳ１７５で図１８のメインフローにリターンする。
【００８６】
図１８のメインフローに戻ると、ステップＳ１８１にて一連の撮影動作を終了する。
【００８７】
以上のように、本発明の好適な第１の実施形態によれば、瞳分割機能を有した複数の焦点検出用画素の出力を合成して焦点検出演算に用いることができる。そのため、焦点検出信号のサンプリング特性とＳ／Ｎを向上させることができる。また、焦点検出用画素が離散的に配置されているため、撮像用画素の欠損が少なく、撮影画像の劣化も回避できる。
【００８８】
また、位相差検出用信号を得るためのＡＦ画素を長方形とし、この長方形領域内の焦点検出用画素の出力を合成したものをＡＦ演算用１画素の信号としている。そして、この長方形領域の瞳分割方向と直交する方向の寸法を他方に対して小とすることで、瞳分割方向と直交する方向におけるＡＦ画素のサンプリング能力の低下を防止することができる。従って、細い線や高周波の被写体の捕捉洩れが防止でき、焦点検出性能が向上する。
【００８９】
また、横ずれ検出用画素と縦ずれ検出用画素を市松状に実質上等間隔かつ等配置密度で配置することができる。これにより、横方向に輝度分布を有する被写体と、縦方向に輝度分布を有する被写体の、いずれに対しても正確な焦点検出が可能となる。
【００９０】
なお、本実施形態では、焦点検出用画素が撮像素子の撮像面の全領域に渡って分布している場合を例に示したが、本発明はこれに限定されない。例えば、本発明の範囲を逸脱しない範囲内で、撮像素子の周辺領域には焦点検出用画素を配置しない等の変更が可能である。
【００９１】
（第２の実施形態）
第１の実施形態は、１対の横ずれ検出用画素、又は１対の縦ずれ検出用画素は、斜め方向に隣接するＲ画素とＢ画素の位置に割り当てられていた。以下に示す第２の実施形態は、焦点検出用画素が単一色の画素、すなわちＲ画素又はＢ画素のみの場所に割り当てられる実施形態である。図２１〜図２５を用いて第２の実施形態の構成を説明する。
【００９２】
図２１は第２の実施形態の焦点検出用画素配列を示す図であり、第１の実施形態の図９に対応する。図９に示した第１の実施形態では、ベイヤー配列を有した撮像用画素において、斜め方向に隣接するＲ画素とＢ画素の位置に、焦点検出用画素ＳＨＡ、ＳＨＢ、ＳＶＣ及びＳＶＤが割り当てられていた。これに対して図２１に示す第２の実施形態では、ベイヤー配列におけるＢ画素のみに焦点検出用画素が割り当てられる。具体的には、一番左上のブロックＢＬＫｈ（１、１）とその右下のブロックＢＬＫｈ（２、２）においては、最下行の左寄りにある２個のＢ画素を水平方向に瞳分割を行なう１組の焦点検出用画素ＳＨＡ及びＳＨＢで置き換える。
【００９３】
また残りのブロックＢＬＫｖ（１、２）とＢＬＫｖ（２、１）においては、左から２番目の列の下寄りにある２個のＢ画素を、垂直方向に瞳分割を行なう１組の焦点検出用画素ＳＶＣ及びＳＶＤで置き換える。
【００９４】
この配置規則を一般化すると、第１の実施形態と同様に、ブロックＢＬＫ（ｉ、ｊ）において、ｉ＋ｊが偶数であれば水平瞳分割用の焦点検出画素を配置し、ｉ＋ｊが奇数であれば垂直瞳分割用の焦点検出画素を配置することになる。そして、２×２＝４ブロック、すなわち２０行×２０列＝４００画素の領域がクラスタとなる。
【００９５】
図２２は、上記のクラスタを単位とした配置規則を説明するための図であり、第１の実施形態の図１０に対応する。図２２において、２０行×２０列＝４００画素で構成された一番左上のクラスタをＣＳＴ（ｕ、ｗ）＝ＣＳＴ（１、１）とする。そしてクラスタＣＳＴ（１、１）においては、各ブロックの左下寄りにあるＢ画素を、焦点検出用画素ＳＨＡ及びＳＨＢ、又はＳＶＣ及びＳＶＤで置き換える。
【００９６】
その右隣りのクラスタＣＳＴ（１、２）においては、ブロック内における焦点検出用画素の配置を、クラスタＣＳＴ（１、１）に対して上方向に２画素分シフトした位置に配置する。また、最初のクラスタＣＳＴ（１、１）の下に隣接したクラスタＣＳＴ（２、１）においては、ブロック内における焦点検出用画素の配置を、クラスタＣＳＴ（１、１）に対して右方向に２画素分シフトした位置に配置する。以上の規則を繰り返し適用すると、図２２に示した配置が得られ、図２２に示した範囲がクラスタの上位に位置するフィールドとなる。なお、図１０に示した第１の実施形態では、５×５＝２５クラスタが１フィールドであったが、第２の実施形態では４×４＝１６クラスタが１フィールドとなる。
【００９７】
図２３は、上記のフィールドを単位とした配置規則を説明するための図であり、第１の実施形態の図１１に対応する。図２３において、８０行×８０列＝６、４００画素で構成された一番左上のフィールドをＦＬＤ（ｑ、ｒ）＝ＦＬＤ（１、１）とする。そして第２の実施形態でも、すべてのフィールドＦＬＤ（ｑ、ｒ）は先頭フィールドＦＬＤ（１、１）と同様の配列となっている。そこで、ＦＬＤ（１、１）を水平方向に３７個、垂直方向に２５個配列すると、３０００列×２０００行＝６００万画素の撮像領域は９２５個のフィールドで構成される。ただし、右端の４０列は１フィールドが構成できなかった端数領域であり、この領域には焦点検出用画素が配置されないが、実質的に撮像領域全面に渡って焦点検出用画素を均一に分布させている。
【００９８】
次に図２４及び図２５を用いて、焦点検出時の画素のグループと信号加算方法について説明する。図１２は、撮影光学系によって形成された被写体像の、横ずれ方向の焦点検出を行なう場合の画素グループ化方法を説明する図であり、第１の実施形態の図１２に対応する。
【００９９】
図２４に示す画素配列は図２２で説明したものだが、焦点検出の際には、横方向に１ブロック、縦方向に８ブロックの合計８ブロックを１つのセクションとする。そして、第２の実施形態では、横方向に並んだ２４セクションで、１つの焦点検出領域を構成する。すなわち、８０行×２４０列＝１９、２００画素の領域が１つの焦点検出領域となる。この１つの焦点検出領域がＡＦエリアである。ここで、１つのセクション内においては、横方向における一方の瞳分割を行なう画素ＳＨＡが４個、他方の瞳分割を行なう画素ＳＨＢも４個含まれている。そこで第２の実施形態においては、４個のＳＨＡの出力を加算して、位相差演算用の一方の画像信号（Ａ像と称する）の１ＡＦ画素とする。同様に、４個のＳＨＢの出力を加算して、位相差演算用の他方の画像信号（Ｂ像と称する）の１ＡＦ画素とする。
【０１００】
図２５は、一つのセクションにおける、被写体像の捕捉能力を説明するための図であり、第１の実施形態の図１３に対応する。図２５（ａ）は図２４の左端のセクションを切り出したものである。下端に示された水平線ＰＲＪｈは、焦点検出用画素ＳＨＡ及びＳＨＢの瞳分割方向（第１の方向）と直交する第２の方向に延伸した第１の射影軸（Ｐｒｏｊｅｃｔｉｏｎ Ｌｉｎｅ）である。右端に示された垂直線ＰＲＪｖは、瞳分割方向に延伸した第２の射影軸である。ここで、１つのセクション内の画素ＳＨＡはすべて加算され、ＳＨＢも加算される。そこで、１セクションを１ＡＦ画素と見なした場合、１ＡＦ画素に含まれる受光部を瞳分割方向と直交する方向の射影軸ＰＲＪｈに射影すると、画素ＳＨＡとＳＨＢが交互に緻密に並ぶことがわかる。このときの、瞳分割方向と直交する方向の射影軸ＰＲＪｈにおける画素ＳＨＡの平均的な配列ピッチをＰ１とすると、Ｐ１＝ＰＨｈ＝２（単位は画素）となる。ピッチの代わりに空間周波数Ｆ１で表わすと、Ｆ１＝０．５（単位は画素／画素）となる。同様に射影軸ＰＲＪｈにおける画素ＳＨＢの配列ピッチもＰ１＝２（単位は画素）、空間周波数表記ではＦ１＝０．５（単位は画素／画素）となる。
【０１０１】
一方、１ＡＦ画素に含まれる受光部を瞳分割方向の射影軸ＰＲＪｖに射影すると、画素ＳＨＡとＳＨＢはまばらに並ぶことがわかる。このときの、射影軸ＰＲＪｖにおける画素ＳＨＡの配列ピッチをＰ２とすると、Ｐ２＝ＰＨｖ＝２０（単位は画素）となる。ピッチの代わりに空間周波数Ｆ２で表わすと、Ｆ２＝０．０５（単位は画素／画素）となる。同様に射影軸ＰＲＪｖにおける画素ＳＨＢの配列ピッチも、Ｐ２＝２０（単位は画素）、空間周波数表記ではＦ２＝０．０５（単位は画素／画素）となる。すなわち、第２の実施形態におけるＡＦ画素の被写体像のサンプリング特性は、第１の実施形態とほぼ等しいことが判る。
【０１０２】
図２５（ａ）で説明したＡＦ画素（一つのセクション）に、細線の被写体像が投影された場合の画像捕捉能力を図２５（ｂ）にて説明する。図２５（ｂ）において、ＬＩＮＥｖは、撮像素子１０７上に投影された細い縦線を表わし、その幅は画素換算で４画素、画像の実寸では幅８μｍになっている。この時、セクションＳＣＴｈ（１）内では、ブロックＢＬＫ（１、１）、ブロックＢＬＫ（３、１）及びブロックＢＬＫ（５、１）に含まれる焦点検出用画素が被写体像を捕捉する。すなわち第２の実施形態においても、１つのセクション内では、最低でも各１個ずつの画素ＳＨＡとＳＨＢで画像を捕捉することになり、捕捉洩れは生じない。
【０１０３】
一方、図２５（ｂ）のＬＩＮＥｈは、撮像素子１０７上に投影された幅４画素分の細い横線を表わす。この時には、横線ＬＩＮＥｈはブロックＢＬＫ（５、１）にかかっているが、焦点検出用画素ＳＨＡ及びＳＨＢには捕捉されない。しかしながら、セクションＳＣＴｈ（１）は、縦線のように横方向に輝度分布を有する被写体について焦点検出を行なうためのものである。従って、横線のように縦方向に輝度分布を有する被写体については、焦点検出用画素による像の捕捉洩れが生じても構わない。
【０１０４】
なお、第２の実施形態における縦ずれ方向の焦点検出における特性は、図２５を９０度回転したものと等価であるため、説明は省略する。また、焦点検出動作も図１７〜図２０で説明したフローを用いればよい。なお、上記の説明では焦点検出用画素をＢ画素に割り当てたが、Ｒ画素に割り当てても良い。また、１組の焦点検出画素の配置も実施形態の形態に限定されない。例えば図２１では横ずれ方向の２個１組の焦点検出用画素を、横方向に離間して配置したが、縦方向に離間配置しても構わない。
【０１０５】
以上の第２の実施形態によれば、焦点検出用画素を単一色の画素に割り当てたため、出力画像生成時の欠陥画素補間アルゴリズムが簡単になる。また、特定色における画像劣化や偽色が軽減される。
【０１０６】
（第３の実施形態）
第１の実施形態及び第２の実施形態で用いた焦点検出用画素は、２個で１組となり、２分割された瞳領域について、一方の画素が一方の瞳を通過する光束を受光し、他方の画素がもう一方の瞳を通過する光束を受光していた。これに対して以下に示す第３の実施形態は、２分割された瞳領域の光束を１つの画素で取得し、その信号を出力する撮像素子を用いた実施形態を示す。
【０１０７】
以下、図２６及び図２７を用いて第３の実施形態を説明する。
【０１０８】
図２６は第３の実施形態の焦点検出用画素配列を示す図であり、第１の実施形態の図９に対応する。図９に示した第１の実施形態では、ベイヤー配列を有した撮像用画素において、斜め方向に隣接するＲ画素とＢ画素の位置に、焦点検出用画素ＳＨＡ、ＳＨＢ、ＳＶＣ及びＳＶＤが割り当てられていた。これに対して図２６に示す第３の実施形態では、１０×１０＝１００画素の各ブロックにおいて、１個のＲ画素に焦点検出用画素が割り当てられる。具体的には、一番左上のブロックＢＬＫｈ（１、１）とその右下のブロックＢＬＫｈ（２、２）においては、左端列の最下端にある１個のＲ画素を水平方向に瞳分割を行なう１個の焦点検出用画素ＳＨＡＢで置き換える。ここで、焦点検出用画素ＳＨＡＢは、本出願人による特開２００３−１５６６７７号公報に開示された技術を用いればよい。すなわち当公報の図２に開示された撮像素子のように、オンチップマイクロレンズ後方の光電変換素子を多分割することで撮影光学系の瞳分割を行ない、分割された各瞳領域からの光束を独立して取得し、画像信号として出力する。そのため、１画素で位相差検出用の１組の信号が得られる。
【０１０９】
また残りのブロックＢＬＫｖ（１、２）とＢＬＫｖ（２、１）においては、左端列の最下端にある１個のＲ画素を、垂直方向に瞳分割を行なう１個の焦点検出用画素ＳＶＡＢで置き換える。
【０１１０】
この配置規則を一般化すると、第１の実施形態と同様に、ブロックＢＬＫ（ｉ、ｊ）において、ｉ＋ｊが偶数であれば水平瞳分割用の焦点検出画素を配置し、ｉ＋ｊが奇数であれば垂直瞳分割用の焦点検出画素を配置することになる。そして、２×２＝４ブロック、すなわち２０行×２０列＝４００画素の領域がクラスタとなる。
【０１１１】
図２７は、上記のクラスタを単位とし、クラスタが複数集合した配置規則を説明するための図であり、第１の実施形態の図１０に対応する。図２７に示した全領域が、クラスタの上位となる１フィールドを表わすが、フィールドにおける配置規則は第１の実施形態と同一である。
【０１１２】
また、第３の実施形態における、撮像領域全域におけるフィールド配置や、焦点検出特性、焦点検出フローは、第１の実施形態の図１１〜図２０に示したものと同一なため、説明は省略する。
【０１１３】
以上の第３の実施形態によれば、焦点検出用画素に割り当てる画素数の比率が減少するため、出力画像の劣化や偽色が一層軽減される。また、出力画像生成時の欠陥画素補間アルゴリズムも単純化される。
【０１１４】
（第４の実施形態）
第１の実施形態〜第３の実施形態は、横ずれ検出用画素と縦ずれ検出用画素が等しい配置密度で配置されていたが、以下に示す第４の実施形態は、一方の画素のみを配置した実施形態である。図２８〜図３０を用いて第４の実施形態の構成を説明する。
【０１１５】
図２８は第４の実施形態の焦点検出用画素配列を示す図であり、第１の実施形態の図１２に対応する。第４の実施形態においては、画素配列の最小単位であるブロックは、第１の実施形態と同様に１０行×１０列＝１００画素で構成される。ただし、第４の実施形態が有する焦点検出用画素は、図６に示した画素、すなわち撮影光学系の瞳を水平方向に分割する画素ＳＨＡ及びＳＨＢのみである。また、焦点検出のための１つのセクションは２×５＝１０ブロック、すなわち５０行×２０列＝１０００画素で構成される。そして各セクションにおいては、焦点検出用画素ペアは図示のようにＶ字状に配列される。ただし、各ブロックＢＬＫ（ｉ、ｊ）において、ｊが奇数のブロック群と偶数のブロック群では、焦点検出用画素ペアの上下方向の配置場所を異ならせている。
【０１１６】
図２９は、一つのセクションにおける、被写体像の捕捉能力を説明するための図であり、第１の実施形態の図１３に対応する。図２９（ａ）は図２８の左端のセクションを切り出したものである。そして下端に示された水平線ＰＲＪｈは、焦点検出用画素ＳＨＡ及びＳＨＢの瞳分割方向（第１の方向）と直交する第２の方向に延伸した第１の射影軸、右端に示された垂直線ＰＲＪｖは、瞳分割方向に延伸した第２の射影軸である。第４の実施形態においても、１つのセクション内の画素ＳＨＡの出力はすべて加算され、ＳＨＢの出力も加算される。そこで、１セクションを１ＡＦ画素と見なした場合、１ＡＦ画素に含まれる受光部を瞳分割方向と直交する方向の射影軸ＰＲＪｈに射影すると、画素ＳＨＡとＳＨＢが交互に緻密に並ぶことがわかる。このときの、瞳分割方向と直交する方向の射影軸ＰＲＪｈにおける画素ＳＨＡの配列ピッチをＰ１とすると、Ｐ１＝ＰＨｈ＝２（単位は画素）となる。ピッチの代わりに空間周波数Ｆ１で表わすと、Ｆ１＝０．５（単位は画素／画素）となる。同様に射影軸ＰＲＪｈにおける画素ＳＨＢの配列ピッチもＰ１＝２（単位は画素）、空間周波数表記ではＦ１＝０．５（単位は画素／画素）となる。
【０１１７】
一方、１つのＡＦ画素に含まれる受光部を瞳分割方向の射影軸ＰＲＪｖに射影すると、画素ＳＨＡとＳＨＢはまばら、かつ不等間隔に並ぶことがわかる。このときの、射影軸ＰＲＪｖにおける画素ＳＨＡの配列ピッチは２つの値となり、大きい方のピッチはＰＨｖ１＝６、小さい方のピッチはＰＨｖ２＝４、平均値はＰ２＝５（ともに単位は画素）となる。ピッチの代わりに平均空間周波数Ｆ２で表わすと、Ｆ２＝０．２（単位は画素／画素）となる。同様に射影軸ＰＲＪｖにおける画素ＳＨＢの平均配列ピッチも、Ｐ２＝５（単位は画素）、平均空間周波数表記ではＦ２＝０．２（単位は画素／画素）となる。
【０１１８】
すなわち、第４の実施形態におけるＡＦ画素は、上記グループ化前の分散特性は、瞳分割方向とこれに直交する方向の配置特性が異なるが、グループ化する際のグループ形状を長方形とすることで、所望のサンプリング特性を得ている。具体的には、１セクションの瞳分割方向と直交する方向の最大寸法Ｌ１は２０画素、瞳分割方向の最大寸法Ｌ２は５０画素としている。すなわち、セクション寸法をＬ１＜Ｌ２とすることで、瞳分割方向と直交する方向のサンプリング周波数Ｆ１を高周波（密）に、瞳分割方向のサンプリング周波数Ｆ２を低周波（疎）としている。
【０１１９】
図２９（ａ）で説明したＡＦ画素（一つのセクション）に、細線の被写体像が投影された場合の画像捕捉能力を図２９（ｂ）にて説明する。図２９（ｂ）において、ＬＩＮＥｖは、撮像素子１０７上に投影された細い縦線を表わし、その幅は画素換算で４画素、画像の実寸では幅８μｍになっている。この時、セクションＳＣＴｈ（１）内では、ブロックＢＬＫ（３、１）とブロックＢＬＫ（４、１）に含まれる焦点検出用画素が被写体像を捕捉する。
【０１２０】
また、図２９（ｂ）のＬＩＮＥＣは、縦線ＬＩＮＥｖ撮が反時計方向に１５度回転した傾斜縦線である。この傾斜縦線は、ブロックＢＬＫ（４、２）に含まれる焦点検出用画素により捕捉される。一方、第４の実施形態においては縦ずれ検出画素は備えていないので、横線については焦点検出不能である。
【０１２１】
図３０は撮像素子１０７の全領域における画素配置図であり、第１の実施形態の図１１に対応する。第４の実施形態においては、図２８で説明したセクションがフィールドにも対応するため、図３０のように、撮影領域は４０×１５０＝６０００個のフィールドで構成される。そして撮像領域全面に渡って、横ずれ方向の焦点検出が可能となっている。
【０１２２】
以上の第４の実施形態によれば、焦点検出用画素の配列規則が単純化されるため、この配列規則を記憶するメモリ領域が節約でき、機器を安価に製造できる。また、欠陥画素を補完するアルゴリズムも単純化され、画像処理速度が向上し、軽快な焦点調節を撮影が可能となる。
【０１２３】
以上説明した第１の実施形態〜第４の実施形態は、デジタルスチルカメラにおける実施形態を説明したが、本発明はこれに限定されない。本発明の撮像装置は、デジタルスチルカメラだけでなく、動画撮影を行なうカムコーダ（ムービーカメラ）、各種検査カメラ、監視カメラ、内視鏡カメラ、ロボット用カメラ等に適用されうる。また、以上説明した第１の実施形態〜第４の実施形態において、合成には、加算と平均化とが含まれるものとする。
【０１２４】
以上説明した第１の実施形態〜第４の実施形態に記載された構成要素の配置や数値等は例示的なものであり、本発明の範囲をそれらのみに限定する趣旨のものではない。
【産業上の利用可能性】
【０１２５】
本発明は、撮像素子を備えた電子カメラ等の撮像装置の焦点調節動作を提供するものであり、特にデジタルスチルカメラ、ムービーカメラに有用である。
【図面の簡単な説明】
【０１２６】
【図１】本発明の好適な実施形態に係る撮像装置の構成図である。
【図２】本発明の好適な実施形態に係る撮像素子の回路図である。
【図３】本発明の好適な実施形態に係る撮像素子の画素断面図である。
【図４】本発明の好適な実施形態に係る撮像素子の駆動タイミングチャートである。
【図５】本発明の好適な実施形態に係る撮像素子の撮像用画素の平面図と断面図である。
【図６】本発明の好適な実施形態に係る撮像素子の焦点検出用画素の平面図と断面図である。
【図７】本発明の好適な実施形態に係る撮像素子の他の焦点検出用画素の平面図と断面図である。
【図８】本発明の好適な実施形態に係る焦点検出を説明する概念図である。
【図９】本発明の好適な第１の実施形態に係る撮像素子の最小単位の画素配列説明図である。
【図１０】本発明の好適な第１の実施形態に係る撮像素子の上位単位の画素配列説明図である。
【図１１】本発明の好適な第１の実施形態に係る撮像素子の全領域における画素配列説明図である。
【図１２】本発明の好適な第１の実施形態に係る横ずれ焦点検出時の画素グループ化方法説明図である。
【図１３】本発明の好適な第１の実施形態に係る横ずれ焦点検出時の画像サンプリング特性説明図である。
【図１４】本発明の好適な第１の実施形態に係る縦ずれ焦点検出時の画素グループ化方法説明図である。
【図１５】本発明の好適な第１の実施形態に係る縦ずれ焦点検出時の画像サンプリング特性説明図である。
【図１６】本発明の好適な第１の実施形態に係る撮像素子の瞳分割状況を説明する概念図である。
【図１７】本発明の好適な第１の実施形態に係る焦点検出領域説明図である。
【図１８】本発明の好適な実施形態に係るメイン制御フロー図である。
【図１９】本発明の好適な実施形態に係る焦点検出サブルーチンフロー図である。
【図２０】本発明の好適な実施形態に係る撮影サブルーチンフロー図である。
【図２１】本発明の好適な第２の実施形態に係る撮像素子の最小単位の画素配列説明図である。
【図２２】本発明の好適な第２の実施形態に係る撮像素子の上位単位の画素配列説明図である。
【図２３】本発明の好適な第２の実施形態に係る撮像素子の全領域における画素配列説明図である。
【図２４】本発明の好適な第２の実施形態に係る横ずれ焦点検出時の画素グループ化方法説明図である。
【図２５】本発明の好適な第２の実施形態に係る横ずれ焦点検出時の画像サンプリング特性説明図である。
【図２６】本発明の好適な第３の実施形態に係る撮像素子の最小単位の画素配列説明図である。
【図２７】本発明の好適な第３の実施形態に係る撮像素子の上位単位の画素配列説明図である。
【図２８】本発明の好適な第４の実施形態に係る焦点検出時の画素グループ化方法説明図である。
【図２９】本発明の好適な第４の実施形態に係る焦点検出時の画像サンプリング特性説明図である。
【図３０】本発明の好適な第４の実施形態に係る撮像素子の全領域における画素配列説明図である。
【符号の説明】
【０１２７】
１０７ 撮像素子
９０１ 焦点検出部
９０１ａ 第１の焦点検出用画素
９０１ｂ 第２の焦点検出用画素
９０２ 合成手段
９０３ 連結手段
９０４ 演算手段
【技術分野】
【０００１】
本発明は、２次元に構成された複数の光電変換素子で静止画及び動画の少なくとも一方を撮像可能な撮像素子を用いた撮像装置及びその制御方法に関する。
【背景技術】
【０００２】
撮像装置の自動焦点検出・調節方法で撮影光学系を通過した光束を用いる一般的な方式として、コントラスト検出方式（ぼけ方式と呼ばれる）と位相差検出方式（ずれ方式と呼ばれる）とがある。
【０００３】
コントラスト検出方式は動画撮影用ビデオムービー機器（カムコーダー）や電子スチルカメラで多く用いられる方式であり、撮像素子が焦点検出用センサとして用いられるものである。撮像素子の出力信号、特に高周波成分の情報（コントラスト情報）に着目し、その評価値が最も大きくなる撮影光学系の位置を合焦位置とする方式である。しかしながら、山登り方式とも言われるように、撮影光学系を微少量動かしながら評価値を求め、その評価値が結果的に最大であったとわかるまで動かす事が必要であるため、高速な焦点調節動作には不向きとされている。
【０００４】
もう一方の位相差検出方式は、銀塩フィルムによる一眼レフカメラに多く用いられ、自動焦点検出（Ａｕｔｏ Ｆｏｃｕｓ：ＡＦ）一眼レフカメラの実用化に最も貢献した技術である。位相差検出方式では、撮影光学系の射出瞳を通過した光束を２分割し、２分割した光束を一組の焦点検出用センサによりそれぞれ受光する。そして、その受光量に応じて出力される信号のずれ量、すなわち、光束の分割方向の相対的位置ずれ量を検出することで撮影光学系のピント方向のずれ量を直接求めるものである。従って、焦点検出用センサにより一度蓄積動作を行なえばピントずれの量と方向が得られ、高速な焦点調節動作が可能となっている。但し、撮影光学系の射出瞳を通過した光束を２分割し、それぞれの光束に対応する信号を得るためには、撮像光路中にクイックリターンミラーやハーフミラー等の光路分割手段を設け、その先に焦点検出用光学系とＡＦセンサを設けるのが一般的である。そのため、装置が大型、かつ高価となる欠点がある。
【０００５】
この欠点を解消するために、撮像素子に位相差検出機能を付与し、専用のＡＦセンサを不要とし、かつ高速の位相差ＡＦを実現するための技術も開示されている。
【０００６】
例えば、特許文献１では、撮像素子の一部の受光素子（画素）において、オンチップマイクロレンズの光軸に対して受光部の感度領域を偏心させることで瞳分割機能を付与している。そしてこれらの画素を焦点検出用画素とし、撮像用画素群の間に所定の間隔で配置することで、位相差式焦点検出を行なう。また、焦点検出用画素が配置された箇所は撮像画素の欠損部に相当するため、周辺の撮像画素情報から補間して画像情報を生成している。
【０００７】
また、特許文献２では、撮像素子の一部の画素の受光部を左右方向又は上下方向に２分割することで瞳分割機能を付与している。そしてこれらの画素を焦点検出用画素（焦点検出部）とし、撮像用画素群の間に所定の間隔で配置することで、位相差式焦点検出を行なう。また、当技術においても焦点検出用画素が配置された箇所は撮像画素が欠損しているため、周辺の撮像画素情報から補間して画像情報を生成している。
【０００８】
また、特許文献３では、撮像素子の一部の画素の受光部を上下方向に２分割することで瞳分割機能を付与し、２分割された受光部の出力を個別に処理することで、上下方向に輝度分布を有した被写体に対して位相差式焦点検出を行なう。また、２分割受光部の出力を合算することで撮像信号にも用いるほか、左右方向に隣接した画素間のコントラストを検出することで、該方向に輝度分布を有する被写体に対してコントラスト式焦点検出を行なう技術が開示されている。
【０００９】
また、特許文献４では、受光部を左右方向又は上下方向に分割した焦点検出用素子を、撮像素子の１行おきに繰り返し配置することで、左右方向及び上下方向に輝度分布を有した被写体に対して位相差式焦点検出を行なう技術が開示されている。
【特許文献１】特開２０００−１５６８２３号公報
【特許文献２】特開２０００−２９２６８６号公報
【特許文献３】特開２００１−３０５４１５号公報
【特許文献４】特開２００３−１５３２９１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１〜４のいずれも、焦点検出部の１つ１つの輝度は小さく、被写体の輝度分布を十分に検出することが出来ない場合があった。そのため、正確な焦点検出を行うことが困難であるという課題があった。
【００１１】
本発明は、上記の課題に鑑みてなされたものであり、焦点検出部における検出能力を向上させ、より正確な焦点検出を行うことを目的とする。
【課題を解決するための手段】
【００１２】
本発明の第１の側面は、撮像装置に係り、瞳分割された第１の焦点検出用画素と第２の焦点検出用画素とで構成される焦点検出部を複数有する撮像素子と、複数の前記焦点検出部を含むように前記撮像素子にそれぞれ割り当てられた複数のセクションの各々において、前記第１の焦点検出用画素からの出力信号を合成して第１の合成信号を得る処理と、前記第２の焦点検出用画素からの出力信号を合成して第２の合成信号を得る処理とを行う合成手段と、前記複数のセクションに渡って、前記第１の合成信号を連結して第１の連結信号を得る処理と、前記第２の合成信号を連結して第２の連結信号を得る処理とを行う連結手段と、前記第１の連結信号及び前記第２の連結信号に基づいて、結像光学系の焦点ずれ量を演算する演算手段と、を備えることを特徴とする。
【００１３】
本発明の第２の側面は、瞳分割された第１の焦点検出用画素と第２の焦点検出用画素とで構成される焦点検出部を複数有する撮像素子を備えた撮像装置の制御方法に係り、前記撮像素子に前記焦点検出部を複数含むセクションを複数割り当てる工程と、前記複数のセクションの各々において、前記第１の焦点検出用画素からの出力信号を合成して第１の合成信号を得る工程と、前記複数のセクションの各々において、前記第２の焦点検出用画素からの出力信号を合成して第２の合成信号を得る工程と、前記複数のセクションに渡って、前記第１の合成信号を連結して第１の連結信号を得る工程と、前記複数のセクションに渡って、前記第２の合成信号を連結して第２の連結信号を得る工程と、前記第１の連結信号及び前記第２の連結信号に基づいて、結像光学系の焦点ずれ量を演算する工程と、を含むことを特徴とする。
【発明の効果】
【００１４】
本発明によれば、焦点検出部における検出能力を向上させ、より正確な焦点検出を行うことができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の好適な実施形態に係る撮像装置及びその制御方法について、図面を参照して詳細に説明する。
【００１６】
（第１の実施形態）
図１〜図２０は本発明の実施形態に係る撮像装置及びその制御方法を説明する図である。以下、図を用いて実施形態の作用を説明する。
【００１７】
図１は本発明の好適な実施の形態に係る撮像装置の構成図であり、撮像素子を有したカメラ本体と撮影光学系が一体となった電子カメラを示している。同図において、１０１は撮影光学系（結像光学系）の先端に配置された第１レンズ群であり、光軸方向に進退可能に保持される。１０２は絞り兼用シャッタであり、その開口径を調節することで撮影時の光量調節を行なうほか、静止画撮影時には露光秒時調節用シャッタとしての機能も備える。１０３は第２レンズ群である。そして絞り兼用シャッタ１０２及び第２レンズ群１０３は一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）をなす。
【００１８】
１０５は第３レンズ群であり、光軸方向の進退により、焦点調節を行なう。１０６は光学的ローパスフィルタであり、撮影画像の偽色やモアレを軽減するための光学素子である。１０７はＣＭＯＳイメージセンサとその周辺回路で構成された撮像素子である。この撮像素子は、横方向ｍ画素、縦方向ｎ画素の受光画素上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、２次元単板カラーセンサが用いられる。
【００１９】
１１１はズームアクチュエータであり、不図示のカム筒を回動することで、第１レンズ群１０１〜第３レンズ群１０３を光軸方向に進退駆動し、変倍操作を行なう。１１２は絞りシャッタアクチュエータであり、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行なう。１１４はフォーカスアクチュエータであり、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。
【００２０】
１１５は撮影時の被写体照明用電子フラッシュであり、キセノン管を用いた閃光照明装置が好適であるが、連続発光するＬＥＤを備えた照明装置を用いても良い。１１６はＡＦ補助光手段であり、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体や低コントラスト被写体に対する焦点検出能力を向上させる。
【００２１】
１２１はＣＰＵであり、撮像装置内でカメラ本体の種々の制御を司る。ＣＰＵ１２１は、例えば、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。そして、ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムに基づいて、撮像装置が有する各種回路を駆動し、ＡＦ、撮影、画像処理と記録等の一連の動作を実行する。
【００２２】
１２２は電子フラッシュ制御回路であり、撮影動作に同期して照明手段１１５を点灯制御する。１２３は補助光駆動回路であり、焦点検出動作に同期してＡＦ補助光手段１１６を点灯制御する。１２４は撮像素子駆動回路であり、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。１２５は画像処理回路であり、撮像素子１０７が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行なう。
【００２３】
１２６はフォーカス駆動回路であり、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。１２８は絞りシャッタ駆動回路であり、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。１２９はズーム駆動回路であり、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。
【００２４】
１３１はＬＣＤ等の表示器であり、撮像装置の撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。１３２は操作スイッチ群であり、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。１３３は着脱可能なフラッシュメモリであり、撮影済み画像を記録する。
【００２５】
図２は本発明の好適な実施形態に係る撮像素子の概略的回路構成図を示したものであり、本発明者による特開平０９−０４６５９６号公報等に開示された技術を用いて製造されうる。図２はＣＭＯＳイメージセンサが２次元に配列されたエリアセンサのうち２列×４行の画素領域を示したものである。撮像素子として利用する場合は、図２に示した画素領域が複数配置され、高解像度画像の取得を可能としている。本実施形態においては、画素ピッチが２μｍ、有効画素数が横３０００列×縦２０００行＝６００万画素、撮像画面サイズが横６ｍｍ×縦４ｍｍのデジタルスチルカメラ用の撮像素子を一例として説明を行なう。
【００２６】
図２において、１はトランジスタで構成された光電変換素子、２はフォトゲート、３は転送スイッチトランジスタである。光電変換素子１、フォトゲート２及び転送スイッチトランジスタ３により画素３０−１１〜３０−３２のうちの１画素が構成されている。４はリセット用トランジスタ、５はソースフォロワアンプトランジスタ、６は水平選択スイッチトランジスタ、７はソースフォロワの負荷トランジスタである。８は暗出力転送トランジスタ、９は明出力転送トランジスタ、１０は暗出力蓄積容量ＣＴＮ、１１は明出力蓄積容量ＣＴＳ、１２は水平転送トランジスタである。１３は水平出力線リセットトランジスタ、１４は差動出力アンプ、１５は水平走査回路、１６は垂直走査回路である。なお、図２に示す各トランジスタは、例えば、ＭＯＳトランジスタで構成されうる。
【００２７】
図３に２画素で構成されるユニットの断面図を示す。図３のユニット３０１は、図２の画素３０−１１及び画素３０−２１の２画素を１ユニットで構成したものを例示的に示したものである。図３において、１７はＰウェル、１８は酸化膜等で形成されるゲート絶縁膜、１９は一層目のポリＳｉ、２０は二層目のポリＳｉ、２１はｎ＋フローティングディフュージョン部（ＦＤ）である。２１のＦＤは他の転送トランジスタを介して他の光電変換素子と接続される。図３において、２つの転送スイッチトランジスタ３のドレインとＦＤ部２１を共通化して微細化とＦＤ部２１の容量低減による感度向上を図っているが、Ａｌ等の配線でＦＤ部２１を接続しても良い。
【００２８】
次に、図４のタイミングチャートを用いて動作を説明する。このタイミングチャートは全画素独立出力の場合である。図４において、横軸は時間、縦軸は各信号の信号波形を示す。
【００２９】
まず垂直走査回路１６からのタイミング出力によって、制御パルスφＬをハイとして垂直出力線をリセットする。また制御パルスφＲ０,φＰＧ００,φＰＧｅ０をハイとし、リセット用トランジスタ４をオンとし、フォトゲート２の一層目のポリＳｉ１９をハイとしておく。期間Ｔ０において、制御パルスφＳ０をハイとし、選択スイッチトランジスタ６をオンさせ、第１、第２ラインの画素を選択する。次に制御パルスφＲ０をロウとし、ＦＤ部２１のリセットを止め、ＦＤ部２１をフローティング状態とする。ＦＤ部２１に蓄積される電荷は、ソースフォロワアンプトランジスタ５のゲートを介して、電圧の変化としてソースから読み出される。その後、期間Ｔ１において制御パルスφＴＮをハイとし、ＦＤ部２１から読み出された暗電圧をソースフォロワ動作で蓄積容量ＣＴＮ１０に出力させる。
【００３０】
次に、第１ラインの画素の光電変換出力を行うため、第１ラインの制御パルスφＴＸ００をハイとして転送スイッチトランジスタ３を導通した後、期間Ｔ２において制御パルスφＰＧ００をローとする。この時フォトゲート２の下に拡がっていたポテンシャル井戸を上げて、光発生キャリアをＦＤ部２１に完全転送させるような電圧関係が好ましい。従って完全転送が可能であれば制御パルスφＴＸはパルスではなくある固定電位でもかまわない。
【００３１】
期間Ｔ２でフォトダイオードの光電変換素子１からの電荷がＦＤ部２１に転送されることにより、ＦＤ部２１の電位が光に応じて変化することになる。この時ソースフォロワアンプトランジスタ５がフローティング状態であるので、ＦＤ部２１の電位を期間Ｔ３において制御パルスφＴｓをハイとして蓄積容量ＣＴＳ１１に出力する。この時点で第１ラインの画素の暗出力と光出力はそれぞれ蓄積容量ＣＴＮ１０とＣＴＳ１１に蓄積されている。そして、期間Ｔ４で制御パルスφＨＣを一時ハイとして水平出力線リセットトランジスタ１３を導通して水平出力線をリセットし、水平転送期間において水平走査回路１５の走査タイミング信号により水平出力線に画素の暗出力と光出力が出力される。この時、蓄積容量ＣＴＮ１０とＣＴＳ１１の差動増幅器１４によって、差動出力ＶＯＵＴを取れば、画素のランダムノイズ、固定パターンノイズを除去したＳ／Ｎの良い信号が得られる。また画素３０−１２、３０−２２の光電荷は、画素３０−１１、３０−２１と同時に夫々の蓄積容量ＣＴＮ１０とＣＴＳ１１に蓄積される。しかしながら、その読み出しは水平走査回路１５からのタイミングパルスを１画素分遅延させて、水平出力線に読み出して差動増幅器１４から出力される。
【００３２】
本実施形態では、差動出力ＶＯＵＴをチップ内で行う構成を示しているが、チップ内に含めず、外部で従来のＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関二重サンプリング）回路を用いても同様の効果が得られる。
【００３３】
蓄積容量ＣＴＳ１１に明出力を出力した後、制御パルスφＲ０をハイとしてリセット用トランジスタ４を導通し、ＦＤ部２１を電源ＶＤＤにリセットする。第１ラインの水平転送が終了した後、第２ラインの読み出しを行う。第２ラインの読み出しは、制御パルスφＴＸｅ０、制御パルスφＰＧｅ０を同様に駆動させ、制御パルスφＴＮ、φＴＳに夫々ハイパルスを供給して、蓄積容量ＣＴＮ１０とＣＴＳ１１に夫々光電荷を蓄積し、暗出力及び明出力を取り出す。以上の駆動により、第１、第２ラインの読み出しが夫々独立に行なえる。この後、垂直走査回路を走査させ、同様に第２ｎ＋１ライン、第２ｎ＋２ライン（ｎ＝１、２、…）の読み出しを行なえば、全画素独立出力が行える。例えば、ｎ＝１の場合は、まず制御パルスφＳ１をハイとし、次に次にφＲ１をローとする。次いで、制御パルスφＴＮ、φＴＸ０１をハイとし、制御パルスφＰＧ０１をロー、制御パルスφＴＳをハイ、制御パルスφＨＣを一時ハイとして画素３０−３１、３０−３２の画素信号を読み出す。続いて、制御パルスφＴＸｅ１、φＰＧｅ１及び上記と同様に制御パルスを印加して、画素３０−４１、３０−４２の画素信号を読み出す。
【００３４】
図５〜図７は、撮像用画素と焦点検出用画素の構造を説明する図である。本発明の好適な実施形態においては、２行×２列の４画素のうち、対角２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素を各１個配置した、ベイヤー配列が採用されている。そして、このベイヤー配列の間に、後述する構造の焦点検出用画素が所定の規則にて分散配置される。
【００３５】
図５に撮像用画素の配置と構造を示す。図５（ａ）は２行×２列の撮像用画素の平面図である。周知のように、ベイヤー配列では対角方向にＧ画素が、他の２画素にＲとＢの画素が配置される。そして２行×２列の構造が繰り返し配置される。
【００３６】
図５（ａ）におけるＡ−Ａ断面図を図５（ｂ）に示す。ＭＬは各画素の最前面に配置されたオンチップマイクロレンズ、ＣＦＲはＲ（赤色）のカラーフィルタ、ＣＦＧはＧ（緑色）のカラーフィルタである。ＰＤ（Ｐｈｏｔｏ Ｄｉｏｄｅ）は図３で説明したＣＭＯＳイメージセンサの光電変換素子を模式的に示したものである。ＣＬ（Ｃｏｎｔａｃｔ Ｌａｙｅｒ）は、ＣＭＯＳイメージセンサ内の各種信号を伝達する信号線を形成するための配線層である。ＴＬは撮影光学系を模式的に示したものである。
【００３７】
ここで、撮像用画素のオンチップマイクロレンズＭＬと光電変換素子ＰＤは、撮影光学系ＴＬ（Ｔａｋｉｎｇ Ｌｅｎｓ）を通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影光学系ＴＬの射出瞳ＥＰ（Ｅｘｉｔ Ｐｕｐｉｌ）と光電変換素子ＰＤは、マイクロレンズＭＬにより共役関係にあり、かつ光電変換素子の有効面積は大面積に設計される。また、図５（ｂ）ではＲ画素の入射光束について説明したが、Ｇ画素及びＢ（青色）画素も同一の構造となっている。従って、撮像用のＲＧＢ各画素に対応した射出瞳ＥＰは大径となり、被写体からの光束（光量子）を効率よく取り込んで画像信号のＳ／Ｎを向上させている。
【００３８】
図６は、撮影光学系の水平方向（横方向）に瞳分割を行なうための焦点検出用画素の配置と構造を示す。ここで水平方向又は横方向とは、撮影光学系の光軸と撮影画面の長辺とが地面に平行となるように撮像装置を構えたとき、この光軸に直交し、かつ水平方向に伸びる直線に沿った方向をいう。また、図６における瞳分割方向は水平方向である。図６（ａ）は、焦点検出用画素を含む２行×２列の画素の平面図である。記録又は観賞のための画像信号を得る場合、Ｇ画素で輝度情報の主成分を取得する。そして人間の画像認識特性は輝度情報に敏感であるため、Ｇ画素が欠損すると画質劣化が認知されやすい。一方でＲ画素又はＢ画素は、色情報（色差情報）を取得する画素であるが、人間の視覚特性は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化は認識され難い。そこで本実施形態においては、２行×２列の画素のうち、Ｇ画素は撮像用画素として残し、Ｒ画素とＢ画素を焦点検出用画素に置き換える。この焦点検出用画素を図６（ａ）においてＳＨＡ及びＳＨＢと示す。
【００３９】
図６（ａ）におけるＡ−Ａ断面図を図６（ｂ）に示す。マイクロレンズＭＬと、光電変換素子ＰＤは図５（ｂ）に示した撮像用画素と同一構造である。本実施形態においては、焦点検出用画素の信号は画像生成には用いないため、色分離用カラーフィルタの代わりに透明膜ＣＦＷ（白色）が配置される。また、撮像素子で瞳分割を行なうため、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対して一方向に偏倚している。具体的には、画素ＳＨＡ及の開口部ＯＰＨＡは右側に偏倚しているため、撮影光学系ＴＬの左側の射出瞳ＥＰＨＡを通過した光束を受光する。同様に、画素ＳＨＢの開口部ＯＰＨＢは左側に偏倚しているため、撮影光学系ＴＬの右側の射出瞳ＥＰＨＢを通過した光束を受光する。よって、画素ＳＨＡを水平方向に規則的に配列し、これらの画素群で取得した被写体像をＡ像とする。また、画素ＳＨＢも水平方向に規則的に配列し、これらの画素群で取得した被写体像をＢ像とすると、Ａ像とＢ像の相対位置を検出することで、被写体像のピントずれ量（デフォーカス量）が検出できる。
【００４０】
なお、上記画素ＳＨＡ及びＳＨＢでは、撮影画面の横方向に輝度分布を有した被写体、例えば縦線に対しては焦点検出可能だが、縦方向に輝度分布を有する横線は焦点検出不能である。そこで本実施形態では、後者についても焦点状態を検出できるよう、撮影光学系の垂直方向（縦方向）にも瞳分割を行なう画素も備えるよう構成されうる。
【００４１】
図７は、撮影光学系の垂直方向（上下方向又は縦方向）に瞳分割を行なうための焦点検出用画素の配置と構造を示す。ここで垂直方向、上下方向及び縦横方向は、撮影光学系の光軸と撮影画面の長辺とが地面に平行となるように撮像装置を構えたとき、この光軸に直交し、鉛直方向に伸びる直線に沿った方向をいう。また、図７における瞳分割方向は垂直方向である。図７（ａ）は、焦点検出用画素を含む２行×２列の画素の平面図であり、図６（ａ）と同様に、Ｇ画素は撮像用画素として残し、Ｒ画素とＢ画素のを焦点検出用画素としている。この焦点検出用画素を図７（ａ）においてＳＶＣ及びＳＶＤと示す。
【００４２】
図７（ａ）のＡ−Ａ断面図を図７（ｂ）に示す。図６（ｂ）の画素が横方向に瞳分離する構造であるのに対して、図７（ｂ）の画素は瞳分離方向が縦方向になっているが、その他の画素の構造は同様である。画素ＳＶＣの開口部ＯＰＶＣは下側に偏倚しているため、撮影光学系ＴＬの上側の射出瞳ＥＰＶＣを通過した光束を受光する。同様に、画素ＳＶＤの開口部ＯＰＶＤは上側に偏倚しているため、撮影光学系ＴＬの下側の射出瞳ＥＰＶＤを通過した光束を受光する。よって、画素ＳＶＣを垂直方向に規則的に配列し、これらの画素群で取得した被写体像をＣ像とする。また、画素ＳＶＤも垂直方向に規則的に配列し、これらの画素群で取得した被写体像をＤ像とする。すると、Ｃ像とＤ像の相対位置を検出することで、垂直方向に輝度分布を有する被写体像のピントずれ量（デフォーカス量）が検出できる。
【００４３】
図８は、本発明の好適な実施形態における焦点検出を概略的に示す図である。撮像素子１０７は、瞳分割された第１の焦点検出用画素９０１ａと第２の焦点検出用画素９０１ｂとで構成される焦点検出部９０１を複数有する。撮像素子１０７はまた、撮影光学系（結像光学系）で結像された被写体像を光電変換するための撮像用画素を複数含む。ＣＰＵ１２１は、合成手段９０２と、連結手段９０３と、演算手段９０４と、を含む。ＣＰＵ１２１はまた、複数の焦点検出部９０１を含むように、撮像素子１０７の撮像面にセクション（領域）ＣＳＴを複数割り当てる。ＣＰＵ１２１は、セクションＣＳＴの大きさ、配置、数等を適宜変更することができる。合成手段９０２は、撮像素子１０７に割り当てられた複数のセクションＣＳＴの各々において、第１の焦点検出用画素９０１ａからの出力信号を合成して１画素の第１の合成信号を得る処理を行う。合成手段９０２はまた、各セクションＣＳＴにおいて、第２の焦点検出用画素９０１ｂからの出力信号を合成して１画素の第２の合成信号を得る処理を行う。連結手段９０３は、複数のセクションＣＳＴにおいて、第１の合成信号である各画素を連結して第１の連結信号を得る処理と、第２の合成信号を連結して第２の連結信号を得る処理とを行う。このように、第１の焦点検出用画素９０１ａ及び第１の焦点検出用画素９０１ｂのそれぞれに対して、セクション数の画素が連結された連結信号が得られる。演算手段９０４は、第１の連結信号及び第２の連結信号に基づいて、結像光学系の焦点ずれ量を演算する。このように、セクション内に配置された同一の瞳分割方向における焦点検出用画素の出力信号を合成するため、焦点検出部の１つ１つの輝度は小さい場合であっても、被写体の輝度分布を十分に検出することが可能となる。また、後述するように、焦点検出部９０１を瞳分割方向（図８では、水平方向）に密に配置することにより、細線（高周波パターン）の画像捕捉能力が向上する。なお、図８では、説明を簡略化するために水平方向に瞳分割する場合を例に示したが、後述するように垂直方向に瞳分割する場合についても同様である。
【００４４】
図９〜図１１は、図５〜図７に示した撮像用画素及び焦点検出用画素の配置規則を説明する図である。
【００４５】
図９は撮像用画素の間に焦点検出用画素を離散的に配置する場合の、本発明の好適な第１の実施形態に係る最小単位の配置規則を説明するための図である。図９において、１０行×１０列＝１００画素の正方形領域を１つのブロックと定義する。左上のブロックＢＬＫｈ（１、１）において、一番左下のＲ画素とＢ画素を、水平方向（第１の方向）に瞳分割を行なう１組の焦点検出用画素（第１の焦点検出部）ＳＨＡ及びＳＨＢで置き換える。
【００４６】
その右隣りのブロックＢＬＫｖ（１、２）においては、同じく一番左下のＲ画素とＢ画素を、垂直方向（第２の方向）に瞳分割を行なう１組の焦点検出用画素（第２の焦点検出部）ＳＶＣ及びＳＶＤで置き換える。また、最初のブロックＢＬＫｈ（１、１）の下に隣接したブロックＢＬＫｖ（２、１）の画素配列は、ブロックＢＬＫｖ（１、２）と同一とする。そして、その右隣りのブロックＢＬＫｈ（２、２）の画素配列は、先頭のブロックＢＬＫｈ（１、１）と同一とする。
【００４７】
この配置規則を一般化すると、ブロックＢＬＫ（ｉ、ｊ）において、ｉ＋ｊが偶数であれば水平瞳分割用の焦点検出画素を配置し、ｉ＋ｊが奇数であれば垂直瞳分割用の焦点検出画素を配置することになる。そして、図９の２×２＝４ブロック、すなわち２０行×２０列＝４００画素の領域を、ブロックの上位の配列単位として、クラスタと定義する。
【００４８】
図１０は、上記のクラスタを単位とした配置規則を説明するための図である。図１０において、２０行×２０列＝４００画素で構成された一番左上のクラスタをＣＳＴ（ｕ、ｗ）＝ＣＳＴ（１、１）とする。クラスタＣＳＴ（１、１）においては、各ブロックの一番左下のＲ画素とＢ画素を、焦点検出用画素ＳＨＡ及びＳＨＢ、又は、ＳＶＣ及びＳＶＤで置き換える。
【００４９】
その右隣りのクラスタＣＳＴ（１、２）においては、ブロック内における焦点検出用画素の配置を、クラスタＣＳＴ（１、１）に対して上方向に２画素分シフトした位置に配置する。また、最初のクラスタＣＳＴ（１、１）の下に隣接したクラスタＣＳＴ（２、１）においては、ブロック内における焦点検出用画素の配置を、クラスタＣＳＴ（１、１）に対して右方向に２画素分シフトした位置に配置する。以上の規則を繰り返し適用すると図１０に示した配置が得られる。
【００５０】
この配置規則を一般化すると以下のようになる。なお、焦点検出用画素の座標は、図６又は図７で示したＧ画素を含む４画素を一つの単位（ペア）とし、そのうちの左上の画素の座標で規定する。また各ブロック内の座標は左上を（１、１）とし、下方向と右方向を正とする。
【００５１】
以上の定義を適用すると、クラスタＣＳＴ（ｕ、ｗ）において、各ブロック内の焦点検出用画素ペアの水平座標は２×ｕ−１となり、垂直座標は１１−２×ｗとなる。そして、図１０の５×５＝２５クラスタ、すなわち１００行×１００列＝１万画素の領域を、クラスタの上位の配列単位として、フィールドと定義する。
【００５２】
図１１は、上記のフィールドを単位とした配置規則を説明するための図である。同図において、１００行×１００列＝１万画素で構成された一番左上のフィールドをＦＬＤ（ｑ、ｒ）＝ＦＬＤ（１、１）とする。そして本実施形態では、すべてのフィールドＦＬＤ（ｑ、ｒ）は先頭フィールドＦＬＤ（１、１）と同様の配列となっている。そこで、ＦＬＤ（１、１）を水平方向に３０個、垂直方向に２０個配列すると、３０００列×２０００行＝６００万画素の撮像領域は６００個のフィールドで構成される。そして撮像領域全面に渡って焦点検出用画素を均一に分布させることができる。
【００５３】
次に図１２〜図１５を用いて、焦点検出時の画素のグループと信号加算方法について説明する。図１２は、撮影光学系によって形成された被写体像の、横ずれ方向の焦点検出を行なう場合の画素グループ化方法を説明する図である。横ずれ方向の焦点検出とは、図６で説明した、撮影光学系の射出瞳を横方向（左右方向、水平方向）に分割するための焦点検出用画素を用いて、位相差式焦点検出を行なうことを指す。
【００５４】
図１２に示す画素配列は図１０で説明したものであるが、焦点検出の際には、横方向に１ブロック、縦方向に１０ブロックの合計１０ブロックを１つのグループとし、これをセクション（ここでは、第１のセクション）と定義する。そして、本実施形態では、一例として、横方向に複数配列された３０個のセクションで、１つの焦点検出領域を構成する。すなわち、１００行×３００列＝３万画素の領域が１つの焦点検出領域となる。この１つの焦点検出領域をＡＦエリアと定義する。ここで、１つのセクション内においては、横方向における一方の瞳分割を行なう画素ＳＨＡが５個、他方の瞳分割を行なう画素ＳＨＢも５個含まれている。そこで本実施形態においては、５個のＳＨＡの出力を加算して１画素の信号とし、位相差演算用の一方の画像信号（Ａ像と称する）の１ＡＦ画素を得る。同様に、５個のＳＨＢの出力を加算して１画素の信号とし、位相差演算用の他方の画像信号（Ｂ像と称する）の１ＡＦ画素を得る。
【００５５】
図１３は、一つのセクションにおける、被写体像の捕捉能力を説明するための図である。図１３（ａ）は図１２の左端のセクションを切り出したものである。下端に示された水平線ＰＲＪｈは、焦点検出用画素ＳＨＡ及びＳＨＢの瞳分割方向（第１の方向）と直交する第２の方向に延伸した第１の射影軸（Ｐｒｏｊｅｃｔｉｏｎ Ｌｉｎｅ）である。右端に示された垂直線ＰＲＪｖは、瞳分割方向に延伸した第２の射影軸である。ここで、１つのセクション内の画素ＳＨＡはすべて加算され、ＳＨＢも加算される。そこで、１つのセクションを１つのＡＦ画素と見なした場合、１つのＡＦ画素に含まれる受光部を瞳分割方向と直交する方向の射影軸ＰＲＪｈに射影すると、画素ＳＨＡとＳＨＢが交互に緻密に並ぶことがわかる。このときの、瞳分割方向と直交する方向の射影軸ＰＲＪｈにおける画素ＳＨＡの配列ピッチをＰ１とすると、Ｐ１＝ＰＨｈ＝２（単位は画素）となる。ピッチの代わりに空間周波数Ｆ１で表わすと、Ｆ１＝０．５（単位は画素／画素）となる。同様に射影軸ＰＲＪｈにおける画素ＳＨＢの配列ピッチもＰ１＝２（単位は画素）、空間周波数表記ではＦ１＝０．５（単位は画素／画素）となる。
【００５６】
一方、１つのＡＦ画素に含まれる受光部を瞳分割方向の射影軸ＰＲＪｖに射影すると、画素ＳＨＡとＳＨＢはまばらに並ぶことがわかる。このときの、射影軸ＰＲＪｖにおける画素ＳＨＡの配列ピッチをＰ２とすると、Ｐ２＝ＰＨｖ＝２０（単位は画素）となる。ピッチの代わりに空間周波数Ｆ２で表わすと、Ｆ２＝０．０５（単位は画素／画素）となる。同様に射影軸ＰＲＪｖにおける画素ＳＨＢの配列ピッチも、Ｐ２＝２０（単位は画素）、空間周波数表記ではＦ２＝０．０５（単位は画素／画素）となる。
【００５７】
すなわち、本実施形態におけるＡＦ画素は、上記グループ化前の分散特性については、瞳分割方向とこれに直交する方向の配置上のピッチが等しい。しかしながら、グループ化する際のグループ形状を長方形とすることで、瞳分割方向のサンプリング誤差を低減している。具体的には、１セクションの瞳分割方向と直交する方向の最大寸法Ｌ１は１０画素、瞳分割方向の最大寸法Ｌ２は１００画素としている。すなわち、セクション寸法をＬ１＜Ｌ２とすることで、瞳分割方向と直交する方向のサンプリング周波数Ｆ１を高周波（密）に、瞳分割方向のサンプリング周波数Ｆ２を低周波（疎）としている。
【００５８】
図１３（ａ）で説明したＡＦ画素（一つのセクション）に、細線の被写体像が投影された場合の画像捕捉能力を図１３（ｂ）にて説明する。図１３（ｂ）において、ＬＩＮＥｖは、撮像素子１０７上に投影された細い縦線を表わし、その幅は画素換算で４画素、画像の実寸では幅８μｍになっている。この時、セクションＳＣＴｈ（１）内では、ブロックＢＬＫ（３、１）とブロックＢＬＫ（５、１）に含まれる焦点検出用画素が被写体像を捕捉する。なお、被写体像の最小寸法は、撮影光学系の収差と撮像素子前面に配置された光学ＬＰＦの特性で決まるが、通常は非常に細い線でも２画素以上の幅になる。従って、本実施形態の１つのセクション内では、最低でも各１個ずつの画素ＳＨＡとＳＨＢで画像を捕捉することになり、捕捉洩れは生じない。
【００５９】
一方、図１３（ｂ）のＬＩＮＥｈは、撮像素子１０７上に投影された細い横線を表わし、その幅は前述のＬＩＮＥｖと同様に画素換算で４画素、画像の実寸では幅８μｍになっている。この時には、横線ＬＩＮＥｈはブロックＢＬＫ（５、１）にかかっているが、焦点検出用画素ＳＨＡ及びＳＨＢには捕捉されない。しかしながら、セクションＳＣＴｈ（１）は、縦線のように横方向に輝度分布を有する被写体について焦点検出を行なうためのものである。従って、横線のように縦方向に輝度分布を有する被写体については、焦点検出用画素による像の捕捉洩れが生じても構わない。
【００６０】
図１４は、撮影光学系によって形成された被写体像の、縦ずれ方向の焦点検出を行なう場合の画素グループ化方法を説明する図である。縦ずれ方向の焦点検出とは、図７で説明した、撮影光学系の射出瞳を縦方向（上下方向、すなわち垂直方向）に分割するための焦点検出用画素を用いて、位相差式焦点検出を行なうことをいう。すなわち、図１２を９０度回転したものに相当する。
【００６１】
図１４に示す画素配列も図１０で説明したものであるが、焦点検出の際には、横方向に１０ブロック、縦方向に１ブロックの合計１０ブロックを１つのグループとし、これをセクション（ここでは、第２のセクション）と定義する。そして、本実施形態では、一例として、縦方向に複数配列された３０個のセクションで、１つの焦点検出領域を構成する。すなわち、３００行×１００列＝３万画素の領域が１つの焦点検出領域となる。この１つの焦点検出領域も図１２と同様にＡＦエリアと定義する。ここで、１つのセクション内においては、縦方向における一方の瞳分割を行なう画素ＳＶＣが５個、他方の瞳分割を行なう画素ＳＶＤも５個含まれている。そこで本実施形態においては、５個のＳＶＣの出力を加算して、位相差演算用の一方の画像信号（Ｃ像と称する）の１ＡＦ画素とする。同様に、５個のＳＶＤの出力を加算して、位相差演算用の他方の画像信号（Ｄ像と称する）の１ＡＦ画素とする。
【００６２】
図１５は、一つのセクションにおける被写体像の捕捉能力を説明するための図であり、図１３を９０度回転したものと等価である。図１５（ａ）は図１４の上端のセクションを切り出したものである。そして右端に示された垂直線ＰＲＪｖは、焦点検出用画素ＳＶＣ及びＳＶＤの瞳分割方向（第２の方向）と直交する第１の方向に延伸した第３の射影軸、下端に示された水平線ＰＲＪｈは、瞳分割方向に延伸した第４の射影軸である。図１５（ａ）においても、１つのセクション内の画素ＳＶＣはすべて加算され、ＳＶＤも加算される。そこで、１セクションを１ＡＦ画素と見なした場合、１ＡＦ画素に含まれる受光部を瞳分割方向と直交する方向の射影軸ＰＲＪｖに射影すると、画素ＳＶＣ及びＳＶＤが交互に緻密に並ぶことがわかる。このときの、瞳分割方向と直交する方向の射影軸ＰＲＪｖにおける画素ＳＶＣの配列ピッチをＰ１とすると、Ｐ１＝ＰＶｖ＝２（単位は画素）となる。ピッチの代わりに空間周波数Ｆ１で表わすと、Ｆ１＝０．５（単位は画素／画素）となる。同様に射影軸ＰＲＪｖにおける画素ＳＶＤの配列ピッチもＰ１＝２（単位は画素）、空間周波数表記ではＦ１＝０．５（単位は画素／画素）となる。
【００６３】
一方、１つのＡＦ画素に含まれる受光部を瞳分割方向の射影軸ＰＲＪｈに射影すると、画素ＳＶＣとＳＶＤはまばらに並ぶことがわかる。このときの、射影軸ＰＲＪｈにおける画素ＳＶＣの配列ピッチをＰ２とすると、Ｐ２＝ＰＶｈ＝２０（単位は画素）となる。ピッチの代わりに空間周波数Ｆ２で表わすと、Ｆ２＝０．０５（単位は画素／画素）となる。同様に射影軸ＰＲＪｖにおける画素ＳＶＤの配列ピッチも、Ｐ２＝２０（単位は画素）、空間周波数表記ではＦ２＝０．０５（単位は画素／画素）となる。
【００６４】
以上のように、図１５におけるＡＦ画素のサンプリング特性は、瞳分割方向を基準に考えると、図１３と同様の特性、すなわちＦ１＞Ｆ２となっている。これは、図１５のセクションにおいても、瞳分割方向と直交する方向のセクション寸法Ｌ１と、瞳分割方向の寸法Ｌ２を、Ｌ１＜Ｌ２としたからである。これにより、空間周波数の高い被写体に対しても瞳分割方向と直交する方向の輝度情報を正確に検出することができるとともに、被写体輝度が低くても複数画素の加算によって焦点検出信号のＳ／Ｎ比を向上させることができる。
【００６５】
図１５（ａ）で説明したＡＦ画素（一つのセクション）に、細線の被写体像が投影された場合の画像捕捉能力を図１５（ｂ）にて説明する。図１５（ｂ）において、ＬＩＮＥｈは、撮像素子１０７上に投影された細い横線を表わし、その幅は画素換算で４画素、画像の実寸では幅８μｍになっている。この時、セクションＳＣＴｖ（１）内では、ブロックＢＬＫ（１、４）とブロックＢＬＫ（１、６）に含まれる焦点検出用画素が被写体像を捕捉する。
【００６６】
一方、図１５（ｂ）のＬＩＮＥｖは、撮像素子１０７上に投影された細い縦線を表わし、その幅は前述のＬＩＮＥｈと同様に画素換算で４画素、画像の実寸では幅８μｍになっている。この時には、縦線ＬＩＮＥｖはブロックＢＬＫ（１、６）にかかっているが、焦点検出用画素ＳＶＣ及びＳＶＤには捕捉されない。しかしながら、セクションＳＣＴｖ（１）は、横線のように縦方向に輝度分布を有する被写体について焦点検出を行なうためのものである。従って、縦線のように横方向に輝度分布を有する被写体については、焦点検出用画素による像の捕捉洩れが生じても構わない。
【００６７】
図１６は、第１の実施形態における撮像素子の瞳分割機能を概念的に説明する図である。ＴＬは撮影光学系、１０７は撮像素子、ＯＢＪは被写体、ＩＭＧは被写体像である。
【００６８】
撮像用画素は図５で説明したように、撮影光学系の射出瞳全域ＥＰを通過した光束を受光する。一方、焦点検出用画素は図６及び図７で説明したように、瞳分割機能を有している。具体的には、図６の画素ＳＨＡは撮像面からレンズ後端を見て左側の瞳を通過した光束ＬＨＡ、すなわち図１６の瞳ＥＰＨＡを通過した光束を受光する。同様に画素ＳＨＢ、ＳＶＣ及びＳＶＤはそれぞれ瞳ＥＰＨＢ、ＥＰＶＣ及びＥＰＶＤを通過した光束ＬＨＢ、ＬＨＣ、ＬＨＤをそれぞれ受光する。そして、焦点検出用画素は、図１１で説明したように撮像素子１０７の全領域に渡って分布しているため、撮像領域全域で焦点検出も可能となっている。
【００６９】
図１７は、焦点検出時に取得した画像と焦点検出領域を説明する図である。図１７において、撮像面に形成された被写体像には、中央に人物、左側に近景の樹木、右側に遠景の山並みが写っている。そして本実施形態においては、焦点検出用画素は、横ずれ検出用の画素ペアＳＨＡ及びＳＨＢと、縦ずれ検出用の画素ペアＳＶＣ及びＳＶＤが、図１１に示したように撮像領域全域に渡って均等な密度で配置されている。そして横ずれ検出の際には、位相差演算のためのＡＦ画素信号を図１２及び図１３で示したようにグループ化処理する。また、縦ずれ検出の際には、位相差演算のためのＡＦ画素信号を図１４及び図１５で示したようにグループ化処理する。よって、撮像領域の任意位置において、横ずれ検出及び縦ずれ検出のための測距領域を設定可能である。
【００７０】
図１７においては、画面中央に人物の顔が存在している。そこで公知の顔認識技術によって顔の存在が検出されると、顔領域を中心に横ずれ検知のための焦点検出領域ＡＦＡＲｈ（ｘ１,ｙ１）と、縦ずれ検知のための焦点検出領域ＡＦＡＲｖ（ｘ３,ｙ３）が設定される。ここで添え字のｈは水平方向を表わし、（ｘ１,ｙ１）及び（ｘ３,ｙ３）は焦点検出領域の左上隅の座標を表わす。そして、焦点検出領域ＡＦＡＲｈ（ｘ１,ｙ１）の各セクション内に含まれる５個の焦点検出画素用ＳＨＡを加算し、これを３０セクションに渡って連結した位相差検出用のＡ像信号がＡＦＳＩＧｈ（Ａ１）である。また、同様に各セクションの５個の焦点検出画素用ＳＨＢを加算し、これを３０セクションに渡って連結した位相差検出用のＢ像信号がＡＦＳＩＧｈ（Ｂ１）である。そして、Ａ像信号ＡＦＳＩＧｈ（Ａ１）とＢ像信号ＡＦＳＩＧｈ（Ｂ１）の相対的な横ずれ量を公知の相関演算によって演算することで、被写体の焦点ずれ量（デフォーカス量）を求めることができる。
【００７１】
焦点検出領域ＡＦＡＲｖ（ｘ３,ｙ３）についても同様に焦点ずれ量を求める。そして、横ずれ及び縦ずれの焦点検出領域で検出した２つの焦点ずれ量を比較し、信頼性の高い値を採用すればよい。
【００７２】
一方、画面左側の樹木の幹部は、縦線成分が主体、すなわち横方向に輝度分布を有しているため、横ずれ検知に適した被写体と判断され、横ずれ検知のための焦点検出領域ＡＦＡＲｈ（ｘ２,ｙ２）が設定される。また、画面右側の山並み稜線部は、横線成分が主体、すなわち縦方向に輝度分布を有しているため、縦ずれ検知に適した被写体と判断され、縦ずれ検知のための焦点検出領域ＡＦＡＲｖ（ｘ４,ｙ４）が設定される。
【００７３】
以上のように本実施形態においては、横ずれ及び縦ずれ検出のための焦点検出領域が画面の任意位置に設定可能なため、被写体の投影位置や輝度分布の方向性が様々であっても、正確な焦点検出が可能である。
【００７４】
図１８〜図２０は、本発明の好適な実施形態に係る撮像装置の焦点調節及び撮影方法等の制御方法を説明するためのフローチャートである。本フローチャートの制御方法は、後述する第２の実施形態〜第４の実施形態においても同様にして適用することができる。なお、本フローチャートの各工程は、特に言及がない限り、図１のＣＰＵ１２１により実行されるものとする。以下、先に説明した図１〜図１７の各図を参照しながら、図１８以降の制御フローを説明する。
【００７５】
図１８は、本発明の好適な実施形態に係る撮像装置のメインフローである。ステップＳ１０１において撮影者が撮像装置の電源スイッチをオン操作すると、ステップＳ１０３においてＣＰＵ１２１は撮像装置内の各アクチュエータや撮像素子の動作確認を行う。そして、メモリ内容や実行プログラムの初期化状態を検出すると共に、撮影準備動作を実行する。ステップＳ１０５では撮像素子の撮像動作を開始し、プレビュー用の低画素動画像を出力する。ステップＳ１０７では読み出した動画を撮像装置背面に設けられた表示器１３１に表示し、撮影者はこのプレビュー画像を目視して撮影時の構図決定を行なう。
【００７６】
ステップＳ１０９では、プレビュー用動画像に顔が存在するか否かを認識する。そして、撮影領域に顔が存在していると認識された場合には（ステップＳ１１１で「ＹＥＳ」）、ステップＳ１１１からステップＳ１１３に移行し、焦点調節モードを顔ＡＦモードに設定する。ここで顔ＡＦモードとは、撮影領域の顔に焦点を合わせるＡＦモードを指す。
【００７７】
一方、撮影領域に顔が存在していない場合は（ステップＳ１１１で「ＮＯ」）、ステップＳ１１１からステップＳ１１５に移行し、焦点調節モードを多点ＡＦモードに設定する。ここで多点ＡＦモードとは、撮影領域を例えば３×５＝１５分割し、各分割領域で焦点検出を行ない、焦点検出結果と被写体の輝度情報から主被写体を類推し、その領域を合焦させるモードを指す。
【００７８】
ステップＳ１１３又はステップＳ１１５でＡＦモードを決定したら、ステップＳ１１７で焦点検出領域を決定する。ステップＳ１２１では、撮影準備スイッチがオン操作されたか否かを判別し、オン操作されていなければステップＳ１０５に戻り、撮像素子駆動からステップＳ１１７の焦点検出領域の決定を繰り返し実行する。
【００７９】
ステップＳ１２１で撮影準備スイッチがオン操作されるとステップＳ１３１に移行し、焦点検出サブルーチンを実行する。
【００８０】
図１９は焦点検出サブルーチンのフロー図である。メインフローのステップＳ１２１からこのサブルーチンのステップＳ１３１に進むと、ステップＳ１３３においては、メインルーチンのステップＳ１１７で決定した焦点検出領域に含まれる焦点検出用画素を読み出す。ステップＳ１３４では、少なくとも２つの焦点検出部９０１を含むように、撮像素子１０７の撮像面にセクションを複数割り当てる。各セクションは、互いに重なり合わないように配置されることが好ましい。また、撮像素子１０７の撮像面の全ての焦点検出部９０１がいずれかのセクションに配置されるようにセクションを割り当てても良いし、一部の焦点検出部９０１がどのセクションにも配置されないようにセクションを割り当ててもよい。ステップＳ１３５では、ステップＳ１３４で割り当てた複数のセクションの各々において、焦点検出部９０１のうち第１の焦点検出用画素からの出力信号を合成して第１の合成信号を得る。同様に、ステップＳ１３４で割り当てた複数のセクションの各々において、第２の焦点検出用画素からの出力信号を合成して第２の合成信号を得る。ステップＳ１３６では、ステップＳ１３４で割り当てた複数のセクションに渡って、ステップＳ１３５で得られた第１の合成信号を連結して第１の連結信号を得る。同様に、ステップＳ１３４で割り当てた複数のセクションに渡って、ステップＳ１３５で得られた第２の合成信号を連結して第２の連結信号を得る。これらの第１、第２の連結信号は、相関演算用の２像の信号に対応する。具体的には、図１７に示したＡＦＳＩＧｈ（Ａ１）とＡＦＳＩＧｈ（Ｂ１）、又はＡＦＳＩＧｖ（Ｃ３）とＡＦＳＩＧｖ（Ｄ３）等の対の信号に対応する。ステップＳ１３９では得られた２像の信号の相関演算を行ない、２像の信号の相対的な位置ずれ量を演算する。ステップＳ１４１では、ステップＳ１３９の相関演算結果の信頼性を判定する。ここで、信頼性とは、２像の信号の一致度を指し、２像の信号の一致度が良い場合には、一般的に焦点検出結果の信頼性が高い。そこで、複数の焦点検出領域が選択されている場合は、信頼性の高い情報を優先的に使用する。
【００８１】
ステップＳ１４３では、上記の信頼性の高い検出結果から焦点ずれ量を演算する。そして、ステップＳ１４５では、図１８のメインフロー内のステップＳ１５１にリターンする。
【００８２】
図１８のステップＳ１５１では、図１９のステップＳ１４３で演算した焦点ずれ量が許容値以下か否かを判断する。そして焦点ずれ量が許容値異常である場合は、非合焦と判断し、ステップＳ１５３でフォーカスレンズを駆動し、その後ステップＳ１３１〜ステップＳ１５１を繰り返し実行する。そしてステップＳ１５１にて合焦状態に達したと判定されると、ステップＳ１５５にて合焦表示を行ない、ステップＳ１５７に移行する。
【００８３】
ステップＳ１５７では、撮影開始スイッチがオン操作されたか否かを判別し、オン操作されていなければステップＳ１５７にて撮影待機状態を維持する。ステップＳ１５７で撮影開始スイッチがオン操作されるとステップＳ１６１に移行し、撮影サブルーチンを実行する。
【００８４】
図２０は撮影サブルーチンのフロー図である。撮影開始スイッチが操作されると、ステップＳ１６１を経由して、ステップＳ１６３では光量調節絞りを駆動し、露光時間を規定するメカニカルシャッタの開口制御を行なう。ステップＳ１６５では、高画素静止画撮影のための画像読み出し、すなわち全画素の読み出しを行なう。ステップＳ１６７では読み出した画像信号の欠損画素補間を行なう。すなわち、焦点検出用画素の出力は撮像のためのＲＧＢカラー情報を有しておらず、画像を得る上では欠陥画素に相当するため、周囲の撮像用画素の情報から補間により画像信号を生成する。
【００８５】
ステップＳ１６９では、画像のγ補正、エッジ強調等の画像処理をおこない、ステップＳ１７１において、フラッシュメモリ１３３に撮影画像を記録する。ステップＳ１７３では、表示器１３１に撮影済み画像を表示し、ステップＳ１７５で図１８のメインフローにリターンする。
【００８６】
図１８のメインフローに戻ると、ステップＳ１８１にて一連の撮影動作を終了する。
【００８７】
以上のように、本発明の好適な第１の実施形態によれば、瞳分割機能を有した複数の焦点検出用画素の出力を合成して焦点検出演算に用いることができる。そのため、焦点検出信号のサンプリング特性とＳ／Ｎを向上させることができる。また、焦点検出用画素が離散的に配置されているため、撮像用画素の欠損が少なく、撮影画像の劣化も回避できる。
【００８８】
また、位相差検出用信号を得るためのＡＦ画素を長方形とし、この長方形領域内の焦点検出用画素の出力を合成したものをＡＦ演算用１画素の信号としている。そして、この長方形領域の瞳分割方向と直交する方向の寸法を他方に対して小とすることで、瞳分割方向と直交する方向におけるＡＦ画素のサンプリング能力の低下を防止することができる。従って、細い線や高周波の被写体の捕捉洩れが防止でき、焦点検出性能が向上する。
【００８９】
また、横ずれ検出用画素と縦ずれ検出用画素を市松状に実質上等間隔かつ等配置密度で配置することができる。これにより、横方向に輝度分布を有する被写体と、縦方向に輝度分布を有する被写体の、いずれに対しても正確な焦点検出が可能となる。
【００９０】
なお、本実施形態では、焦点検出用画素が撮像素子の撮像面の全領域に渡って分布している場合を例に示したが、本発明はこれに限定されない。例えば、本発明の範囲を逸脱しない範囲内で、撮像素子の周辺領域には焦点検出用画素を配置しない等の変更が可能である。
【００９１】
（第２の実施形態）
第１の実施形態は、１対の横ずれ検出用画素、又は１対の縦ずれ検出用画素は、斜め方向に隣接するＲ画素とＢ画素の位置に割り当てられていた。以下に示す第２の実施形態は、焦点検出用画素が単一色の画素、すなわちＲ画素又はＢ画素のみの場所に割り当てられる実施形態である。図２１〜図２５を用いて第２の実施形態の構成を説明する。
【００９２】
図２１は第２の実施形態の焦点検出用画素配列を示す図であり、第１の実施形態の図９に対応する。図９に示した第１の実施形態では、ベイヤー配列を有した撮像用画素において、斜め方向に隣接するＲ画素とＢ画素の位置に、焦点検出用画素ＳＨＡ、ＳＨＢ、ＳＶＣ及びＳＶＤが割り当てられていた。これに対して図２１に示す第２の実施形態では、ベイヤー配列におけるＢ画素のみに焦点検出用画素が割り当てられる。具体的には、一番左上のブロックＢＬＫｈ（１、１）とその右下のブロックＢＬＫｈ（２、２）においては、最下行の左寄りにある２個のＢ画素を水平方向に瞳分割を行なう１組の焦点検出用画素ＳＨＡ及びＳＨＢで置き換える。
【００９３】
また残りのブロックＢＬＫｖ（１、２）とＢＬＫｖ（２、１）においては、左から２番目の列の下寄りにある２個のＢ画素を、垂直方向に瞳分割を行なう１組の焦点検出用画素ＳＶＣ及びＳＶＤで置き換える。
【００９４】
この配置規則を一般化すると、第１の実施形態と同様に、ブロックＢＬＫ（ｉ、ｊ）において、ｉ＋ｊが偶数であれば水平瞳分割用の焦点検出画素を配置し、ｉ＋ｊが奇数であれば垂直瞳分割用の焦点検出画素を配置することになる。そして、２×２＝４ブロック、すなわち２０行×２０列＝４００画素の領域がクラスタとなる。
【００９５】
図２２は、上記のクラスタを単位とした配置規則を説明するための図であり、第１の実施形態の図１０に対応する。図２２において、２０行×２０列＝４００画素で構成された一番左上のクラスタをＣＳＴ（ｕ、ｗ）＝ＣＳＴ（１、１）とする。そしてクラスタＣＳＴ（１、１）においては、各ブロックの左下寄りにあるＢ画素を、焦点検出用画素ＳＨＡ及びＳＨＢ、又はＳＶＣ及びＳＶＤで置き換える。
【００９６】
その右隣りのクラスタＣＳＴ（１、２）においては、ブロック内における焦点検出用画素の配置を、クラスタＣＳＴ（１、１）に対して上方向に２画素分シフトした位置に配置する。また、最初のクラスタＣＳＴ（１、１）の下に隣接したクラスタＣＳＴ（２、１）においては、ブロック内における焦点検出用画素の配置を、クラスタＣＳＴ（１、１）に対して右方向に２画素分シフトした位置に配置する。以上の規則を繰り返し適用すると、図２２に示した配置が得られ、図２２に示した範囲がクラスタの上位に位置するフィールドとなる。なお、図１０に示した第１の実施形態では、５×５＝２５クラスタが１フィールドであったが、第２の実施形態では４×４＝１６クラスタが１フィールドとなる。
【００９７】
図２３は、上記のフィールドを単位とした配置規則を説明するための図であり、第１の実施形態の図１１に対応する。図２３において、８０行×８０列＝６、４００画素で構成された一番左上のフィールドをＦＬＤ（ｑ、ｒ）＝ＦＬＤ（１、１）とする。そして第２の実施形態でも、すべてのフィールドＦＬＤ（ｑ、ｒ）は先頭フィールドＦＬＤ（１、１）と同様の配列となっている。そこで、ＦＬＤ（１、１）を水平方向に３７個、垂直方向に２５個配列すると、３０００列×２０００行＝６００万画素の撮像領域は９２５個のフィールドで構成される。ただし、右端の４０列は１フィールドが構成できなかった端数領域であり、この領域には焦点検出用画素が配置されないが、実質的に撮像領域全面に渡って焦点検出用画素を均一に分布させている。
【００９８】
次に図２４及び図２５を用いて、焦点検出時の画素のグループと信号加算方法について説明する。図１２は、撮影光学系によって形成された被写体像の、横ずれ方向の焦点検出を行なう場合の画素グループ化方法を説明する図であり、第１の実施形態の図１２に対応する。
【００９９】
図２４に示す画素配列は図２２で説明したものだが、焦点検出の際には、横方向に１ブロック、縦方向に８ブロックの合計８ブロックを１つのセクションとする。そして、第２の実施形態では、横方向に並んだ２４セクションで、１つの焦点検出領域を構成する。すなわち、８０行×２４０列＝１９、２００画素の領域が１つの焦点検出領域となる。この１つの焦点検出領域がＡＦエリアである。ここで、１つのセクション内においては、横方向における一方の瞳分割を行なう画素ＳＨＡが４個、他方の瞳分割を行なう画素ＳＨＢも４個含まれている。そこで第２の実施形態においては、４個のＳＨＡの出力を加算して、位相差演算用の一方の画像信号（Ａ像と称する）の１ＡＦ画素とする。同様に、４個のＳＨＢの出力を加算して、位相差演算用の他方の画像信号（Ｂ像と称する）の１ＡＦ画素とする。
【０１００】
図２５は、一つのセクションにおける、被写体像の捕捉能力を説明するための図であり、第１の実施形態の図１３に対応する。図２５（ａ）は図２４の左端のセクションを切り出したものである。下端に示された水平線ＰＲＪｈは、焦点検出用画素ＳＨＡ及びＳＨＢの瞳分割方向（第１の方向）と直交する第２の方向に延伸した第１の射影軸（Ｐｒｏｊｅｃｔｉｏｎ Ｌｉｎｅ）である。右端に示された垂直線ＰＲＪｖは、瞳分割方向に延伸した第２の射影軸である。ここで、１つのセクション内の画素ＳＨＡはすべて加算され、ＳＨＢも加算される。そこで、１セクションを１ＡＦ画素と見なした場合、１ＡＦ画素に含まれる受光部を瞳分割方向と直交する方向の射影軸ＰＲＪｈに射影すると、画素ＳＨＡとＳＨＢが交互に緻密に並ぶことがわかる。このときの、瞳分割方向と直交する方向の射影軸ＰＲＪｈにおける画素ＳＨＡの平均的な配列ピッチをＰ１とすると、Ｐ１＝ＰＨｈ＝２（単位は画素）となる。ピッチの代わりに空間周波数Ｆ１で表わすと、Ｆ１＝０．５（単位は画素／画素）となる。同様に射影軸ＰＲＪｈにおける画素ＳＨＢの配列ピッチもＰ１＝２（単位は画素）、空間周波数表記ではＦ１＝０．５（単位は画素／画素）となる。
【０１０１】
一方、１ＡＦ画素に含まれる受光部を瞳分割方向の射影軸ＰＲＪｖに射影すると、画素ＳＨＡとＳＨＢはまばらに並ぶことがわかる。このときの、射影軸ＰＲＪｖにおける画素ＳＨＡの配列ピッチをＰ２とすると、Ｐ２＝ＰＨｖ＝２０（単位は画素）となる。ピッチの代わりに空間周波数Ｆ２で表わすと、Ｆ２＝０．０５（単位は画素／画素）となる。同様に射影軸ＰＲＪｖにおける画素ＳＨＢの配列ピッチも、Ｐ２＝２０（単位は画素）、空間周波数表記ではＦ２＝０．０５（単位は画素／画素）となる。すなわち、第２の実施形態におけるＡＦ画素の被写体像のサンプリング特性は、第１の実施形態とほぼ等しいことが判る。
【０１０２】
図２５（ａ）で説明したＡＦ画素（一つのセクション）に、細線の被写体像が投影された場合の画像捕捉能力を図２５（ｂ）にて説明する。図２５（ｂ）において、ＬＩＮＥｖは、撮像素子１０７上に投影された細い縦線を表わし、その幅は画素換算で４画素、画像の実寸では幅８μｍになっている。この時、セクションＳＣＴｈ（１）内では、ブロックＢＬＫ（１、１）、ブロックＢＬＫ（３、１）及びブロックＢＬＫ（５、１）に含まれる焦点検出用画素が被写体像を捕捉する。すなわち第２の実施形態においても、１つのセクション内では、最低でも各１個ずつの画素ＳＨＡとＳＨＢで画像を捕捉することになり、捕捉洩れは生じない。
【０１０３】
一方、図２５（ｂ）のＬＩＮＥｈは、撮像素子１０７上に投影された幅４画素分の細い横線を表わす。この時には、横線ＬＩＮＥｈはブロックＢＬＫ（５、１）にかかっているが、焦点検出用画素ＳＨＡ及びＳＨＢには捕捉されない。しかしながら、セクションＳＣＴｈ（１）は、縦線のように横方向に輝度分布を有する被写体について焦点検出を行なうためのものである。従って、横線のように縦方向に輝度分布を有する被写体については、焦点検出用画素による像の捕捉洩れが生じても構わない。
【０１０４】
なお、第２の実施形態における縦ずれ方向の焦点検出における特性は、図２５を９０度回転したものと等価であるため、説明は省略する。また、焦点検出動作も図１７〜図２０で説明したフローを用いればよい。なお、上記の説明では焦点検出用画素をＢ画素に割り当てたが、Ｒ画素に割り当てても良い。また、１組の焦点検出画素の配置も実施形態の形態に限定されない。例えば図２１では横ずれ方向の２個１組の焦点検出用画素を、横方向に離間して配置したが、縦方向に離間配置しても構わない。
【０１０５】
以上の第２の実施形態によれば、焦点検出用画素を単一色の画素に割り当てたため、出力画像生成時の欠陥画素補間アルゴリズムが簡単になる。また、特定色における画像劣化や偽色が軽減される。
【０１０６】
（第３の実施形態）
第１の実施形態及び第２の実施形態で用いた焦点検出用画素は、２個で１組となり、２分割された瞳領域について、一方の画素が一方の瞳を通過する光束を受光し、他方の画素がもう一方の瞳を通過する光束を受光していた。これに対して以下に示す第３の実施形態は、２分割された瞳領域の光束を１つの画素で取得し、その信号を出力する撮像素子を用いた実施形態を示す。
【０１０７】
以下、図２６及び図２７を用いて第３の実施形態を説明する。
【０１０８】
図２６は第３の実施形態の焦点検出用画素配列を示す図であり、第１の実施形態の図９に対応する。図９に示した第１の実施形態では、ベイヤー配列を有した撮像用画素において、斜め方向に隣接するＲ画素とＢ画素の位置に、焦点検出用画素ＳＨＡ、ＳＨＢ、ＳＶＣ及びＳＶＤが割り当てられていた。これに対して図２６に示す第３の実施形態では、１０×１０＝１００画素の各ブロックにおいて、１個のＲ画素に焦点検出用画素が割り当てられる。具体的には、一番左上のブロックＢＬＫｈ（１、１）とその右下のブロックＢＬＫｈ（２、２）においては、左端列の最下端にある１個のＲ画素を水平方向に瞳分割を行なう１個の焦点検出用画素ＳＨＡＢで置き換える。ここで、焦点検出用画素ＳＨＡＢは、本出願人による特開２００３−１５６６７７号公報に開示された技術を用いればよい。すなわち当公報の図２に開示された撮像素子のように、オンチップマイクロレンズ後方の光電変換素子を多分割することで撮影光学系の瞳分割を行ない、分割された各瞳領域からの光束を独立して取得し、画像信号として出力する。そのため、１画素で位相差検出用の１組の信号が得られる。
【０１０９】
また残りのブロックＢＬＫｖ（１、２）とＢＬＫｖ（２、１）においては、左端列の最下端にある１個のＲ画素を、垂直方向に瞳分割を行なう１個の焦点検出用画素ＳＶＡＢで置き換える。
【０１１０】
この配置規則を一般化すると、第１の実施形態と同様に、ブロックＢＬＫ（ｉ、ｊ）において、ｉ＋ｊが偶数であれば水平瞳分割用の焦点検出画素を配置し、ｉ＋ｊが奇数であれば垂直瞳分割用の焦点検出画素を配置することになる。そして、２×２＝４ブロック、すなわち２０行×２０列＝４００画素の領域がクラスタとなる。
【０１１１】
図２７は、上記のクラスタを単位とし、クラスタが複数集合した配置規則を説明するための図であり、第１の実施形態の図１０に対応する。図２７に示した全領域が、クラスタの上位となる１フィールドを表わすが、フィールドにおける配置規則は第１の実施形態と同一である。
【０１１２】
また、第３の実施形態における、撮像領域全域におけるフィールド配置や、焦点検出特性、焦点検出フローは、第１の実施形態の図１１〜図２０に示したものと同一なため、説明は省略する。
【０１１３】
以上の第３の実施形態によれば、焦点検出用画素に割り当てる画素数の比率が減少するため、出力画像の劣化や偽色が一層軽減される。また、出力画像生成時の欠陥画素補間アルゴリズムも単純化される。
【０１１４】
（第４の実施形態）
第１の実施形態〜第３の実施形態は、横ずれ検出用画素と縦ずれ検出用画素が等しい配置密度で配置されていたが、以下に示す第４の実施形態は、一方の画素のみを配置した実施形態である。図２８〜図３０を用いて第４の実施形態の構成を説明する。
【０１１５】
図２８は第４の実施形態の焦点検出用画素配列を示す図であり、第１の実施形態の図１２に対応する。第４の実施形態においては、画素配列の最小単位であるブロックは、第１の実施形態と同様に１０行×１０列＝１００画素で構成される。ただし、第４の実施形態が有する焦点検出用画素は、図６に示した画素、すなわち撮影光学系の瞳を水平方向に分割する画素ＳＨＡ及びＳＨＢのみである。また、焦点検出のための１つのセクションは２×５＝１０ブロック、すなわち５０行×２０列＝１０００画素で構成される。そして各セクションにおいては、焦点検出用画素ペアは図示のようにＶ字状に配列される。ただし、各ブロックＢＬＫ（ｉ、ｊ）において、ｊが奇数のブロック群と偶数のブロック群では、焦点検出用画素ペアの上下方向の配置場所を異ならせている。
【０１１６】
図２９は、一つのセクションにおける、被写体像の捕捉能力を説明するための図であり、第１の実施形態の図１３に対応する。図２９（ａ）は図２８の左端のセクションを切り出したものである。そして下端に示された水平線ＰＲＪｈは、焦点検出用画素ＳＨＡ及びＳＨＢの瞳分割方向（第１の方向）と直交する第２の方向に延伸した第１の射影軸、右端に示された垂直線ＰＲＪｖは、瞳分割方向に延伸した第２の射影軸である。第４の実施形態においても、１つのセクション内の画素ＳＨＡの出力はすべて加算され、ＳＨＢの出力も加算される。そこで、１セクションを１ＡＦ画素と見なした場合、１ＡＦ画素に含まれる受光部を瞳分割方向と直交する方向の射影軸ＰＲＪｈに射影すると、画素ＳＨＡとＳＨＢが交互に緻密に並ぶことがわかる。このときの、瞳分割方向と直交する方向の射影軸ＰＲＪｈにおける画素ＳＨＡの配列ピッチをＰ１とすると、Ｐ１＝ＰＨｈ＝２（単位は画素）となる。ピッチの代わりに空間周波数Ｆ１で表わすと、Ｆ１＝０．５（単位は画素／画素）となる。同様に射影軸ＰＲＪｈにおける画素ＳＨＢの配列ピッチもＰ１＝２（単位は画素）、空間周波数表記ではＦ１＝０．５（単位は画素／画素）となる。
【０１１７】
一方、１つのＡＦ画素に含まれる受光部を瞳分割方向の射影軸ＰＲＪｖに射影すると、画素ＳＨＡとＳＨＢはまばら、かつ不等間隔に並ぶことがわかる。このときの、射影軸ＰＲＪｖにおける画素ＳＨＡの配列ピッチは２つの値となり、大きい方のピッチはＰＨｖ１＝６、小さい方のピッチはＰＨｖ２＝４、平均値はＰ２＝５（ともに単位は画素）となる。ピッチの代わりに平均空間周波数Ｆ２で表わすと、Ｆ２＝０．２（単位は画素／画素）となる。同様に射影軸ＰＲＪｖにおける画素ＳＨＢの平均配列ピッチも、Ｐ２＝５（単位は画素）、平均空間周波数表記ではＦ２＝０．２（単位は画素／画素）となる。
【０１１８】
すなわち、第４の実施形態におけるＡＦ画素は、上記グループ化前の分散特性は、瞳分割方向とこれに直交する方向の配置特性が異なるが、グループ化する際のグループ形状を長方形とすることで、所望のサンプリング特性を得ている。具体的には、１セクションの瞳分割方向と直交する方向の最大寸法Ｌ１は２０画素、瞳分割方向の最大寸法Ｌ２は５０画素としている。すなわち、セクション寸法をＬ１＜Ｌ２とすることで、瞳分割方向と直交する方向のサンプリング周波数Ｆ１を高周波（密）に、瞳分割方向のサンプリング周波数Ｆ２を低周波（疎）としている。
【０１１９】
図２９（ａ）で説明したＡＦ画素（一つのセクション）に、細線の被写体像が投影された場合の画像捕捉能力を図２９（ｂ）にて説明する。図２９（ｂ）において、ＬＩＮＥｖは、撮像素子１０７上に投影された細い縦線を表わし、その幅は画素換算で４画素、画像の実寸では幅８μｍになっている。この時、セクションＳＣＴｈ（１）内では、ブロックＢＬＫ（３、１）とブロックＢＬＫ（４、１）に含まれる焦点検出用画素が被写体像を捕捉する。
【０１２０】
また、図２９（ｂ）のＬＩＮＥＣは、縦線ＬＩＮＥｖ撮が反時計方向に１５度回転した傾斜縦線である。この傾斜縦線は、ブロックＢＬＫ（４、２）に含まれる焦点検出用画素により捕捉される。一方、第４の実施形態においては縦ずれ検出画素は備えていないので、横線については焦点検出不能である。
【０１２１】
図３０は撮像素子１０７の全領域における画素配置図であり、第１の実施形態の図１１に対応する。第４の実施形態においては、図２８で説明したセクションがフィールドにも対応するため、図３０のように、撮影領域は４０×１５０＝６０００個のフィールドで構成される。そして撮像領域全面に渡って、横ずれ方向の焦点検出が可能となっている。
【０１２２】
以上の第４の実施形態によれば、焦点検出用画素の配列規則が単純化されるため、この配列規則を記憶するメモリ領域が節約でき、機器を安価に製造できる。また、欠陥画素を補完するアルゴリズムも単純化され、画像処理速度が向上し、軽快な焦点調節を撮影が可能となる。
【０１２３】
以上説明した第１の実施形態〜第４の実施形態は、デジタルスチルカメラにおける実施形態を説明したが、本発明はこれに限定されない。本発明の撮像装置は、デジタルスチルカメラだけでなく、動画撮影を行なうカムコーダ（ムービーカメラ）、各種検査カメラ、監視カメラ、内視鏡カメラ、ロボット用カメラ等に適用されうる。また、以上説明した第１の実施形態〜第４の実施形態において、合成には、加算と平均化とが含まれるものとする。
【０１２４】
以上説明した第１の実施形態〜第４の実施形態に記載された構成要素の配置や数値等は例示的なものであり、本発明の範囲をそれらのみに限定する趣旨のものではない。
【産業上の利用可能性】
【０１２５】
本発明は、撮像素子を備えた電子カメラ等の撮像装置の焦点調節動作を提供するものであり、特にデジタルスチルカメラ、ムービーカメラに有用である。
【図面の簡単な説明】
【０１２６】
【図１】本発明の好適な実施形態に係る撮像装置の構成図である。
【図２】本発明の好適な実施形態に係る撮像素子の回路図である。
【図３】本発明の好適な実施形態に係る撮像素子の画素断面図である。
【図４】本発明の好適な実施形態に係る撮像素子の駆動タイミングチャートである。
【図５】本発明の好適な実施形態に係る撮像素子の撮像用画素の平面図と断面図である。
【図６】本発明の好適な実施形態に係る撮像素子の焦点検出用画素の平面図と断面図である。
【図７】本発明の好適な実施形態に係る撮像素子の他の焦点検出用画素の平面図と断面図である。
【図８】本発明の好適な実施形態に係る焦点検出を説明する概念図である。
【図９】本発明の好適な第１の実施形態に係る撮像素子の最小単位の画素配列説明図である。
【図１０】本発明の好適な第１の実施形態に係る撮像素子の上位単位の画素配列説明図である。
【図１１】本発明の好適な第１の実施形態に係る撮像素子の全領域における画素配列説明図である。
【図１２】本発明の好適な第１の実施形態に係る横ずれ焦点検出時の画素グループ化方法説明図である。
【図１３】本発明の好適な第１の実施形態に係る横ずれ焦点検出時の画像サンプリング特性説明図である。
【図１４】本発明の好適な第１の実施形態に係る縦ずれ焦点検出時の画素グループ化方法説明図である。
【図１５】本発明の好適な第１の実施形態に係る縦ずれ焦点検出時の画像サンプリング特性説明図である。
【図１６】本発明の好適な第１の実施形態に係る撮像素子の瞳分割状況を説明する概念図である。
【図１７】本発明の好適な第１の実施形態に係る焦点検出領域説明図である。
【図１８】本発明の好適な実施形態に係るメイン制御フロー図である。
【図１９】本発明の好適な実施形態に係る焦点検出サブルーチンフロー図である。
【図２０】本発明の好適な実施形態に係る撮影サブルーチンフロー図である。
【図２１】本発明の好適な第２の実施形態に係る撮像素子の最小単位の画素配列説明図である。
【図２２】本発明の好適な第２の実施形態に係る撮像素子の上位単位の画素配列説明図である。
【図２３】本発明の好適な第２の実施形態に係る撮像素子の全領域における画素配列説明図である。
【図２４】本発明の好適な第２の実施形態に係る横ずれ焦点検出時の画素グループ化方法説明図である。
【図２５】本発明の好適な第２の実施形態に係る横ずれ焦点検出時の画像サンプリング特性説明図である。
【図２６】本発明の好適な第３の実施形態に係る撮像素子の最小単位の画素配列説明図である。
【図２７】本発明の好適な第３の実施形態に係る撮像素子の上位単位の画素配列説明図である。
【図２８】本発明の好適な第４の実施形態に係る焦点検出時の画素グループ化方法説明図である。
【図２９】本発明の好適な第４の実施形態に係る焦点検出時の画像サンプリング特性説明図である。
【図３０】本発明の好適な第４の実施形態に係る撮像素子の全領域における画素配列説明図である。
【符号の説明】
【０１２７】
１０７ 撮像素子
９０１ 焦点検出部
９０１ａ 第１の焦点検出用画素
９０１ｂ 第２の焦点検出用画素
９０２ 合成手段
９０３ 連結手段
９０４ 演算手段
【特許請求の範囲】
【請求項１】
瞳分割された第１の焦点検出用画素と第２の焦点検出用画素とで構成される焦点検出部を複数有する撮像素子と、
複数の前記焦点検出部を含むように前記撮像素子にそれぞれ割り当てられた複数のセクションの各々において、前記第１の焦点検出用画素からの出力信号を合成して第１の合成信号を得る処理と、前記第２の焦点検出用画素からの出力信号を合成して第２の合成信号を得る処理とを行う合成手段と、
前記複数のセクションに渡って、前記第１の合成信号を連結して第１の連結信号を得る処理と、前記第２の合成信号を連結して第２の連結信号を得る処理とを行う連結手段と、
前記第１の連結信号及び前記第２の連結信号に基づいて、結像光学系の焦点ずれ量を演算する演算手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記撮像素子は、前記結像光学系で結像された被写体像を光電変換するための撮像用画素を複数有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
複数の前記焦点検出部のうち第１の焦点検出部は、前記第１の焦点検出用画素及び前記第２の焦点検出用画素が第１の方向に瞳分割され、かつ、前記複数のセクションのうち第１のセクションにおける前記第１の方向及び前記第１の方向に垂直な第２の方向において等間隔に配置され、
前記第１の焦点検出部の前記第１の方向における間隔は、前記第１の焦点検出部の前記第２の方向における間隔よりも小さいことを特徴する請求項１又は請求項２に記載の撮像装置。
【請求項４】
前記第１のセクションの前記第１の方向における最大寸法は、前記第１のセクションの前記第２の方向における最大寸法よりも小さいことを特徴とする請求項３に記載の撮像装置。
【請求項５】
複数の前記焦点検出部のうち第２の焦点検出部は、前記第１の焦点検出用画素及び前記第２の焦点検出用画素が前記第２の方向に瞳分割され、かつ、前記複数のセクションのうち第２のセクションにおける前記第１の方向及び前記第２の方向において等間隔に配置され、
前記第２の焦点検出部の前記第２の方向における間隔は、前記第２の焦点検出部の前記第１の方向における間隔よりも小さいことを特徴する請求項３又は請求項４に記載の撮像装置。
【請求項６】
前記第２のセクションの前記第２の方向における最大寸法は、前記第２のセクションの前記第１の方向における最大寸法よりも小さいことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記第１のセクションは、複数の正方形領域により構成され、
前記第１の焦点検出部は、前記複数の正方形領域の各々に１つずつ配置されていることを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
【請求項８】
前記第２のセクションは、複数の正方形領域により構成され、
前記第２の焦点検出部は、前記複数の正方形領域の各々に１つずつ配置されていることを特徴とする請求項５又は請求項６に記載の撮像装置。
【請求項９】
請求項７に記載の第１の焦点検出部が配置された正方形領域と、請求項８に記載の第２の焦点検出部が配置された正方形領域とが、前記第１の方向及び前記第２の方向において交互に配置されていることを特徴とする撮像装置。
【請求項１０】
前記第１の焦点検出部の配置密度と前記第２の焦点検出部の配置密度とが等しいことを特徴とする請求項９に記載の撮像装置。
【請求項１１】
瞳分割された第１の焦点検出用画素と第２の焦点検出用画素とで構成される焦点検出部を複数有する撮像素子を備えた撮像装置の制御方法であって、
前記撮像素子に前記焦点検出部を複数含むセクションを複数割り当てる工程と、
前記複数のセクションの各々において、前記第１の焦点検出用画素からの出力信号を合成して第１の合成信号を得る工程と、
前記複数のセクションの各々において、前記第２の焦点検出用画素からの出力信号を合成して第２の合成信号を得る工程と、
前記複数のセクションに渡って、前記第１の合成信号を連結して第１の連結信号を得る工程と、
前記複数のセクションに渡って、前記第２の合成信号を連結して第２の連結信号を得る工程と、
前記第１の連結信号及び前記第２の連結信号に基づいて、結像光学系の焦点ずれ量を演算する工程と、
を含むことを特徴とする。
【請求項１】
瞳分割された第１の焦点検出用画素と第２の焦点検出用画素とで構成される焦点検出部を複数有する撮像素子と、
複数の前記焦点検出部を含むように前記撮像素子にそれぞれ割り当てられた複数のセクションの各々において、前記第１の焦点検出用画素からの出力信号を合成して第１の合成信号を得る処理と、前記第２の焦点検出用画素からの出力信号を合成して第２の合成信号を得る処理とを行う合成手段と、
前記複数のセクションに渡って、前記第１の合成信号を連結して第１の連結信号を得る処理と、前記第２の合成信号を連結して第２の連結信号を得る処理とを行う連結手段と、
前記第１の連結信号及び前記第２の連結信号に基づいて、結像光学系の焦点ずれ量を演算する演算手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記撮像素子は、前記結像光学系で結像された被写体像を光電変換するための撮像用画素を複数有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
複数の前記焦点検出部のうち第１の焦点検出部は、前記第１の焦点検出用画素及び前記第２の焦点検出用画素が第１の方向に瞳分割され、かつ、前記複数のセクションのうち第１のセクションにおける前記第１の方向及び前記第１の方向に垂直な第２の方向において等間隔に配置され、
前記第１の焦点検出部の前記第１の方向における間隔は、前記第１の焦点検出部の前記第２の方向における間隔よりも小さいことを特徴する請求項１又は請求項２に記載の撮像装置。
【請求項４】
前記第１のセクションの前記第１の方向における最大寸法は、前記第１のセクションの前記第２の方向における最大寸法よりも小さいことを特徴とする請求項３に記載の撮像装置。
【請求項５】
複数の前記焦点検出部のうち第２の焦点検出部は、前記第１の焦点検出用画素及び前記第２の焦点検出用画素が前記第２の方向に瞳分割され、かつ、前記複数のセクションのうち第２のセクションにおける前記第１の方向及び前記第２の方向において等間隔に配置され、
前記第２の焦点検出部の前記第２の方向における間隔は、前記第２の焦点検出部の前記第１の方向における間隔よりも小さいことを特徴する請求項３又は請求項４に記載の撮像装置。
【請求項６】
前記第２のセクションの前記第２の方向における最大寸法は、前記第２のセクションの前記第１の方向における最大寸法よりも小さいことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記第１のセクションは、複数の正方形領域により構成され、
前記第１の焦点検出部は、前記複数の正方形領域の各々に１つずつ配置されていることを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
【請求項８】
前記第２のセクションは、複数の正方形領域により構成され、
前記第２の焦点検出部は、前記複数の正方形領域の各々に１つずつ配置されていることを特徴とする請求項５又は請求項６に記載の撮像装置。
【請求項９】
請求項７に記載の第１の焦点検出部が配置された正方形領域と、請求項８に記載の第２の焦点検出部が配置された正方形領域とが、前記第１の方向及び前記第２の方向において交互に配置されていることを特徴とする撮像装置。
【請求項１０】
前記第１の焦点検出部の配置密度と前記第２の焦点検出部の配置密度とが等しいことを特徴とする請求項９に記載の撮像装置。
【請求項１１】
瞳分割された第１の焦点検出用画素と第２の焦点検出用画素とで構成される焦点検出部を複数有する撮像素子を備えた撮像装置の制御方法であって、
前記撮像素子に前記焦点検出部を複数含むセクションを複数割り当てる工程と、
前記複数のセクションの各々において、前記第１の焦点検出用画素からの出力信号を合成して第１の合成信号を得る工程と、
前記複数のセクションの各々において、前記第２の焦点検出用画素からの出力信号を合成して第２の合成信号を得る工程と、
前記複数のセクションに渡って、前記第１の合成信号を連結して第１の連結信号を得る工程と、
前記複数のセクションに渡って、前記第２の合成信号を連結して第２の連結信号を得る工程と、
前記第１の連結信号及び前記第２の連結信号に基づいて、結像光学系の焦点ずれ量を演算する工程と、
を含むことを特徴とする。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【公開番号】特開２００９−３１２２（Ｐ２００９−３１２２Ａ）
【公開日】平成２１年１月８日（２００９．１．８）
【国際特許分類】
【出願番号】特願２００７−１６３０１９（Ｐ２００７−１６３０１９）
【出願日】平成１９年６月２０日（２００７．６．２０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２１年１月８日（２００９．１．８）
【国際特許分類】
【出願日】平成１９年６月２０日（２００７．６．２０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]