説明

焦点検出装置

【課題】撮像手段の所定の単位領域内の任意の位置において、2方向の位相差検出が可能となり、1方向のみにコントラスト情報を有する被写体に対しても焦点検出可能とすること。
【解決手段】焦点検出装置は、被写体像を形成する結像光学系101と、前記被写体像を光電変換する撮像手段107と、撮像手段107の画素信号から結像光学系101の焦点状態を検出する焦点検出手段と、を備える。前記焦点検出手段は、結像光学系101の射出瞳を第1の方向に瞳分割した光束を受光するための第1の焦点検出用画素SHA、SHBと、前記第1の方向とは異なる第2の方向に瞳分割した光束を受光するための第2の焦点検出用画素SVC及びSVDと、を有し、前記第1、第2の焦点検出用画素は、撮像手段107の所定の単位領域内に設定された第1の格子線LTH群とこれに交差する第2の格子線LTV群とで構成された2次元格子の格子点近傍に、それぞれ周期的に配置されている

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、2次元に構成された多数の光電変換素子で静止画及び動画の少なくとも一方を撮像可能な撮像素子及び当該撮像素子を用いた撮像装置における焦点状態の検出方法に関する。
【背景技術】
【0002】
撮像装置の自動焦点検出・調節方法で撮影光学系を通過した光束を用いる一般的な方式として、コントラスト検出方式(ぼけ方式と呼ばれる)と位相差検出方式(ずれ方式と呼ばれる)とがある。
【0003】
コントラスト検出方式は動画撮影用ビデオムービー機器(カムコーダー)や電子スチルカメラで多く用いられる方式で、撮像素子が焦点検出用センサとして用いられるものである。撮像素子の出力信号、特に高周波成分の情報(コントラスト情報)に着目し、その評価値が最も大きくなる撮影光学系の位置を合焦位置とする方式である。しかし山登り方式とも言われるように、撮影光学系を微少量動かしながら評価値を求め、その評価値が結果的に最大であったとわかるまで動かす事が必要であるため、高速な焦点調節動作には不向きとされている。
【0004】
もう一方の位相差検出方式は、銀塩フィルムによる一眼レフカメラに多く用いられ、自動焦点検出(Auto Focus:AF)一眼レフカメラの実用化に最も貢献した技術である。位相差検出方式では、撮影光学系の射出瞳を通過した光束を2分割し、2分割した光束を一組の焦点検出用センサによりそれぞれ受光する。そして、その受光量に応じて出力される信号のずれ量、すなわち、光束の分割方向の相対的位置ずれ量を検出することで撮影光学系のピント方向のずれ量を直接求める。従って、焦点検出用センサにより一度蓄積動作を行なえばピントずれの量と方向が得られ、高速な焦点調節動作が可能となっている。但し、撮影光学系の射出瞳を通過した光束を2分割し、それぞれの光束に対応する信号を得るためには、撮像光路中にクイックリターンミラーやハーフミラー等の光路分割手段を設け、その先に焦点検出用光学系とAFセンサを設けるのが一般的である。そのため、装置が大型、かつ高価となる欠点がある。
【0005】
この欠点を解消するために、撮像素子に位相差検出機能を付与し、専用のAFセンサを不要とし、かつ高速の位相差AFを実現するための技術も開示されている。
【0006】
例えば、特許文献1では、撮像素子の一部の受光素子(画素)において、オンチップマイクロレンズの光軸に対して受光部の感度領域を偏心させることで瞳分割機能を付与している。そしてこれらの画素を焦点検出用画素とし、撮像用画素群の間に所定の間隔で配置することで、位相差式焦点検出を行なう。また、焦点検出用画素が配置された箇所は撮像画素の欠損部に相当するため、周辺の撮像画素情報から補間して画像情報を生成している。
【0007】
また、特許文献2では、撮像素子の一部の画素の受光部を左右方向もしくは上下方向に2分割することで瞳分割機能を付与している。そしてこれらの画素を焦点検出用画素とし、撮像用画素群の間に所定の間隔で配置することで、位相差式焦点検出を行なう。また、当技術においても焦点検出用画素が配置された箇所は撮像画素が欠損しているため、周辺の撮像画素情報から補間して画像情報を生成している。
【0008】
また、特許文献3では、撮像素子の一部の画素の受光部を上下方向に2分割することで瞳分割機能を付与し、2分割された受光部の出力を個別に処理する。これによって、上下方向に輝度分布を有した被写体に対して位相差式焦点検出を行なう。また、2分割受光部の出力を合算することで撮像信号にも用いるほか、左右方向に隣接した画素間のコントラストを検出することで、該方向に輝度分布を有する被写体に対してコントラスト式焦点検出を行なう。
【0009】
また、特許文献4では、受光部を左右方向もしくは上下方向に分割した焦点検出用素子を、撮像素子の1行おきに繰り返し配置する。これによって、左右方向及び上下方向に輝度分布を有した被写体に対して位相差式焦点検出を行なう。
【特許文献1】特開2000−156823号公報
【特許文献2】特開2000−292686号公報
【特許文献3】特開2001−305415号公報
【特許文献4】特開2003−153291号公報
【特許文献5】特開平09−046596号報公報
【特許文献6】特開2003−156677号公報
【発明の開示】
【発明が解決しようとする課題】
【0010】
ここで、撮像素子を用いて位相差検出方式のAFを行なう際に注意すべき項目を以下に列挙する。まず、AF性能については以下の特性を満足することが望まれる。
【0011】
(a)被写体の輝度分布がどのような方向であっても焦点検出可能である。換言すれば、縦線、横線、斜め線のいずれにも焦点検出が可能である。
【0012】
(b)焦点検出用画像のサンプリング誤差が少なく、焦点検出精度が被写体の空間周波数や位相に依存しない。
【0013】
(c)任意の領域で焦点検出が可能である。
【0014】
(d)低輝度被写体であっても、焦点検出用画像信号のS/N比が高く、焦点検出精度が低下しない。
【0015】
(e)焦点検出用画素の配置座標に規則性があり、焦点検出用画素の信号処理や焦点検出演算のアルゴリズムが簡単である。
【0016】
また、出力用画像を生成する際には、焦点検出用画素は特異画素もしくは欠損画素に相当する。従って、出力画像の劣化を防止するためには、以下の特性を満足することが望まれる。
【0017】
(i)撮像素子の総画素数に対する焦点検出用画素の割合が少ない。
【0018】
(ii)焦点検出用画素の分布に偏りがない。
【0019】
(iii)焦点検出用画素の配置座標に規則性があり、欠損画素の補間アルゴリズムが簡単である。
【0020】
そして、焦点検出精度の向上と出力画像の劣化防止は、一般的に相反する関係にあるため、上に列挙したすべての項目をバランスよく満足するためには高度の技術を要する。しかしながら前述の公知技術には、以下のような欠点があった。
【0021】
特許文献1において開示された技術では、瞳分割方向が一方向に瞳分割する焦点検出用画素が局所的に緻密に配置されているため、上記(a)(c)(ii)の特性が満足できない。
【0022】
特許文献2において開示された技術では、左右方向もしくは上下方向に瞳分割する焦点検出用画素が、特定の焦点検出領域に緻密に配置されているため、上記(c)(ii)の特性が満足できない。
【0023】
特許文献3において開示された技術では、位相差式焦点検出用画素が緻密に配置されているため、上記(i)の特性が満足できない。また、一方向の焦点検出はコンロラスト検出方式のため、該方向のみに輝度分布を有する被写体に対しては焦点検出能力が低下し、上記(a)の条件も充分には満足していない。
【0024】
特許文献4において開示された技術では、焦点検出用画素が1行おきに配置されているため、その配置密度はかなり高く、上記(i)の特性が満足できない。従って、高品位画像を得ることが困難である。
【0025】
本発明は、上記の問題点に鑑みてなされたものであり、撮像手段の所定の単位領域内の任意の位置において、2方向の位相差検出が可能となり、1方向のみにコントラスト情報を有する被写体に対しても焦点検出可能とすることを目的とする。
【課題を解決するための手段】
【0026】
本発明は、被写体像を形成する結像光学系と、前記被写体像を光電変換する撮像手段と、前記撮像手段の画素信号から結像光学系の焦点状態を検出する焦点検出手段と、を備えた焦点検出装置に係り、前記焦点検出手段は、前記結像光学系の射出瞳を第1の方向に瞳分割した光束を受光するための第1の焦点検出用画素と、前記第1の方向とは異なる第2の方向に瞳分割した光束を受光するための第2の焦点検出用画素と、を有し、前記第1、第2の焦点検出用画素は、前記撮像手段の所定の単位領域内に設定された第1の格子線群とこれに交差する第2の格子線群とで構成された2次元格子の格子点近傍に、それぞれ周期的に配置されていることを特徴とする焦点検出装置。
【発明の効果】
【0027】
本発明によれば、撮像手段の所定の単位領域内の任意の位置において、2方向の位相差検出が可能となり、1方向のみにコントラスト情報を有する被写体に対しても焦点検出可能となる。
【発明を実施するための最良の形態】
【0028】
以下の実施形態に示される通りである。
(第1の実施形態)
図1〜図22は、本発明の好適な第1の実施形態に係る図である。以下、図を参照して第1の実施形態について説明する。
【0029】
図1は本発明の好適な実施形態に係るカメラの構成図で、撮像手段としての撮像素子を有したカメラ本体と撮影光学系が一体となった電子カメラを示している。同図において、101は撮影光学系(結像光学系)の先端に配置された第1レンズ群で、光軸方向に進退可能に保持される。102は絞り兼用シャッタで、その開口径を調節することで撮影時の光量調節を行なうほか、静止画撮影時には露光秒時調節用シャッタとしての機能も備える。103は第2レンズ群である。そして前記絞り兼用シャッタ102及び第2レンズ群103は一体となって光軸方向に進退し、前記第1レンズ群101の進退動作との連動により、変倍作用(ズーム機能)をなす。
【0030】
105は第3レンズ群で、光軸方向の進退により、焦点調節を行なう。106は光学的ローパスフィルタで、撮影画像の偽色やモアレを軽減するための光学素子である。107はC−MOSセンサとその周辺回路で構成された撮像素子である。該撮像素子は、横方向m画素、縦方向n画素の受光ピクセル上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、2次元単板カラーセンサが用いられる。
【0031】
111はズームアクチュエータで、不図示のカム筒を回動することで、第1レンズ群111〜第3レンズ群103を光軸方向に進退駆動し、変倍操作を行なう。112は絞りシャッタアクチュエータで、絞り兼用シャッタ102の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行なう。114はフォーカスアクチュエータで、第3レンズ群105を光軸方向に進退駆動して焦点調節を行なう。
【0032】
115は撮影時の被写体照明用電子フラッシュで、キセノン管を用いた閃光照明装置が好適だが、連続発光するLEDを備えた照明装置を用いても良い。116はAF補助光手段で、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体あるいは低コントラスト被写体に対する焦点検出能力を向上させる。
【0033】
121は、カメラ本体の種々の制御を司るカメラ内CPUで、演算部、ROM、RAM、A/Dコンバータ、D/Aコンバータ、通信インターフェイス回路等を有する。CPU121はまた、ROMに記憶された所定のプログラムに基づいて、カメラが有する各種回路を駆動し、AF、撮影、画像処理と記録等の一連の動作を実行する。
【0034】
122は電子フラッシュ制御回路で、撮影動作に同期して照明手段115を点灯制御する。123は補助光駆動回路で、結像光学系の焦点状態を検出する焦点検出動作に同期してAF補助光手段116を点灯制御する。124は撮像素子駆動回路で、撮像素子107の撮像動作を制御するとともに、取得した画像信号をA/D変換してCPU121に送信する。125は画像処理回路で、撮像素子107が取得した画像のγ変換、カラー補間、JPEG圧縮等の処理を行なう。
【0035】
126はフォーカス駆動回路で、焦点検出結果に基づいてフォーカスアクチュエータ114を駆動制御し、第3レンズ群105を光軸方向に進退駆動して焦点調節を行なう。128は絞りシャッタ駆動回路で、絞りシャッタアクチュエータ112を駆動制御して絞り兼用シャッタ102の開口を制御する。129はズーム駆動回路で、撮影者のズーム操作に応じてズームアクチュエータ111を駆動する。
【0036】
131はLCD等の表示器で、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。132は操作スイッチ群で、電源スイッチ、レリーズ(撮影トリガ)スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。133は着脱可能なフラッシュメモリで、撮影済み画像を記録する。
【0037】
図2は本発明の好適な実施形態に係る撮像素子の概略的回路構成図を示したもので、本発明人による特許文献5等に開示された技術を用いて製造される。同図は2次元C−MOSエリアセンサの2列×4行画素の範囲を示したものであるが、撮像素子として利用する場合は、当図に示した画素を多数配置し、高解像度画像の取得を可能としている。本実施形態においては、画素ピッチが2μm、有効画素数が横3000列×縦2000行=600万画素、撮像画面サイズが横6mm×縦4mmのデジタルスチルカメラ用撮像素子として説明を行なう。
【0038】
図2において、1はMOSトランジスタゲートとゲート下の空乏層からなる光電変換素子の光電変換部、2はフォトゲート、3は転送スイッチMOSトランジスタである。また、4はリセット用MOSトランジスタ、5はソースフォロワアンプMOSトランジスタ、6は水平選択スイッチMOSトランジスタ、7はソースフォロワの負荷MOSトランジスタである。また、8は暗出力転送MOSトランジスタ、9は明出力転送MOSトランジスタ、10は暗出力蓄積容量CTN、11は明出力蓄積容量CTS、12は水平転送MOSトランジスタである。また、13は水平出力線リセットMOSトランジスタ、14は差動出力アンプ、15は水平走査回路、16は垂直走査回路である。
【0039】
図3に画素部の断面図を示す。同図において、17はP型ウェル、18はゲート酸化膜、19は一層目ポリSi、20は二層目ポリSi、21はn+ フローティングディフュージョン部(FD)である。21のFDは別の転送MOSトランジスタを介して別の光電変換部と接続される。同図において、2つの転送MOSトランジスタ3のドレインとFD部21を共通化して微細化とFD部21の容量低減による感度向上を図っているが、Al配線でFD部21を接続しても良い。
【0040】
次に、図4のタイミングチャートを用いて撮像素子の動作を説明する。このタイミングチャートは全画素独立出力の場合である。
【0041】
まず垂直走査回路16からのタイミング出力によって、制御パルスφLをハイとして垂直出力線をリセットする。また制御パルスφR0,φPG00,φPGe0をハイとし、リセット用MOSトランジスタ4をオンとし、フォトゲート2の一層目ポリSi19をハイとしておく。時刻T0において、制御パルスφS0をハイとし、選択スイッチMOSトランジスタ6をオンさせ、第1、第2ラインの画素部を選択する。次に制御パルスφR0をロウとし、FD部21のリセットを止め、FD部21をフローティング状態とする。そして、ソースフォロワアンプMOSトランジスタ5のゲート・ソース間をスルーとした後、時刻T1において制御パルスφTNをハイとし、FD部21の暗電圧をソースフォロワ動作で蓄積容量CTN10に出力させる。
【0042】
次に、第1ラインの画素の光電変換出力を行うため、第1ラインの制御パルスφTX00をハイとして転送スイッチMOSトランジスタ3を導通した後、時刻T2 において制御パルスφPG00をローとして下げる。この時フォトゲート2の下に拡がっていたポテンシャル井戸を上げて、光発生キャリアをFD部21に完全転送させるような電圧関係が好ましい。従って完全転送が可能であれば制御パルスφTXはパルスではなくある固定電位でもかまわない。
【0043】
時刻T2でフォトダイオードの光電変換部1からの電荷がFD部21に転送されることにより、FD部21の電位が光に応じて変化することになる。この時ソースフォロワアンプMOSトランジスタ5がフローティング状態であるので、FD部21の電位を時刻T3 において制御パルスφTsをハイとして蓄積容量CTS11に出力する。この時点で第1ラインの画素の暗出力と光出力はそれぞれ蓄積容量CTN10とCTS11に蓄積されている。時刻T4の制御パルスφHCを一時ハイとして水平出力線リセットMOSトランジスタ13を導通して水平出力線をリセットし、水平転送期間において水平走査回路15の走査タイミング信号により水平出力線に画素の暗出力と光出力を出力される。この時、蓄積容量CTN10とCTS11の差動増幅器14によって、差動出力VOUTを取れば、画素のランダムノイズ、固定パターンノイズを除去したS/Nの良い信号が得られる。また画素30−12、30−22の光電荷は画素30−11、30−21と同時に夫々の蓄積容量CTN10とCTS11に蓄積される。しかしながら、、その読み出しは水平走査回路15からのタイミングパルスを1画素分遅らして水平出力線に読み出して差動増幅器14から出力される。
【0044】
本実施形態では、差動出力VOUTをチップ内で行う構成を示しているが、チップ内に含めず、外部で従来のCDS(Correlated Double Sampling:相関二重サンプリング)回路を用いても同様の効果が得られる。
【0045】
蓄積容量CTS11に明出力を出力した後、制御パルスφR0をハイとしてリセット用MOSトランジスタ4を導通しFD部21を電源VDDにリセットする。第1ラインの水平転送が終了した後、第2ラインの読み出しを行う。第2ラインの読み出しは、制御パルスφTXe0、制御パルスφPGe0を同様に駆動させ、制御パルスφTN、φTSに夫々ハイパルスを供給して、蓄積容量CTN10とCTS11に夫々光電荷を蓄積し、暗出力及び明出力を取り出す。以上の駆動により、第1、第2ラインの読み出しが夫々独立に行なえる。この後、垂直走査回路を走査させ、同様に第2n+1、第2n+2(n=1、2、…)の読み出しを行なえば全画素独立出力が行える。即ち、n=1の場合は、まず制御パルスφS1をハイとし、次に次にφR1をローとする。続いて制御パルスφTN、φTX01をハイとし、制御パルスφPG01をロー、制御パルスφTSをハイ、制御パルスφHCを一時ハイとして画素30−31、30−32の画素信号を読み出す。続いて、制御パルスφTXe1、φPGe1及び上記と同様に制御パルスを印加して、画素30−41、30−42の画素信号を読み出す。
【0046】
図5〜図7は、撮像用画素と焦点検出手段としての焦点検出用画素の構造を説明する図である。第1の実施形態においては、2行×2列の4画素のうち、対角2画素にG(緑色)の分光感度を有する画素を配置し、他の2画素にR(赤色)とB(青色)の分光感度を有する画素を各1個配置した、ベイヤー配列が採用されている。そして、該ベイヤー配列の間に、後述する構造の焦点検出用画素が所定の規則にて分散配置される。
【0047】
図5に撮像用画素の配置と構造を示す。同図(a)は2行×2列の撮像用画素の平面図である。周知のごとく、ベイヤー配列では対角方向にG画素が、他の2画素にRとBの画素が配置される。そして該2行×2列の構造が繰り返し配置される。
【0048】
同図(a)における断面A−Aを同図(b)に示す。MLは各画素の最前面に配置されたオンチップマイクロレンズ、CFはR(Red)のカラーフィルタ、CFはG(Green)のカラーフィルタである。PD(Photo Diode)は図3で説明したC−MOSセンサの光電変換部を模式的に示したもの、CL(Contact Layer)はC−MOSセンサ内の各種信号を伝達する信号線を形成するための配線層である。TLは撮影光学系を模式的に示したものである。
【0049】
ここで、撮像用画素のオンチップマイクロレンズMLと光電変換部PDは、撮影光学系TL(Taking Lens)を通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影光学系TLの射出瞳EP(Exit Pupil)と光電変換部PDは、マイクロレンズMLにより共役関係にあり、かつ光電変換部の有効面積は大面積に設計される。また、同図(b)ではR画素の入射光束について説明したが、G画素及びB(Blue)画素も同一の構造となっている。従って、撮像用のRGB各画素に対応した射出瞳EPは大径となり、被写体からの光束(光量子)を効率よく取り込んで画像信号のS/Nを向上させている。
【0050】
図6は、撮影光学系の水平方向(横方向)に瞳分割を行なうための焦点検出用画素(第1の焦点検出用画素)の配置と構造を示す。ここで水平方向あるいは横方向の定義は、撮影光学系の光軸が水平となるようにカメラを構えたとき、該光軸に直交し、かつ水平方向に伸びる直線に沿った方向を指す。同図(a)は、焦点検出用画素を含む2行×2列の画素の平面図である。記録もしくは観賞のための画像信号を得る場合、G画素で輝度情報の主成分を取得する。そして人間の画像認識特性は輝度情報に敏感であるため、G画素が欠損すると画質劣化が認知されやすい。一方でRもしくはB画素は、色情報(色差情報)を取得する画素であるが、人間の視覚特性は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化は認識され難い。そこで本実施形態においては、2行×2列の画素のうち、G画素は撮像用画素として残し、RとBの画素を焦点検出用画素に置き換える。これを同図(a)においてSHA及びSHBで示す。
【0051】
同図(a)における断面A−Aを同図(b)に示す。マイクロレンズMLと、光電変換部PDは図5(b)に示した撮像用画素と同一構造である。本実施形態においては、焦点検出用画素の信号は画像生成には用いないため、色分離用カラーフィルタの代わりに透明膜CF(White)が配置される。また、撮像素子で瞳分割を行なうため、配線層CLの開口部はマイクロレンズMLの中心線に対して一方向に偏倚している。具体的には、画素SHA及の開口部OPHAは右側に偏倚しているため、撮影光学系TLの左側の射出瞳EPHAを通過した光束を受光する。同様に、画素SHBの開口部OPHBは左側に偏倚しているため、撮影光学系TLの右側の射出瞳EPHBを通過した光束を受光する。よって、画素SHAを水平方向に規則的に配列し、これらの画素群で取得した被写体像をA像とする。また、画素SHも水平方向に規則的に配列し、これらの画素群で取得した被写体像をB像とすると、A像とB像の相対位置を検出することで、被写体像のピントずれ量(デフォーカス量)が検出できる。
【0052】
なお、上記画素SHA及びSHBでは、撮影画面の横方向に輝度分布を有した被写体、例えば縦線に対しては焦点検出可能だが、縦方向に輝度分布を有する横線は焦点検出不能である。そこで本実施形態では、後者についても焦点検出できるよう、撮影光学系の垂直方向(縦方向)にも瞳分割を行なう画素も備えている。
【0053】
図7は、撮影光学系の垂直方向(換言すると上下方向もしくは縦方向)に瞳分割を行なうための焦点検出用画素(第2の焦点検出用画素)の配置と構造を示す。ここで垂直方向あるいは上下あるいは縦横方向の定義は、撮影光学系の光軸が水平となるようにカメラを構えたとき、該光軸に直交し、鉛直方向に伸びる直線に沿った方向を指す。同図(a)は、焦点検出用画素を含む2行×2列の画素の平面図で、図6(a)と同様に、G画素は撮像用画素として残し、RとBの画素を焦点検出用画素としている。これを同図(a)においてSVC及びSVDで示す。
【0054】
同図(a)の断面A−Aを同図(b)に示すが、図6(b)の画素が横方向に瞳分離する構造であるのに対して、図7(b)の画素は瞳分離方向が縦方向になっているだけで、画素の構造としては変わらない。すなわち、画素SVCの開口部OPVCは下側に偏倚しているため、撮影光学系TLの上側の射出瞳EPVCを通過した光束を受光する。同様に、画素SVDの開口部OPVDは上側に偏倚しているため、撮影光学系TLの下側の射出瞳EPVDを通過した光束を受光する。よって、画素SVCを垂直方向規則的に配列し、これらの画素群で取得した被写体像をC像とする。また、画素SVDも垂直方向規則的に配列し、これらの画素群で取得した被写体像をD像とすると、C像とD像の相対位置を検出することで、垂直方向に輝度分布を有する被写体像のピントずれ量(デフォーカス量)が検出できる。
【0055】
図8〜図10は、上記図5〜図7で説明した撮像用画素と焦点検出用画素の配置規則を説明する図である。
【0056】
図8は撮像用画素の間に焦点検出用画素を離散的に配置する場合の、最小単位の配置規則を説明するための図である。同図において、10行×10列=100画素をひとつのブロックと定義する。そして一番左上のブロックBLK(1、1)において、一番左下のR画素とB画素を、水平方向に瞳分割を行なう1組の焦点検出用画素SHA及びSHBで置き換える。
【0057】
その右隣りのブロックBLK(1、2)においては、同じく一番左下のR画素とB画素を、垂直方向に瞳分割を行なう1組の焦点検出用画素SVC及びSVDで置き換える。また、最初のブロックBLK(1、1)の下に隣接したブロックBLK(2、1)の画素配列は、ブロックBLK(1、2)と同一とする。そして、その右隣りのブロックBLK(2、2)画素配列は、先頭のブロックBLK(1、1)と同一とする。
【0058】
この配置規則を普遍的に表現すると、ブロックBLK(i、j)において、i+jが偶数なら水平瞳分割用の焦点検出画素を配置し、i+jが奇数なら垂直瞳分割用の焦点検出画素を配置することになる。そして、図8の2×2=4ブロック、すなわち20行×20列=400画素の領域を、ブロックの上位の配列単位として、クラスタと定義する。
【0059】
このように、水平瞳分割用の焦点検出画素と垂直瞳分割用の焦点検出画素とが交互に配置されることによって、2方向の位相差検出特性を揃えることができる。
【0060】
図9は、前記クラスタを単位とした配置規則を説明するための図である。同図において、20行×20列=400画素で構成された一番左上のクラスタをCST(u、w)=CST(1、1)とする。そして該クラスタCST(1、1)においては、各ブロックの一番左下のR画素とB画素を、焦点検出用画素SHA及びSHB、もしくはSVC及びSVDで置き換える。
【0061】
その右隣りのクラスタCST(1、2)においては、ブロック内における焦点検出用画素の配置を、クラスタCST(1、1)に対して上方向に2画素分シフトした位置に配置する。また、最初のクラスタCST(1、1)の下に隣接したクラスタCST(2、1)においては、ブロック内における焦点検出用画素の配置を、クラスタCST(1、1)に対して右方向に2画素分シフトした位置に配置する。以上の規則を繰り返し適用すると図9に示した配置が得られる。
【0062】
この配置規則を普遍的に表現すると以下のようになる。なお、焦点検出用画素の座標は、図6もしくは図7で示したG画素を含む4画素を一つの単位(ペア)とし、そのうちの左上の画素の座標で規定する。また各ブロック内の座標は左上を(1、1)とし、下方向と右方向を正とする。
【0063】
以上の定義を適用すると、クラスタCST(u、w)において、各ブロック内の焦点検出用画素ペアの水平座標は2×u−1となり、垂直座標は11−2×wとなる。そして、図9の5×5=25クラスタ、すなわち100行×100列=1万画素の領域を、クラスタの上位の配列単位として、フィールドと定義する。
【0064】
図10は、前記フィールドを単位とした配置規則を説明するための図である。同図において、100行×100列=1万画素で構成された一番左上のフィールドをFLD(q、r)=FLD(1、1)とする。そして本実施形態では、すべてのフィールドFLD(q、r)は先頭フィールドFLD(1、1)と同様の配列となっている。そこで、FLD(1、1)を水平方向に30個、垂直方向に20個配列すると、3000列×2000行=600万画素の撮像領域は600個のフィールドで構成される。以上の構成により、撮像領域全面に渡って焦点検出用画素を均一に分布させることができる。
【0065】
図11は、2×2=4個のフィールドにおける焦点検出用画素の配置状況を、撮像領域上の単位領域内に定義した2次元格子(2−Dimensional Lattice)に基づいて説明した図である。同図において、白丸は撮影光学系の射出瞳を横方向(左右方向、水平方向)に分割するための第1の焦点検出用画群が配置された点である。ここで、第1の焦点検出用画群とは図6(a)の画素SHA及びSHBの2個1組を指し、該2個の画素の重心位置が図11の白丸に配置されることを意味している。黒丸は縦方向(上下方向、垂直方向)に瞳分割するための第2の焦点検出用画素群の配置点で、同じく図7(a)の画素SVC及びSVDの重心に相当する。
【0066】
LTH1〜LTH10は前記白丸を横方向に連ねた第1の格子線群である。そして、第1の格子線群の延伸方向(第1の方向)は、水平線に対して反時計方向にθLHだけ傾いているが、該角度を水平偏角と呼称し、符号は反時計方向を正と定義する。この水平偏角は、図9で説明した配列規則により生じたもので、tanθLH=0.1、すなわちθLH=+5.7度となる。
【0067】
ここで、水平偏角の絶対値はできる限り小さいほうが望ましい。その理由は、水平方向に瞳分割した画素群で取得する1対の画像は、撮影光学系の焦点ずれ量に比例して水平方向に相対位置がずれるため、該画像をサンプリングする画素も画像の相対ずれ方向に沿って配置されるのが好ましいからである。ただし、第1の格子線群が水平になるように焦点検出用画素を配置すると、図12以降で説明する本実施形態特有の効果が得られないため、ここでは上記+5.7度の傾き角を付与している。そして図9で説明した配置規則が異なれば該傾き角も変わるが、本実施形態の角度の2倍以内、すなわち±12度程度以下が望ましい。
【0068】
また、第1の格子線群の隣接配置間隔、すなわち格子ピッチPLhは10(単位は画素)である。この格子ピッチが小さいほど焦点検出用画像のサンプリング密度が高まり、サンプリング誤差が低減するが、出力画像における欠損画素数は増す。よって、格子ピッチは撮像システムにおける画質と焦点検出性能のバランスにより最適値が決定されるべきであるが、本出願人の検討によれば、4〜20の間で選択するのが好ましい。
【0069】
LTV1〜LTV10は前記黒丸を縦方向(第2の方向)に連ねた第2の格子線群である。そして、第2の格子線群の延伸方向も、垂直線に対して傾いているが、この傾き角を垂直偏角と呼称し、反時計方向を正と定義する。すると垂直偏角はtanθLV=0.1、すなわちθLH=+5.7度となるが、この傾き角もできる限り小さいほうが望ましい。その理由は、第1の格子線群と同様の理由である。すなわち、垂直方向に瞳分割した画素群で取得する1対の画像は、撮影光学系の焦点ずれ量に比例して垂直方向に相対位置がずれるため、該画像をサンプリングする画素も画像のずれ方向に沿って配置されるのが好ましいからである。そして第2の格子線群の垂直偏角も、本実施形態の角度の2倍以内、すなわち±12度程度以下が望ましい。また、第2の格子線群の隣接配置間隔、すなわち格子ピッチPLvも10(単位は画素)であり、その設定指針は第1の格子線群と同様である。
【0070】
以上のごとく、第1の格子線群は第1の瞳分割方向に略一致した方向に延伸し、所定のピッチで等間隔に配置された平行線群(直線群)で構成される。また第2の格子線群は第2の瞳分割方向に略一致した方向に延伸し、所定のピッチで等間隔に配置された平行線群で構成される。よって両格子線群は互いに垂直(90度の角度)に交差した2次元格子を構成し、その格子点近傍に焦点検出用画素群が周期的に配置される。このように、デフォーカス時の焦点検出用画像の移動方向と焦点検出用画素の配列方向が略一致するため、焦点検出用画素の配置密度を低くしても、大デフォーカス時の焦点検出性能を維持することが可能となる。ここで近傍という表現を用いたのは、本発明の多くの実施形態では、焦点検出用画素は2個で1組であり、かつR画素とB画素を置き換えているため、格子上の1点に該画素を常に厳密に配置するのは不可能だからである。一方で、該画素の配置場所が厳密な格子点から多少偏差しても本発明の効果は維持できる。そして本出願人の検討によれば、該画素群の格子点からの偏差量は格子ピッチの0.25倍以下、もしくは撮像用画素ピッチの4倍以下が好ましい。また、第1の格子線群と第2の格子線群とは互いに垂直(90度の角度)に配置されているが、本発明の効果を奏するものであれば、垂直(90度の角度)から多少ずれたものも本発明に含まれる。
【0071】
次に図12〜図15を用いて、焦点検出時の画素のグループ化と信号加算方法について説明する。図12は、撮影光学系によって形成された被写体像の、横ずれ方向の焦点検出を行なう場合の画素グループ化方法を説明する図である。横ずれ方向の焦点検出とは、図6で説明した、撮影光学系の射出瞳を横方向(左右方向、水平方向)に分割するための焦点検出用画素を用いて、位相差式焦点検出を行なうことを指す。
【0072】
図12に示す画素配列は図9で説明したものだが、焦点検出の際には、横方向に1ブロック、縦方向に10ブロックの合計10ブロックを1つのグループとし、これをセクションと定義する。そして、本実施形態では、横方向に並んだ30セクションで、1つの焦点検出領域を構成する。すなわち、100行×300列=3万画素の領域が1つの焦点検出領域となる。この1つの焦点検出領域をAFエリアと定義する。ここで、1つのセクション内においては、横方向における一方の瞳分割を行なう画素SHAが5個、他方の瞳分割を行なう画素SHBも5個含まれている。そこで本実施形態においては、5個のSHAの出力を加算して、位相差演算用の一方の画像信号(A像と称する)の1AF画素とする。同様に、5個のSHBの出力を加算して、位相差演算用の他方の画像信号(B像と称する)の1AF画素とする。
【0073】
図13は、一つのセクションにおける、被写体像の捕捉能力を説明するための図である。同図(a)は図12の左端のセクションSCT(1)を切り出したものである。下端に示された水平線PRJは、焦点検出用画素SHA及びSHBの瞳分割方向に延伸した第1の射影軸(Projection Line)である。右端に示された垂直線PRJは、瞳分割方向と直交する方向に延伸した第2の射影軸である。ここで、1つのセクション内の画素SHAはすべて加算され、SHBも加算される。そこで、1つのセクションを1つのAF画素と見なした場合、1つのAF画素に含まれる受光部を瞳分割方向の射影軸PRJに射影する。すると、画素SHAとSHBが交互に緻密に並ぶことがわかる。このときの、瞳分割方向の射影軸PRJにおける画素SHAの配列ピッチをP1とすると、P1=PH=2(単位は画素)となる。ピッチの代わりに空間周波数F1で表わすと、F1=0.5(単位は画素/画素)となる。同様に射影軸PRJにおける画素SHBの配列ピッチもP1=2(単位は画素)、空間周波数表記ではF1=0.5(単位は画素/画素)となる。
【0074】
一方、1つのAF画素に含まれる受光部を瞳分割方向と直交方向の射影軸PRJに射影すると、画素SHAとSHBはまばらに並ぶことがわかる。このときの、射影軸PRJにおける画素SHAの配列ピッチをP2とすると、P2=PH=20(単位は画素)となる。ピッチの代わりに空間周波数F2で表わすと、F2=0.05(単位は画素/画素)となる。同様に射影軸PRJにおける画素SHBの配列ピッチも、P2=20(単位は画素)、空間周波数表記ではF2=0.05(単位は画素/画素)となる。
【0075】
すなわち、本実施形態に係るAF画素は、上記グループ化前の分散特性は、瞳分割方向とこれに直交する方向の配置上のピッチが等しいが、グループ化する際のグループ形状を長方形とすることで、瞳分割方向のサンプリング誤差を低減している。具体的には、1セクションの瞳分割方向の最大寸法L1は10画素、瞳分割と直交する方向の最大寸法L2は100画素としている。すなわち、セクション寸法をL1<L2とすることで、瞳分割方向のサンプリング周波数F1を高周波(密)に、これと直交する方向のサンプリング周波数F2を低周波(疎)としている。
【0076】
同図(a)で説明したAF画素(一つのセクション)に、細線の被写体像が投影された場合の画像捕捉能力を同図(b)にて説明する。同図(b)において、LINEは、撮像素子107上に投影された細い縦線を表わし、その幅は画素換算で4画素、画像の実寸では幅8μmになっている。この時、セクションSCT(1)内では、ブロックBLK(3、1)とブロックBLK(5、1)に含まれる焦点検出用画素が被写体像を捕捉する。なお、被写体像の最小寸法は、撮影光学系の収差と撮像素子前面に配置された光学LPFの特性で決まるが、通常は非常に細い線でも2画素以上の幅になる。従って、本実施形態に係る1つのセクション内では、最低でも各1個ずつの画素SHAとSHBで画像を捕捉することになり、捕捉洩れは生じない。ただし同図(b)において、細線LINEがセクション内に存在することは検出することはできるが、セクション内における瞳分割方向の細線の重心位置を検出することはできない。
【0077】
一方、同図(b)のLINEは、撮像素子107上に投影された細い横線を表わし、その幅は前述のLINEと同様に画素換算で4画素、画像の実寸では幅8μmになっている。この時には、該横線LINEはブロックBLK(5、1)にかかっているが、焦点検出用画素SHA及びSHBには捕捉されない。しかしながら、当セクションSCT(1)は、縦線のごとく横方向に輝度分布を有する被写体について焦点検出を行なうためのものである。従って、横線のごとく縦方向に輝度分布を有する被写体については、焦点検出用画素による像の捕捉洩れが生じても実害はない。
【0078】
同図(c)は、同図(b)に示した細線LINEよりも幅の広い太線BANDが、複数のセクションにまたがって形成された場合を示す。このとき、左端のセクションSCT(1)は4組の焦点検出用画素が太線BANDを捕捉する。また中央のセクションSCT(2)は5組の焦点検出用画素が、右端のセクションSCT(3)は1組の焦点検出用画素が太線BANDを捕捉する。よって、3個のセクションが検出する信号の大きさを処理することにより、太線BANDの重心位置を各セクションの瞳分割方向寸法L1よりも高い分解能で検出することができる。
【0079】
図14は、撮影光学系によって形成された被写体像の、縦ずれ方向の焦点検出を行なう場合の画素グループ化方法を説明する図である。縦ずれ方向の焦点検出とは、図7で説明した、撮影光学系の射出瞳を縦方向(上下方向、すなわち垂直方向)に分割するための焦点検出用画素を用いて、位相差式焦点検出を行なうことを指す。すなわち、図12で説明した構成を90度回転したものに相当する。
【0080】
図14に示す画素配列も図9で説明したものだが、焦点検出の際には、横方向に10ブロック、縦方向に1ブロックの合計10ブロックを1つのグループとし、これをセクションと定義する。そして、本実施形態では、縦方向に並んだ30セクションで、1つの焦点検出領域を構成する。すなわち、300行×100列=3万画素の領域が1つの焦点検出領域となる。この1つの焦点検出領域も図11と同様にAFエリアと定義する。ここで、1つのセクション内においては、縦方向における一方の瞳分割を行なう画素SVCが5個、他方の瞳分割を行なう画素SVDも5個含まれている。そこで本実施形態においては、5個のSVCの出力を加算して、位相差演算用の一方の画像信号(C像と称する)の1AF画素とする。同様に、5個のSVDの出力を加算して、位相差演算用の他方の画像信号(D像と称する)の1AF画素とする。
【0081】
図15は、一つのセクションにおける被写体像の捕捉能力を説明するための図で、図13の手法を90度回転したものと等価である。同図(a)は図14の上端のセクションを切り出したものである。右端に示された垂直線PRJは、焦点検出用画素SVC及びSVDの瞳分割方向に延伸した第3の射影軸である。下端に示された水平線PRJは、瞳分割方向と直交する方向に延伸した第4の射影軸である。当図においても、1つのセクション内の画素SVCはすべて加算され、SVも加算される。そこで、1セクションを1AF画素と見なした場合、1AF画素に含まれる受光部を瞳分割方向の射影軸PRJに射影すると、画素SVC及びSVDが交互に緻密に並ぶことがわかる。このときの、瞳分割方向の射影軸PRJにおける画素SVCの配列ピッチをP1とすると、P1=PV=2(単位は画素)となる。ピッチの代わりに空間周波数F1で表わすと、F1=0.5(単位は画素/画素)となる。同様に射影軸PRJにおける画素SVDの配列ピッチもP1=2(単位は画素)、空間周波数表記ではF1=0.5(単位は画素/画素)となる。
【0082】
一方、1つのAF画素に含まれる受光部を瞳分割方向と直交方向の射影軸PRJに射影すると、画素SVCとSVはまばらに並ぶことがわかる。このときの、射影軸PRJにおける画素SVCの配列ピッチをP2とすると、P2=PV=20(単位は画素)となる。ピッチの代わりに空間周波数F2で表わすと、F2=0.05(単位は画素/画素)となる。同様に射影軸PRJにおける画素SVDの配列ピッチも、P2=20(単位は画素)、空間周波数表記ではF2=0.05(単位は画素/画素)となる。
【0083】
以上のごとく、図15におけるAF画素のサンプリング特性は、瞳分割方向を基準に考えると、図12と同様の特性、すなわちF1>F2となっている。これは、図15のセクションにおいても、瞳分割方向のセクション寸法L1と、これと直交する方向の寸法L2を、L1<L2としたからである。
【0084】
同図(a)で説明したAF画素(=1つのセクション)に、細線の被写体像が投影された場合の画像捕捉能力を同図(b)にて説明する。同図(b)において、LINEは、撮像素子107上に投影された細い横線を表わし、その幅は画素換算で4画素、画像の実寸では幅8μmになっている。この時、セクションSCT(1)内では、ブロックBLK(1、4)とブロックBLK(1、6)に含まれる焦点検出用画素が被写体像を捕捉する。
【0085】
一方、同図(b)のLINEは、撮像素子107上に投影された細い縦線を表わし、その幅は前述のLINEと同様に画素換算で4画素、画像の実寸では幅8μmになっている。この時には、該縦線LINEはブロックBLK(1、6)にかかっているが、焦点検出用画素SVC及びSVDには捕捉されない。しかしながら、当セクションSCT(1)は、横線のごとく縦方向に輝度分布を有する被写体について焦点検出を行なうためのものである。従って、縦線のごとく横方向に輝度分布を有する被写体については、焦点検出用画素による像の捕捉洩れが生じても実害はない。
【0086】
同図(c)は、同図(b)に示した細線LINEよりも幅の広い太線BANDが、複数のセクションにまたがって形成された場合を示す。このときの太線BANDの重心位置検出能力は、図13(c)で説明した原理と同様に、各セクションの瞳分割方向寸法L1よりも高い分解能で検出することができる。
【0087】
図16は、撮影光学系によって形成された被写体像の、横ずれ方向の焦点検出を行なう場合の、焦点検出領域の設定形態を説明する図である。同図は4×3=12フィールドの範囲を示しており、3種類の焦点検出領域が設定されている。ここで第1の焦点検出領域AFARh1は、3フィールド内に含まれる30セクションすべてを1つのグループとした、最も基本的な焦点検出領域である。これに対して第2の焦点検出領域AFARh2は、これを構成する各セクションが隣接する2フィールドをまたいで設定される。セクション数も15個であり、1フィールドに含まれるセクション数10の整数倍とはなっていない。しかしながら、第2の焦点検出領域AFARh2も、各セクションにおける焦点検出用画像のサンプリング特性は図13で説明した特性を備えている。
【0088】
また第3の焦点検出領域AFARh3は、セクション2個を連結して新たなセクションとした例を示している。その結果、図13で説明した第2の射影軸PRJに射影された焦点検出用画素の平均的配列ピッチは半分に短縮されるが、焦点検出能力は維持される。
【0089】
すなわち、焦点検出領域を構成するセクションは隣接する2フィールドをまたいで配置されてもよく、またセクションの寸法やセクション数も所望の値に設定可能である。
【0090】
図17は、撮影光学系によって形成された被写体像の、横ずれ及び縦ずれ方向の焦点検出を同時に行なう場合の、焦点検出領域の設定形態を説明する図である。同図は図16と同様に4×3=12フィールドの範囲を示しており、第1の焦点検出領域AFARh1及び第3の焦点検出領域AFARv1が設定されている。ここで第1の焦点検出領域AFARh1は、図17で説明したものと同一で、被写体の横ずれ方向の焦点検出を行なう領域である。これに対して第3の焦点検出領域AFARv1は、被写体の縦ずれ方向の焦点検出を行なう領域である。その特性は図16に示した第2の焦点検出領域AFARh2を90度回転させたものと等価である。すなわち、横ずれ及び縦ずれの両方向の焦点検出が同時に可能で、かつ両焦点検出領域を重ねて配置することもできる。
【0091】
以上、図16及び図17で説明したように、第1の実施形態における焦点検出用画素の配置と、該画素のグループ化により、焦点検出領域の設定自由度が非常に大きく、種々の被写体に対して正確な焦点検出が可能となる。
【0092】
図18は、第1の実施形態における撮影光学系と撮像素子の瞳分割状況を概念的に説明する斜視図である。TLは撮影光学系、107は撮像素子、OBJは被写体、IMGは被写体像である。
【0093】
撮像用画素は図5で説明したように、撮影光学系の射出瞳全域EPを通過した光束を受光する。一方、焦点検出用画素は図6及び図7で説明したように、瞳分割機能を有している。具体的には、図6の画素SHAは撮像面からレンズ後端を見て左側の瞳を通過した光束、すなわち図18の瞳EPHAを通過した光束を受光する。同様に画素SHB、SVC及びSVDはそれぞれ瞳EPHB、EPVC及びEPVDを通過した光束を受光する。そして、焦点検出用画素は、図10で説明したように撮像素子107の全領域に渡って分布しているため、撮像領域全域で焦点検出が可能となっている。
【0094】
なお、本実施形態では焦点検出用画素の瞳形状を、瞳分割方向が短辺、これと直交する方向が長辺の矩形として説明しているが、正方形、多角形、半円、楕円等の形状でも構わない。また、分割された瞳が撮影光学系の射出瞳EPの外側にはみ出る構成でも構わない。そして焦点検出用画素の瞳形状を変える場合には、図6及び図7において、配線層CLに設けた開口部の形状と、オンチップマイクロレンズMLの光学パワーを適宜設定しなおせばよい。
【0095】
図19は、焦点検出時に取得した出力画像と焦点検出領域を説明する図である。図19において、撮像面に形成された被写体像には、中央に人物、左側に近景の樹木、右側に遠景の山並みが写っている。本実施形態では、焦点検出用画素は、横ずれ検出用の画素ペアSHA及びSHBと、縦ずれ検出用の画素ペアSVC及びSVDが、図10に示したように撮像領域全域に渡って均等な密度で配置されている。そして横ずれ検出の際には、位相差演算のためのAF画素信号を図12で示したようにグループ化処理する。また、縦ずれ検出の際には、位相差演算のためのAF画素信号を図14で示したようにグループ化処理する。よって、撮像領域の任意位置において、横ずれ検出及び縦ずれ検出のための焦点検出領域が設定可能である。
【0096】
図19においては、画面中央に人物の顔が存在している。そこで公知の顔認識技術によって顔の存在が検出されると、顔領域を中心に横ずれ検出のための焦点検出領域AFAR(x1,y1)と、縦ずれ検出のための焦点検出領域AFAR(x3,y3)が設定される。ここで添え字のhは水平方向を表わし、(x1,y1)及び(x3,y3)は焦点検出領域の左上隅の座標を表わす。そして、焦点検出領域AFAR(x1,y1)の各セクション内に含まれる5個の焦点検出画素用SHAを加算する。そして、これを30セクションに渡って連結した位相差検出用のA像信号が、同図の下側グラフに表記したAFSIG(A1)である。また、同様に各セクションの5個の焦点検出画素用SHBを加算し、これを30セクションに渡って連結した位相差検出用のB像信号がAFSIG(B1)である。そして、A像信号AFSIG(A1)とB像信号AFSIG(B1)の相対的な横ずれ量を公知の相関演算によって計算することで、被写体の焦点ずれ量(デフォーカス量)を求めることができる。
【0097】
焦点検出領域AFAR(x3,y3)についても同様に焦点ずれ量を求める。そして、横ずれ及び縦ずれの焦点検出領域で検出した2つの焦点ずれ量を比較し、信頼性の高い値を採用すればよい。
【0098】
一方、画面左側の樹木の幹部は、縦線成分が主体、すなわち横方向に輝度分布を有しているため、横ずれ検知に適した被写体と判断され、横ずれ検知のための焦点検出領域AFAR(x2,y2)が設定される。また、画面右側の山並み稜線部は、横線成分が主体、すなわち縦方向に輝度分布を有しているため、縦ずれ検知に適した被写体と判断され、縦ずれ検知のための焦点検出領域AFAR(x4,y4)が設定される。
【0099】
以上のごとく本実施形態においては、横ずれ及び縦ずれ検出のための焦点検出領域が画面の任意位置に設定可能なため、被写体の投影位置や輝度分布の方向性が様々であっても、常に正確な焦点検出が可能である。
【0100】
図20〜図22は、本発明の好適な第1の実施形態に係るカメラの焦点調節及び撮影工程を説明するためのフローチャートである。先に説明した図1〜図19の各図を参照しながら、図20以降の制御フローを説明する。
【0101】
図20は第1の実施形態のカメラのメインフローである。撮影者がカメラの電源スイッチをオン操作すると、ステップS103においてCPU121はカメラ内の各アクチュエータや撮像素子の動作確認を行ない、メモリ内容や実行プログラムの初期化を行なうと共に、撮影準備動作を実行する。ステップS105では撮像素子の撮像動作を開始し、プレビュー用の低画素動画像を出力する。ステップS107では読み出した動画をカメラ背面に設けられた表示器131に表示し、撮影者はこのプレビュー画像を目視して撮影時の構図決定を行なう。
【0102】
ステップS109では、プレビュー用動画像に顔が存在するか否かを認識する。そして、撮影領域に顔が存在していると認識された場合には、ステップS111からステップS113に移行し、焦点調節モードを顔AFモードに設定する。ここで顔AFモードとは、撮影領域の顔に焦点を合わせるAFモードを指す。
【0103】
一方撮影領域に顔が存在していない場合はステップS111からステップS115に移行し、焦点調節モードを多点AFモードに設定する。ここで多点AFモードとは、撮影領域を例えば3×5=15分割し、各分割領域で焦点検出を行ない、焦点検出結果と被写体の輝度情報から主被写体を類推し、その領域を合焦させるモードを指す。
【0104】
ステップS113あるいはステップS115でAFモードを決定したら、ステップS117で焦点検出領域を決定する。ステップS121では、撮影準備スイッチがオン操作されたか否かを判別し、オン操作されていなければステップS105に戻り、撮像素子駆動からステップS117の焦点検出領域の決定を繰り返し実行する。
【0105】
ステップS121で撮影準備スイッチがオン操作されるとステップS131に移行し、焦点検出サブルーチンを実行する。
【0106】
図21は焦点検出サブルーチンのフロー図である。メインフローのステップS121から当サブルーチンのステップS131にジャンプすると、ステップS132においては、メインルーチンのステップS117で決定した焦点検出領域に含まれる撮像用画素と焦点検出用画素の信号を読み出す。ステップS133では、読み出した撮像用画素の情報から、焦点検出領域における被写体コントラストの方向依存性を認識する。ステップS134では、上記ステップS133で認識した被写体のコントラスト情報より、焦点検出に適した像ずれ検出方向を選択する。具体的には、被写体像のコントラストが水平方向のみに存在する場合は、横ずれ検出用画素のみを用いた焦点検出を行なう。同様に被写体像のコントラストが垂直方向のみに存在する場合は、縦ずれ検出用画素のみを用いた焦点検出を行なう。また、コントラストが水平及び垂直両方向に存在する場合は、横ずれ用と縦ずれ用の両画素を用いたクロス式の焦点検出を行なう。
【0107】
ステップS141では、前記ステップS134で選択した焦点検出領域において、図12もしくは図14で説明したセクション構造に基づき、各セクション内の焦点検出画素の信号を加算し、AF画素信号を得る。ステップS142では、前記ステップS141で得たAF画素信号に、シェーディング補正(周辺画面の光量落ち補正)や、ビネッティングによる2像の歪みの復元補正等を施し、相関演算用の2像の信号を得る。その結果、図19に示したAFSIGh(A1)とAFSIGh(B1)、あるいはAFSIGv(C3)とAFSIGv(D3)等の対の信号が生成される。
【0108】
ステップS143では得られた2像の相関演算を行ない、2像の相対的な位置ずれ量を計算する。ステップS144では、相関演算結果の信頼性を判定する。ここで信頼性とは、2像の一致度を指し、2像の一致度が良い場合は一般的に焦点検出結果の信頼性が高い。そこで、複数の焦点検出領域が選択されている場合は、信頼性の高い情報を優先的に使用する。また、2方向の像ずれを検出するクロス式の焦点検出が選択された場合も、各方向の相関信頼性を評価し、信頼性が閾値より低い場合は検出結果を非採用とする。
【0109】
ステップS145では、前記信頼性の高い検出結果から焦点ずれ量を演算する。そしてステップS146にて図20のメインフロー内のステップS131にリターンする。
【0110】
図20のステップS151では、図21のステップS143で計算した焦点ずれ量が許容値以下か否かを判断する。そして焦点ずれ量が許容値異常である場合は、非合焦と判断し、ステップS153でフォーカスレンズを駆動し、その後ステップS131〜ステップS151を繰り返し実行する。そしてステップS151にて合焦状態に達したと判定されると、ステップS155にて合焦表示を行ない、ステップS157に移行する。
【0111】
ステップS157では、撮影開始スイッチがオン操作されたか否かを判別し、オン操作されていなければステップS157にて撮影待機状態を維持する。ステップS157で撮影開始スイッチがオン操作されるとステップS161に移行し、撮影サブルーチンを実行する。
【0112】
図22は撮影サブルーチンのフロー図である。撮影開始スイッチが操作されると、ステップS161を経由して、ステップS163では光量調節絞りを駆動し、露光時間を規定するメカニカルシャッタの開口制御を行なう。ステップS165では、高画素静止画撮影のための画像読み出し、すなわち全画素の読み出しを行なう。ステップS167では読み出した画像信号の欠損画素補間を行なう。すなわち、焦点検出用画素の出力は撮像のためのRGBカラー情報を有しておらず、画像を得る上では欠陥画素に相当するため、周囲の撮像用画素の情報から補間により画像信号を生成する。
【0113】
ステップS169では、画像のγ補正、エッジ強調等の画像処理をおこない、ステップS171において、フラッシュメモリ133に撮影画像を記録する。ステップS173では、表示器131に撮影済み画像を表示し、ステップS175で図20のメインフローにリターンする。
【0114】
図20のメインフローに戻ると、ステップS181にて一連の撮影動作を終了する。
【0115】
以上の第1の実施形態によると、例えば、以下のような効果がある。
【0116】
(1−1)2次元格子の格子点近傍に横ずれ検出用画素と縦ずれ検出用画素を実質上等間隔、かつ等密度で配置したため、横方向に輝度分布を有する被写体と、縦方向に輝度分布を有する被写体の、いずれに対しても正確な焦点検出が可能となる。
【0117】
(1−2)焦点検出用画素の配置密度が低いため、出力画像の劣化を防止でき、高品位画像が得られる。
【0118】
(1−3)焦点検出用画素の配列に規則性を付与したため、焦点検出演算及び出力画像生成演算における各種演算式や演算計数が簡単になる。
【0119】
(1−4)単位領域を複数の個別領域に分割し、該個別領域内の複数の画素の信号を合成して焦点検出演算用信号を生成する。このため、焦点検出性能を低下させることなく、演算用の画素数を減らすことができ、焦点検出演算に要する時間を短縮することができる。
【0120】
(1−5)撮像手段の撮像領域には、単位領域が複数配置される。これによって、画素配列規則が簡略化できるため、焦点検出演算、及び出力画像の生成演算のアルゴリズムが簡単になる。
【0121】
(第2の実施形態)
第1の実施形態は、1対の横ずれ検出用画素、もしくは1対の縦ずれ検出用画素は、斜め方向に隣接するR画素とB画素の位置に割り当てられていた。以下に示す第2の実施形態は、焦点検出用画素が単一色の画素、すなわちR画素もしくはB画素のみの場所に割り当てられる実施形態である。図23〜図26を用いて第2の実施形態の構成を説明する。
【0122】
図23は第2の実施形態の焦点検出用画素配列を示す図で、第1の実施形態の図8に対応する。図8に示した第1の実施形態では、ベイヤー配列を有した撮像用画素において、斜め方向に隣接するR画素とB画素の位置に、焦点検出用画素SHA、SHB、SVC及びSVDが割り当てられていた。これに対して図23に示す第2の実施形態では、ベイヤー配列におけるB画素のみに焦点検出用画素が割り当てられる。具体的には、一番左上のブロックBLK(1、1)とその右下のブロックBLK(2、2)においては、最下行の左寄りにある2個のB画素を水平方向に瞳分割を行なう1組の焦点検出用画素SHA及びSHBで置き換える。
【0123】
また残りのブロックBLK(1、2)とBLK(2、1)においては、左から2番目の列の下寄りにある2個のB画素を、垂直方向に瞳分割を行なう1組の焦点検出用画素SVC及びSVDで置き換える。
【0124】
この配置規則を普遍的に表現すると、第1の実施形態と同様に、ブロックBLK(i、j)において、i+jが偶数なら水平瞳分割用の焦点検出画素を配置し、i+jが奇数なら垂直瞳分割用の焦点検出画素を配置することになる。そして、2×2=4ブロック、すなわち20行×20列=400画素の領域がクラスタとなる。
【0125】
図24は、前記クラスタを単位とした配置規則を説明するための図で、第1の実施形態の図9に対応する。図24において、20行×20列=400画素で構成された一番左上のクラスタをCST(u、w)=CST(1、1)とする。そして該クラスタCST(1、1)においては、各ブロックの左下寄りにあるB画素を、焦点検出用画素SHA及びSHB、もしくはSVC及びSVDで置き換える。
【0126】
その右隣りのクラスタCST(1、2)においては、ブロック内における焦点検出用画素の配置を、クラスタCST(1、1)に対して上方向に2画素分シフトした位置に配置する。また、最初のクラスタCST(1、1)の下に隣接したクラスタCST(2、1)においては、ブロック内における焦点検出用画素の配置を、クラスタCST(1、1)に対して右方向に2画素分シフトした位置に配置する。以上の規則を繰り返し適用すると図24に示した配置が得られ、当図に示した範囲がクラスタの上位に位置するフィールドとなる。なお、図9に示した第1の実施形態では、5×5=25クラスタが1フィールドであったが、第2の実施形態では4×4=16クラスタが1フィールドとなる。その理由は、第2の実施形態における画素配列では、1フィールドの水平方向の構成要素を5クラスタとすると、5番目のクラスタでは焦点検出用画素が隣りのブロックに侵入してしまうからである。
【0127】
図25は、前記フィールドを単位とした配置規則を説明するための図で、第1の実施形態の図10に対応する。図25において、80行×80列=6、400画素で構成された一番左上のフィールドをFLD(q、r)=FLD(1、1)とする。そして第2の実施形態でも、すべてのフィールドFLD(q、r)は先頭フィールドFLD(1、1)と同様の配列となっている。そこで、FLD(1、1)を水平方向に37個、垂直方向に25個配列すると、3000列×2000行=600万画素の撮像領域は925個のフィールドで構成される。ただし、右端の40列は1フィールドが構成できなかった端数領域で、該領域には焦点検出用画素が配置されないが、実質的に撮像領域全面に渡って焦点検出用画素を均一に分布させている。
【0128】
図26は、2×2=4個のフィールドにおける焦点検出用画素の配置状況を、撮像領域上に定義した2次元格子に基づいて説明した図で、第1の実施形態の図11に対応する。同図において、白丸と黒丸の定義は図11と同一である。すなわち白丸は撮影光学系の射出瞳を横方向(左右方向、水平方向)に分割するための第1の焦点検出用画群が配置された点、黒丸は縦方向(上下方向、垂直方向)に瞳分割するための第2の焦点検出用画素群の配置点である。
【0129】
LTH1〜LTH8は前記白丸を横方向に連ねた第1の格子線群である。そして、第1の格子線群の延伸方向は、水平線に対して反時計方向にθLHだけ傾いている。この傾き角は、図21で説明した配列規則により生じたもので、第1の実施形態と同様にtanθLH=0.1、すなわちθLH=5.7度となる。
【0130】
また、第1の格子線群の隣接配置間隔、すなわち格子ピッチPLhも第1の実施形態と同様に10(単位は画素)である。
【0131】
LTV1〜LTV8は前記黒丸を縦方向に連ねた第2の格子線群である。そして、第2の格子線群の延伸方向も、垂直線に対してtanθLV=0.1、すなわちθLH=5.7度傾いている。また、第2の格子線群の隣接配置間隔、すなわち格子ピッチPLvも10(単位は画素)である。
【0132】
以上のごとく、第2の実施形態においても第1の実施形態と同様に、第1の格子線群は第1の瞳分割方向に略一致した方向に延伸し、所定のピッチで等間隔に配置された平行線群で構成される。また第2の格子線群は第2の瞳分割方向に略一致した方向に延伸し、所定のピッチで等間隔に配置された平行線群で構成される。よって両格子線群は互いに垂直に交差した2次元格子を構成し、その格子点近傍に焦点検出用画素群が周期的に配置される。ここで、第1、第2の格子線群の少なくとも一方に隣接して平行に配置された任意の2本の格子線において、一方の格子線には第1の焦点検出用画素が配置され、他方の格子線には第2の焦点検出用画素が配置される。これによって、2方向の位相差検出機能を保持しながら、焦点検出用画素の配置密度を低くすることができる。
【0133】
なお、図26によると、フィールド間の境界部では各格子線が不連続、すなわち若干ずれている。しかしながら、焦点検出用画像のサンプリング特性は、第1の実施形態の図12〜図15で説明した特性と同様の特性が得られるため、詳細説明は省略する。また、焦点検出領域の設定方法は第1の実施形態の図16及び図17と同様の方法を用いることができ、焦点検出フローも図18〜図22を用いればよい。従って焦点検出特性も第1の実施形態におけるものと実質的に同一の特性が得られる。
【0134】
以上の第2の実施形態によると、第1の実施形態の効果(1−1)〜効果(1−4)が同様に得られるとともに、例えば、以下の効果がある。
【0135】
(2−1)焦点検出用画素を単一色の画素に割り当てたため、出力画像生成時の欠陥画素補間アルゴリズムが簡単になる、あるいは特定色における画像劣化や偽色が軽減される。
【0136】
(第3の実施形態)
第1の実施形態及び第2の実施形態で用いた焦点検出用画素は、2個で1組となり、2分割された瞳領域について、一方の画素が一方の瞳を通過する光束を受光し、他方の画素がもう一方の瞳を通過する光束を受光していた。これに対して以下に示す第3の実施形態は、2分割された瞳領域の光束を1つの画素で取得し、その信号を出力する撮像素子を用いた実施形態を示す。
【0137】
以下、図27及び図28を用いて第3の実施形態を説明する。
【0138】
図27は第3の実施形態に係る焦点検出用画素配列を示す図で、第1の実施形態の図8に対応する。図8に示した第1の実施形態では、ベイヤー配列を有した撮像用画素において、斜め方向に隣接するR画素とB画素の位置に、焦点検出用画素SHA、SHB、SVC及びSVDが割り当てられていた。これに対して図27に示す第3の実施形態では、10×10=100画素の各ブロックにおいて、1個のR画素に焦点検出用画素が割り当てられる。具体的には、一番左上のブロックBLK(1、1)とその右下のブロックBLK(2、2)においては、左端列の最下端にある1個のR画素を水平方向に瞳分割を行なう1個の焦点検出用画素SHABで置き換える。ここで、焦点検出用画素SHABは、本出願人による特許文献6に開示された技術を用いればよい。すなわち当公報の図2に開示された撮像素子のように、オンチップマイクロレンズ後方の光電変換部を多分割することで撮影光学系の瞳分割を行ない、分割された各瞳領域からの光束を独立して取得し、画像信号として出力する。そのため、1画素で位相差検出用の1組の信号が得られる。
【0139】
また残りのブロックBLK(1、2)とBLK(2、1)においては、左端列の最下端にある1個のR画素を、垂直方向に瞳分割を行なう1個の焦点検出用画素SVABで置き換える。
【0140】
この配置規則を普遍的に表現すると、第1の実施形態と同様に、ブロックBLK(i、j)において、i+jが偶数なら水平瞳分割用の焦点検出画素を配置し、i+jが奇数なら垂直瞳分割用の焦点検出画素を配置することになる。そして、2×2=4ブロック、すなわち20行×20列=400画素の領域がクラスタとなる。
【0141】
図28は、前記クラスタを単位とし、クラスタが多数集合した配置規則を説明するための図で、第1の実施形態の図9に対応する。図28に示した全領域が、クラスタの上位となる1フィールドを表わすが、フィールドにおける配置規則は第1の実施形態と同一である。そのため、焦点検出用画素の配置を示す格子は第1の実施形態の図11に示した2次元格子と同一となる。
【0142】
よって、撮像領域全域におけるフィールド配置や、焦点検出特性、焦点検出フローは、第1の実施形態の図10〜図22に示したものと同一なため、説明は省略する。
【0143】
以上の第3の実施形態によると、第1の実施形態の効果(1−1)〜効果(1−4)が同様に得られるとともに、例えば、以下の効果がある。
【0144】
(3−1)焦点検出用画素に割り当てる画素数の比率を減らせるため、出力画像の劣化や偽色が一層軽減されるとともに、出力画像生成時の欠陥画素補間アルゴリズムも簡単にできる。
【0145】
(第4の実施形態)
第1の実施形態〜第3の実施形態は、焦点検出用画素の配列を示す2次元格子が直交格子であった。また、撮像用画素の配列線である水平及び垂直線に対して、各格子線は一方向に所定角度だけ回転していた。以下に示す第4の実施形態は、2次元格子の少なくとも一部が非直交格子であり、格子線の回転方向が水平もしくは垂直線に対してプラスマイナスの両方向を有している実施形態である。図29〜図31を用いて第4の実施形態の構成を説明する。
【0146】
図29は第4の実施形態に係る焦点検出用画素配列を示す図で、第1の実施形態の図9に対応する。第4の実施形態においては、画素配列の最小単位であるブロック、及びその上位のクラスタは第1の実施形態の図8と同様の規則で決定される。一方、クラスタの上位グループであるフィールドは、第1の実施形態においては100×100=1万画素で構成された1種類のフィールドが、撮像領域全体に配置されていた。これに対して、第4の実施形態ではフィールドサイズは第1の実施形態と同じだが、配列規則が異なる4種類のフィールドを備える点が異なる。
【0147】
図29は第4の実施形態の4種類のフィールドのうち、2種類を示したものである。当図において、左側の5×5=25クラスタは第1のフィールドで、第1の実施形態と同様の画素配列である。すなわち、フィールド内の各クラスタCST(u、w)は、uの増加に伴って焦点検出用画素は右方向にシフトし、wの増加に伴って焦点検出用画素の配置は上方向にシフトする。この規則はクラスタCST(1、1)〜CST(5、5)の範囲に適用される。
【0148】
前記第1のフィールドの右には第2のフィールドが配置される。第2のフィールド、すなわちクラスタCST(1、6)〜CST(5、10)の範囲では、uの増加に伴って焦点検出用画素が右方向にシフトする規則は同一だが、wの増加に伴って焦点検出用画素の配置は下方向にシフトする点が異なる。
【0149】
また、第1のフィールドの下側には、不図示の第3のフィールドが配置される。第3のフィールド、すなわちクラスタCST(6、1)〜CST(10、6)の範囲では、uの増加に伴って焦点検出用画素は左方向にシフトし、wの増加に伴って焦点検出用画素の配置は上方向にシフトする。そして第3のフィールドの右には第4のフィールドが配置される。第4のフィールド、すなわちクラスタCST(6、6)〜CST(10、10)の範囲では、uの増加に伴って焦点検出用画素は左方向にシフトし、wの増加に伴って焦点検出用画素の配置は下方向にシフトする。
【0150】
以上の規則によって構成されたフィールドの集合を図30に示す。第4の実施形態においては、2×2=4フィールドが画素配列規則上の最上位の単位となり、同図にはこれが4単位表記されている。
【0151】
図31は、前記2×2=4フィールドの格子を表記したものである。左上の第1のフィールドFLD(q、r)においては、横方向に延伸した格子線の水平偏角は+5.7度、縦方向に延伸した格子線の垂直偏角も+5.7度である。従って両格子の交差角は直角、すなわち直交格子を形成する。
【0152】
右上の第2のフィールドFLD(q、r+1)においては、横方向に延伸した格子線の水平偏角は−5.7度、縦方向に延伸した格子線の垂直偏角は+5.7度である。従って両格子の交差角は鋭角部分で表記すると焼約80度、すなわち非直交格子となる。
【0153】
左下の第3のフィールドFLD(q+1、r)においては、横方向に延伸した格子線の水平偏角は+5.7度、縦方向に延伸した格子線の垂直偏角は−5.7度である。従って両格子の交差角は鋭角部分で表記すると焼約80度、すなわち非直交格子となる。
【0154】
右下の第4のフィールドFLD(q+1、r+1)においては、横方向に延伸した格子線の水平偏角は−5.7度、縦方向に延伸した格子線の垂直偏角も−5.7度である。従って両格子の交差角は直角、すなわち直交格子となる。
【0155】
以上のごとく、第4の実施形態では格子線の水平偏角と垂直偏角の符号が正負混在するため、撮像領域全体では格子線の偏角が平均化されて実質上はゼロになる。すなわち、第1の実施形態〜3においては、水平線から+δ(δ≒5度程度の微小角)傾斜した横線と、−δ傾斜した横線では、焦点検出用画素のサンプリング特性や、出力画像を生成する際の欠陥画素分布が異なるという課題がある。これに対して第4の実施形態では、1フィールド内では第1の実施形態〜3と同様の特性を呈するが、数フィールドにまたがる広い範囲では、前記偏角の正負が相殺して、その影響が低減する。
【0156】
なお、焦点検出時のセクション配置、焦点検出領域の設定方法、焦点検出特性、及び焦点検出フローは、第1の実施形態の図12〜図22に示したものと同一なため、説明は省略する。
【0157】
以上の第4の実施形態によると、第1の実施形態の効果(1−1)〜効果(1−4)が同様に得られるとともに、例えば、以下の効果がある。
【0158】
(4−1)焦点検出用画素を結ぶ格子線の水平偏角と垂直偏角が正負混在するため、焦点検出時の被写体照度分布の角度依存性が緩和され、多様な被写体に対して高精度な焦点検出が可能となる。
【0159】
(4−2)焦点検出用画素は出力画像にとっては欠陥画素となるが、これら欠陥画素を結ぶ格子線の水平偏角と垂直偏角が正負混在するため、直線を多数含む幾何学模様に対しても、画質劣化や違和感発生を低減することができる。
【0160】
(第5の実施形態)
第1の実施形態〜第4の実施形態は、ブロック内における焦点検出用画素の位置を、クラスタ間で順にシフトする実施形態であった。以下に示す第5の実施形態は、上記シフト規則を採用せず、焦点検出用画素を完全な正方格子上に配列した実施形態である。図32〜図34を用いて第4の実施形態の構成を説明する。
【0161】
図32は第5の実施形態に係る焦点検出用画素配列を示す図で、第1の実施形態の図9に対応する。第5の実施形態においては、画素配列の最小単位であるブロックは第1の実施形態の図8と同様の規則で決定される。一方、クラスタより上位の画素配列は、第1の実施形態〜第4の実施形態においてはクラスタ間で焦点検出用画素の位置を順にシフトしていた。これに対して第5の実施形態では、全クラスタにおける焦点検出用画素の配列を同一にしている。すなわち20×20=400画素で1つのクラスタを構成するが、図32に表記された5×5=25クラスタはすべて同一の画素配列となっている。
【0162】
図33に撮像領域全域における画素配列を示す。同図において、便宜上100×100=1万画素の領域をフィールドと定義しているが、フィールドのサイズは任意と考えることができる。
【0163】
図34は、2×2=4フィールドの格子を表記したものである。同図において、横方向に延伸した格子線の水平偏角は0度、縦方向に延伸した格子線の垂直偏角も0度である。従って両格子の交差角は直角、すなわち直交格子を形成する。
【0164】
なお、水平あるいは垂直方向に延伸する細線に対する焦点検出能力は、第1の実施形態〜第4の実施形態に係る特性と同等ではない。すなわち第1の実施形態の図13及び図15で説明したように、焦点検出用画素がクラスタ間でシフトすることで、焦点検出用画像の瞳分割方向のサンプリング特性を向上させていた。しかしながら第5の実施形態では、クラスタ間で焦点検出用画素をシフトさせていないため、水平もしくは垂直方向に延伸した細線像の細く特性は若干低下する。ただし、撮像用画素のピッチ自体を狭小化し、撮像素子を高画素化することで、この欠点は低減することができる。
【0165】
また、焦点検出時のセクション配置、焦点検出領域の設定方法、及び焦点検出フローは、第1の実施形態の図16〜図22に示したものと同一なため、説明は省略する。
【0166】
以上の第5の実施形態によると、第1の実施形態の効果(1−1)〜効果(1−2)が同様に得られるとともに、例えば、以下の効果がある。
【0167】
(5−1)焦点検出用画素の配列規則が非常に簡素化されるため、焦点検出演算及び出力画像生成演算における各種演算式や演算計数が一層簡単になる。
【0168】
(第6の実施形態)
第1の実施形態〜第5の実施形態は、横ずれ検出と縦ずれ検出用の画素が等しい密度で配置される実施形態であった。以下に示す第5の実施形態は、横ずれ検出と縦ずれ検出用の画素が不等密度で配置された実施形態である。図35〜図38を用いて第6の実施形態の構成を説明する。
【0169】
図35は第6の実施形態に係る焦点検出用画素配列を示す図で、第1の実施形態の図8に対応する。図8に示した第1の実施形態では、水平方向に瞳分割を行なう焦点検出用画素SHA及びSHBは、左上のブロックBLK(1、1)と右下のブロックBLK(2、2)に配置していた。また垂直方向に瞳分割を行なう焦点検出用画素SVC及びSVDは、残りのブロックBLK(1、2)とBLK(2、1)に配置していた。これに対して図35においては、水平方向に瞳分割を行なう焦点検出用画素SHA及びSHBは、3個のブロックBLK(1、1)、BLK(2、1)、及びBLK(2、2)に配置する。そして、垂直方向に瞳分割を行なう焦点検出用画素SVC及びSVDは、残りの1つのブロックBLK(1、2)に配置される。すなわち第6の実施形態においては、2×2=4ブロックで構成された1つのクラスタにおいて、横ずれ検出用画素と縦ずれ検出用画素の配置比率が等比ではなく、3:1となっている。
【0170】
図36は、前記クラスタを単位とした配置規則を説明するための図で、第1の実施形態の図9に対応する。第6の実施形態に係るクラスタ内の画素の配置規則は第1の実施形態とは異なるが、クラスタより上位の配置規則はは第1の実施形態と同一である。従って、図36におけるフィールドの配置規則も第1の実施形態の図9と同一になる。
【0171】
図37は、前記フィールドを単位とした配置規則を説明するための図で、第1の実施形態の図10に対応する。第6の実施形態でのフィールド間の配置規則は第1の実施形態と同一なため、図37も図10と同一になる。
【0172】
図38は、2×2=4フィールドの格子を表記したもので、第1の実施形態の図11に対応する。第5の実施形態においては、白丸で表記した横ずれ検出用格子点と、黒丸で表記した縦ずれ検出用格子点の数量比は3:1となる。一方で、横方向に延伸した格子線の水平偏角と、縦方向に延伸した格子線の垂直偏角は共に+5.7度で、第1の実施形態と同一である。従って両格子の交差角は直角、すなわち直交格子を形成する。
【0173】
以上のごとく、第6の実施形態では、2次元格子の形状は第1の実施形態と同一であるが、格子点に配置された焦点検出用画素の配置順、及び配置比率が異なっている。その結果、水平方向に輝度分布を有する被写体に対する焦点検出能力は向上し、垂直方向に輝度分布を有する被写体に対する焦点検出能力は低下する。よって第6の実施形態は、撮影対象である被写体の輝度分布に異方性がある場合、例えば水平ラインが主体のプリント配線基板を検査する検査用カメラに好適であるが、用途はこれに限定されるものではない。
【0174】
なお、焦点検出時のセクション配置、焦点検出領域の設定方法、及び焦点検出フローは、第1の実施形態の図16〜図22に示したものと同一なため、説明は省略する。
【0175】
以上の第6の実施形態によると、第1の実施形態の効果(1−1)〜効果(1−4)が同様に得られるとともに、例えば、以下の効果がある。
【0176】
(6−1)焦点検出能力に異方性を付与できるため、撮影対象とする被写体の輝度分布に異方性がある場合、焦点検出精度を更に高めることができる。
【0177】
(第7の実施形態)
第1の実施形態〜第6の実施形態は、単位ブロック内には横ずれ検出用画素、もしくは縦ずれ検出用画素のいずれかを必ず配置していた。以下に示す第7の実施形態は、焦点検出用画素を配置するブロックと配置しないブロックが混在する実施形態である。図39〜図42を用いて第7の実施形態の構成を説明する。
【0178】
図39は第7の実施形態に係る焦点検出用画素配列を示す図で、第1の実施形態の図8に対応する。図8に示した第1の実施形態では、水平方向に瞳分割を行なう焦点検出用画素SHA及びSHBは、左上のブロックBLK(1、1)と右下のブロックBLK(2、2)に配置していた。また垂直方向に瞳分割を行なう焦点検出用画素SVC及びSVDは、残りのブロックBLK(1、2)とBLK(2、1)に配置していた。これに対して図39においては、水平方向に瞳分割を行なう焦点検出用画素SHA及びSHBは、左上のブロックBLK(1、1)に配置する。また、垂直方向に瞳分割を行なう焦点検出用画素SVC及びSVDは、右下のブロックBLK(2、2)に配置される。そして残りの2つのブロックBLK(1、2)、及びBLK(2、1)には焦点検出用画素は配置しない。すなわち第7の実施形態においては、2×2=4ブロックで構成された1つのクラスタにおいて、横ずれ検出用画素と縦ずれ検出用画素を配置したブロック、及び焦点検出用画素を配置しないブロックの比率が1:1:2となっている。
【0179】
図40は、前記クラスタを単位とした配置規則を説明するための図で、第1の実施形態の図9に対応する。第7の実施形態に係るクラスタ内の画素の配置規則は第1の実施形態とは異なるが、クラスタより上位の配置規則は第1の実施形態と同一である。従って、図40におけるフィールドの配置規則も第1の実施形態の図9と同一になる。
【0180】
図41は、前記フィールドを単位とした配置規則を説明するための図で、第1の実施形態の図10に対応する。第7の実施形態においても、100×100=1万画素で1フィールドを構成し、該フィールドが上下左右に繰り返し配置されることで、撮像領域が構成される。
【0181】
図42は、2×2=4フィールドの格子を表記したもので、第1の実施形態の図11に対応する。第7の実施形態においては、白丸と黒丸はそれぞれ個別の2次元格子の格子点に配置される。すなわち、1つのフィールドにおいて、白丸で表記した横ずれ検出用格子点を通る2次元格子上には、白丸のみが配置され、黒丸は配置されない。同様に、黒丸で表記した縦ずれ検出用格子点を通る2次元格子上には、黒丸のみが配置され、白丸は配置されない。
【0182】
一方で、横方向に延伸した格子線の水平偏角と、縦方向に延伸した格子線の垂直偏角は共に+5.7度で、第1の実施形態と同一である。従って両格子の交差角は直角、すなわち直交格子を形成する。
【0183】
なお、図42に示した実施形態では、フィールド同士の隣接部では格子線が不連続になる。すなわち、1つのフィールドにおける白丸用格子線を隣りのフィールドに延長すると、黒丸用格子線につながる。同様に黒丸用格子線を隣りのフィールドに延長すると、白丸用格子線につながる。そこで、この不連続性を解消した変形例を図43に示す。図43の実施形態では、4つのフィールドにおける格子線のピッチや偏角は同一であるが、白丸と黒丸の配置規則が異なる。すなわち、横ずれ検出用画素と縦ずれ検出用画素の配置規則を4フィールド間で異ならせ、4フィールドを新たな単位として撮像領域を構成することで、フィールド間の格子の不連続性を解消している。
【0184】
なお、第7の実施形態に係る2次元格子の形状は第1の実施形態と同一であるが、格子点に配置された焦点検出用画素の配置密度が半分になっている。そのため、焦点検出演算用の単位領域となる1つのセクションの大きさは、図12に示した第1の実施形態のセクションに対して、横縦ともに2倍の大きさに設定すると好適である。すなわち横ずれ検出用画素の信号を合成する領域は、200行×20列=4000画素とすればよい。また、焦点検出時のセクション配置、焦点検出領域の設定方法、及び焦点検出フローは、第1の実施形態の図16〜図22に示したものと同一なため、説明は省略する。
【0185】
以上の第7の実施形態によると、第1の実施形態の効果(1−1)〜効果(1−4)が同様に得られるとともに、例えば、以下の効果がある。
【0186】
(7−1)焦点検出用画素の配置密度が低くできるため、画素数の多い撮像素子においても、焦点検出演算の負荷が過大になることが防止でき、合焦時間の増大を回避することができる。
【0187】
以上説明した第1の実施形態〜第7の実施形態は、デジタルスチルカメラにおける実施形態を説明した。しかしながら、本技術の焦点検出装置はデジタルスチルカメラだけでなく、動画撮影を行なうカムコーダ(ムービーカメラ)、各種検査カメラ、監視カメラ、内視鏡カメラ、ロボット用カメラ等に応用しても良い。
【0188】
また、各実施形態で用いた撮像素子は、1個の画素の縦横比が等しい正方画素が2次元平面上に正方配置されているが、正方配置以外、例えばハニカム配列と称される撮像素子に適用しても構わない。また、撮像素子のカラーフィルタはRGBに限定されるものではない。
【産業上の利用可能性】
【0189】
本発明は、撮像素子を備えた電子カメラの焦点調節装置を提供するもので、特にデジタルスチルカメラ、ムービーカメラに有用である。
【図面の簡単な説明】
【0190】
【図1】本発明の好適な実施形態に係るカメラの構成図である。
【図2】本発明の好適な実施形態に係る撮像素子の回路図である。
【図3】本発明の好適な実施形態に係る撮像素子の画素部断面図である。
【図4】本発明の好適な実施形態に係る撮像素子の駆動タイミングチャートである。
【図5】本発明の好適な第1の実施形態に係る撮像素子の撮像用画素の平面図と断面図である。
【図6】本発明の好適な第1の実施形態に係る撮像素子の焦点検出用画素の平面図と断面図である。
【図7】本発明の好適な第1の実施形態に係る撮像素子の他の焦点検出用画素の平面図と断面図である。
【図8】本発明の好適な第1の実施形態に係る撮像素子の最小単位の画素配列説明図である。
【図9】本発明の好適な第1の実施形態に係る撮像素子の上位単位の画素配列説明図である。
【図10】本発明の好適な第1の実施形態に係る撮像素子の全領域における画素配列説明図である。
【図11】本発明の好適な第1の実施形態に係る焦点検出用画素の配列を2次元格子で説明した図である。
【図12】本発明の好適な第1の実施形態に係る横ずれ焦点検出時の画素グループ化方法説明図である。
【図13】本発明の好適な第1の実施形態に係る横ずれ焦点検出時の画像サンプリング特性説明図である。
【図14】本発明の好適な第1の実施形態に係る縦ずれ焦点検出時の画素グループ化方法説明図である。
【図15】本発明の好適な第1の実施形態に係る縦ずれ焦点検出時の画像サンプリング特性説明図である。
【図16】本発明の好適な第1の実施形態に係る横ずれ焦点検出時の焦点検出領域の設定方法説明図である。
【図17】本発明の好適な第1の実施形態に係るクロス式の焦点検出時の焦点検出領域の設定方法説明図である。
【図18】本発明の好適な第1の実施形態に係る撮像素子の瞳分割状況を説明する概念図である。
【図19】本発明の好適な第1の実施形態に係る焦点検出領域説明図である。
【図20】本発明の好適な第1の実施形態に係るメイン制御フロー図である。
【図21】本発明の好適な第1の実施形態に係る焦点検出サブルーチンフロー図である。
【図22】本発明の好適な第1の実施形態に係る撮影サブルーチンフロー図である。
【図23】本発明の好適な第2の実施形態に係る撮像素子の最小単位の画素配列説明図である。
【図24】本発明の好適な第2の実施形態に係る撮像素子の上位単位の画素配列説明図である。
【図25】本発明の好適な第2の実施形態に係る撮像素子の全領域における画素配列説明図である。
【図26】本発明の好適な第2の実施形態に係る焦点検出用画素の配列を2次元格子で説明した図である。
【図27】本発明の好適な第3の実施形態に係る撮像素子の最小単位の画素配列説明図である。
【図28】本発明の好適な第3の実施形態に係る撮像素子の上位単位の画素配列説明図である。
【図29】本発明の好適な第4の実施形態に係る撮像素子の上位単位の画素配列説明図である。
【図30】本発明の好適な第4の実施形態に係る撮像素子の全領域における画素配列説明図である。
【図31】本発明の好適な第4の実施形態に係る焦点検出用画素の配列を2次元格子で説明した図である。
【図32】本発明の好適な第5の実施形態に係る撮像素子の上位単位の画素配列説明図である。
【図33】本発明の好適な第5の実施形態に係る撮像素子の全領域における画素配列説明図である。
【図34】本発明の好適な第5の実施形態に係る焦点検出用画素の配列を2次元格子で説明した図である。
【図35】本発明の好適な第6の実施形態に係る撮像素子の最小単位の画素配列説明図である。
【図36】本発明の好適な第6の実施形態に係る撮像素子の上位単位の画素配列説明図である。
【図37】本発明の好適な第6の実施形態に係る撮像素子の全領域における画素配列説明図である。
【図38】本発明の好適な第6の実施形態に係る焦点検出用画素の配列を2次元格子で説明した図である。
【図39】本発明の好適な第7の実施形態に係る撮像素子の最小単位の画素配列説明図である。
【図40】本発明の好適な第7の実施形態に係る撮像素子の上位単位の画素配列説明図である。
【図41】本発明の好適な第7の実施形態に係る撮像素子の全領域における画素配列説明図である。
【図42】本発明の好適な第7の実施形態に係る焦点検出用画素の配列を2次元格子で説明した図である。
【図43】本発明の好適な第7の実施形態に係る焦点検出用画素の他の配列を2次元格子で説明した図である。
【符号の説明】
【0191】
101 撮影光学系(結像光学系)
107 撮像素子(撮像手段)
HA及びSHB 第1の焦点検出用画素(焦点検出手段)
VC及びSVD 第2の焦点検出用画素(焦点検出手段)
LTH 水平格子(第1の格子線)
LTV 垂直格子(第2の格子線)
BLK 画素の集合単位を表わすブロック

【特許請求の範囲】
【請求項1】
被写体像を形成する結像光学系と、前記被写体像を光電変換する撮像手段と、前記撮像手段の画素信号から結像光学系の焦点状態を検出する焦点検出手段と、を備えた焦点検出装置であって、
前記焦点検出手段は、
前記結像光学系の射出瞳を第1の方向に瞳分割した光束を受光するための第1の焦点検出用画素と、
前記第1の方向とは異なる第2の方向に瞳分割した光束を受光するための第2の焦点検出用画素と、
を有し、
前記第1、第2の焦点検出用画素は、前記撮像手段の所定の単位領域内に設定された第1の格子線群とこれに交差する第2の格子線群とで構成された2次元格子の格子点近傍に、それぞれ周期的に配置されていることを特徴とする焦点検出装置。
【請求項2】
前記第1の格子線群は、互いに平行かつ等間隔の直線群で構成され、
前記第2の格子線群は、互いに平行かつ等間隔の直線群で構成され、
前記第1、第2の格子線群は、それぞれ90度の角度で交差していることを特徴とする請求項1に記載の焦点検出装置。
【請求項3】
前記第1、第2の格子線群の延伸方向は、それぞれ前記第1、第2の方向と一致していることを特徴とする請求項1に記載の焦点検出装置。
【請求項4】
前記2次元格子の任意の格子線には、前記第1、第2の焦点検出用画素が交互に配置されていることを特徴とする請求項1に記載の焦点検出装置。
【請求項5】
前記第1、第2の格子線群の少なくとも一方に隣接して平行に配置された任意の2本の格子線において、一方の格子線には前記第1の焦点検出用画素が配置され、他方の格子線には前記第2の焦点検出用画素が配置されていることを特徴とする請求項1に記載の焦点検出装置。
【請求項6】
前記焦点検出手段は、前記単位領域を複数の個別領域に分割し、分割した前記個別領域内の複数の画素の信号を合成して焦点検出演算用信号を生成することを特徴とする請求項1に記載の焦点検出装置。
【請求項7】
前記撮像手段の撮像領域には、複数の前記単位領域が配置されていることを特徴とする請求項1に記載の焦点検出装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate

【図32】
image rotate

【図33】
image rotate

【図34】
image rotate

【図35】
image rotate

【図36】
image rotate

【図37】
image rotate

【図38】
image rotate

【図39】
image rotate

【図40】
image rotate

【図41】
image rotate

【図42】
image rotate

【図43】
image rotate


【公開番号】特開2009−217074(P2009−217074A)
【公開日】平成21年9月24日(2009.9.24)
【国際特許分類】
【出願番号】特願2008−61844(P2008−61844)
【出願日】平成20年3月11日(2008.3.11)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】