撮像装置
【課題】焦点検出領域にて、演算時間の増加を抑えつつ良好な精度で焦点検出を行う。
【解決手段】撮像装置は、撮影光学系1301の射出瞳のうち互いに異なる領域を通過した光束により形成された一対の被写体像を光電変換する複数の画素を含む撮像素子100と、撮像素子のうち第1の方向に延びる画素ラインを第1の方向に直交する第2の方向に複数含む焦点検出領域602における各画素ラインからの出力を用いて、一対の被写体像に対応する一対の像信号を画素ラインごとに生成する信号生成手段1306とを有する。演算手段1309は、画素ラインごとに、一対の像信号の第1の方向への相対的なシフト量に応じた一対の像信号の相関値の変化を示す第1の相関データを生成し、複数の画素ラインに対して生成した第1の相関データを加算して第2の相関データを生成し、該第2の相関データから撮影光学系のデフォーカス量を算出する。
【解決手段】撮像装置は、撮影光学系1301の射出瞳のうち互いに異なる領域を通過した光束により形成された一対の被写体像を光電変換する複数の画素を含む撮像素子100と、撮像素子のうち第1の方向に延びる画素ラインを第1の方向に直交する第2の方向に複数含む焦点検出領域602における各画素ラインからの出力を用いて、一対の被写体像に対応する一対の像信号を画素ラインごとに生成する信号生成手段1306とを有する。演算手段1309は、画素ラインごとに、一対の像信号の第1の方向への相対的なシフト量に応じた一対の像信号の相関値の変化を示す第1の相関データを生成し、複数の画素ラインに対して生成した第1の相関データを加算して第2の相関データを生成し、該第2の相関データから撮影光学系のデフォーカス量を算出する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被写体像を光電変換する撮像素子からの出力を用いて撮影光学系の焦点検出を行う撮像装置に関する。
【背景技術】
【0002】
上記のような撮像装置は、撮影光学系の射出瞳における互いに異なる2つの領域(以下、瞳領域という)を通った光束により形成された一対の被写体像を、撮像素子上に設けられた焦点検出用の複数の画素により光電変換し、これら画素から一対の像信号を得る。そして、該一対の像信号の相関演算によってこれら像信号の相対的位置ずれ量(像ずれ量)である位相差を算出し、該位相差から撮影光学系の焦点状態を示すデフォーカス量を算出する。このような焦点検出方式は、撮像面位相差検出方式とも称される。
【0003】
特許文献1,2にて開示された撮像装置では、1つの焦点検出画素に対して集光作用を有する1つのマイクロレンズと2つに分割されたフォトダイオード(以下、PDという)とを設け、該2つのPDが2つの瞳領域からの光束を受光するように構成されている。このような焦点検出画素を撮像素子に複数設けることで、上述した一対の像信号を得ることができる。
【0004】
また、特許文献3,4にて開示された撮像装置では、PDの前に設けられた配線層の開口の画素中心に対する偏り方向が互いに異なる2つの焦点検出画素群を撮像素子に設け、該2つの焦点検出画素群が2つの瞳領域からの光束を受光することで一対の像信号を得る。
【0005】
このような撮像面位相差検出方式において、各像信号は、撮像素子上に2次元(複数の画素行×複数の画素列)の画素領域として設けられた焦点検出領域から得ることが望ましい。1画素行のみからなる焦点検出領域では、良好な焦点検出を行うには狭すぎるためである。このため、特許文献4にて開示されているように、各画素行に含まれる複数の画素の出力を該画素行が延びる方向に射影して画素行ごとの出力を生成する。そして、画素行ごとの出力を画素列が延びる方向に並べて2次元の焦点検出領域から1次元の像信号を生成することができる。また、同特許文献には、画素行ごとに一対の像信号を生成して該一対の像信号の位相差(像ずれ量)を算出し、複数の画素行の像ずれ量を加算することで、2次元の焦点検出領域の像ずれ量を得る方法も開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2001−083407号公報
【特許文献2】特開2001−250931号公報
【特許文献3】特許第3592147号公報
【特許文献4】特開2010−152161号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献4にて開示された像信号の生成方法のうち前者の方法では、2次元に配置された画素からの出力が1次元の出力に圧縮されてしまうため、斜め線等の特定の被写体に対する焦点検出性能が低下する。また、後者の方法では、画素行ごとに像ずれ量を演算する必要があり、上述した特定の被写体に対する焦点検出性能はある程度確保されるものの、多くの演算時間を要する。
【0008】
本発明は、画素が2次元に配置された焦点検出領域にて焦点検出を行う場合に、演算時間の増加を抑えつつ、様々な被写体に対して良好な精度で焦点検出を行えるようにした撮像装置を提供する。
【課題を解決するための手段】
【0009】
本発明の一側面としての撮像装置は、撮影光学系の射出瞳のうち互いに異なる領域を通過した光束によりそれぞれ形成された一対の被写体像を光電変換するための複数の画素を含む撮像素子と、該撮像素子のうち、第1の方向に複数並んだ画素により構成される画素ラインを第1の方向に直交する第2の方向に複数含む画素領域を焦点検出領域とし、該焦点検出領域における各画素ラインからの出力を用いて、一対の被写体像に対応する一対の像信号を画素ラインごとに生成する信号生成手段と、画素ラインごとに生成された一対の像信号を用いて撮影光学系のデフォーカス量を算出する演算手段とを有する。そして、演算手段は、画素ラインごとに、一対の像信号を第1の方向に相対的にシフトさせ、そのシフト量に応じた一対の像信号の相関値の変化を示す第1の相関データを生成し、複数の画素ラインのそれぞれに対して生成した第1の相関データを相互に加算して第2の相関データを生成し、該第2の相関データからデフォーカス量を算出することを特徴とする。
【0010】
本発明の他の一側面としての焦点検出方法は、撮影光学系の射出瞳のうち互いに異なる領域を通過した光束によりそれぞれ形成された一対の被写体像を光電変換するための複数の画素を含む撮像素子を有する撮像装置に適用される。該焦点検出方法は、撮像素子のうち、第1の方向に複数並んだ画素により構成される画素ラインを第1の方向に直交する第2の方向に複数含む画素領域を焦点検出領域とし、該焦点検出領域における各画素ラインからの出力を用いて、一対の被写体像に対応する一対の像信号を画素ラインごとに生成するステップと、画素ラインごとに生成された一対の像信号を用いて撮影光学系のデフォーカス量を算出する演算ステップとを有する。そして、演算ステップにおいて、画素ラインごとに、一対の像信号を第1の方向に相対的にシフトさせ、そのシフト量に応じた一対の像信号の相関値の変化を示す第1の相関データを生成し、複数の画素ラインのそれぞれに対して生成した第1の相関データを相互に加算して第2の相関データを生成し、該第2の相関データからデフォーカス量を算出することを特徴とする。
【発明の効果】
【0011】
本発明によれば、画素が2次元に配置された焦点検出領域において、演算時間の増加を抑えつつ、様々な被写体に対して良好な精度で焦点検出(デフォーカス量の算出)を行うことができる。
【図面の簡単な説明】
【0012】
【図1】本発明の実施例1である撮像装置に用いられる撮像素子の構成を示す図。
【図2】実施例1における撮像素子上の1画素の構成を示す図。
【図3】実施例1における撮像素子上の画素アレイを示す図。
【図4】実施例1における撮像素子上への結像の様子を示す図。
【図5】実施例1における位相差検出方式での一対の像信号の関係を説明する図。
【図6】実施例1における撮像素子上の焦点検出領域を示す図。
【図7】実施例1における焦点検出演算処理を示すフローチャート。
【図8】実施例1における第2の相関データと焦点状態との関係を示す図。
【図9】本発明の実施例2における撮像素子上の焦点検出領域を示す図。
【図10】本発明の実施例3における撮像素子上の焦点検出領域を示す図。
【図11】実施例3における焦点検出演算処理を示すフローチャート。
【図12】実施例3の変形例における焦点検出演算処理を示すフローチャート。
【図13】本発明の実施例4である撮像装置の構成を示す図。
【発明を実施するための形態】
【0013】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例1】
【0014】
図1には、本発明の実施例である撮像装置において用いられる撮像素子の構成を示している。撮像素子100には、第1の方向である水平方向と該第1の方向に直交する第2の方向である垂直方向とにそれぞれ複数の画素がマトリクス(行列)状に配置された画素アレイ101が設けられている。以下の説明において、水平方向に直線状に並んだ画素のまとまりを画素行(画素ライン)といい、垂直方向に直線状に並んだ画素のまとまりを画素列という。すなわち、画素アレイ101は、水平方向に複数並んだ画素により構成される画素行を、垂直方向に複数含む。
【0015】
撮像素子100は、画素アレイ101において垂直方向に並んだ複数の画素行のうち1つを選択する垂直選択回路102と、画素アレイ101において水平方向に並んだ複数の画素列のうち1つを選択する水平選択回路104とを含む。また、撮像素子100は、画素アレイ101内の画素のうち垂直選択回路102によって選択された画素の信号(画素信号)を読み出す読み出し回路103と、各回路の動作モード等を外部から決定するためのシリアルインターフェイス105とを含む。読み出し回路103は、画素信号を蓄積するメモリと、ゲインアンプと、AD変換器等を画素列ごとに有する。なお、撮像素子100は、図示された構成要素以外にも、垂直選択回路102、水平選択回路104および信号読み出し部103にタイミング信号を供給するタイミングジェネレータや、画素信号の読み出しを制御する制御回路等も備えている。
【0016】
このように構成された撮像素子100において、垂直選択回路102は複数の画素行のうち1つの画素行を順次選択し、読み出し回路103はその選択された画素行に含まれる画素の出力である画素信号を読み出す。水平選択回路104は、読み出し回路103が読み出した画素信号を画素列ごとに順次選択する。
【0017】
図2には、撮像素子100に設けられた1つの画素の構成を示している。画素201は、1つのマイクロレンズ202と、2つのフォトダイオード(以下、PDという)203,204とを有する。なお、画素は、図示された構成要素以外にも、PDからの信号を読み出し回路103に読み出すための画素増幅アンプ、画素行を選択する選択スイッチおよびPDからの信号をリセットするリセットスイッチ等を備えている。PD203,204からの画素信号をそれぞれ用いて生成された一対の像信号の位相差を算出することで、位相差検出方式の焦点検出を行うことができる。
【0018】
図3には、画素アレイ101の一部を拡大して示している。画素アレイ101には、図2で示した画素を、2次元アレイ状に複数配置して構成されており、これにより2次元画像の生成を可能とする。301,302,303,304はそれぞれ画素である。301L,302L,303L,304Lが、図2で示したPD203に相当するPDであり、301R,302R,303R,304Rが、図2で示したPD204に相当するPDである。305は1つの画素行を示している。
【0019】
図3に示した画素アレイ101を有する撮像素子100における受光について、図4を用いて説明する。図4には、撮像装置に一体に又は交換可能に設けられた撮影光学系の射出瞳406を通過した光束が撮像素子100に入射している状態を示している。401は画素アレイの断面を示している。402はマイクロレンズであり、403はカラーフィルタである。404,405はフォトダイオードであり、それぞれ図2に示したPD203,204に相当する。406は撮影レンズの射出瞳を示す。
【0020】
ここでは、射出瞳からマイクロレンズ402を有する画素に入射する光束の中心を光軸409とする。射出瞳からの光束は、光軸409を中心として撮像素子100に入射する。407,408は撮影光学系の射出瞳のうち互いに異なる領域(以下、瞳領域という)を示している。瞳領域407を通過した光束の最外周の光線を410,411で示し、瞳領域408を通過した光束の最外周の光線を412,413で示す。図4から分かるように、射出瞳を通過した光束のうち、光軸409よりも上側の光束はPD405に入射し、下側の光束はPD404に入射する。このように、PD404,405はそれぞれ、互いに異なる瞳領域を通過した一対の光束(つまりは、これら一対の光束により形成された一対の被写体像)を受光する。
【0021】
図2および図4には、1つのマイクロレンズに対して2つのPDが設けられている画素構成を示したが、1つの画素に光軸に対して一方の側に偏りを持った1つのPDを設け、その隣の画素に光軸に対して反対側に偏りを持った1つのPDを設けてもよい。これら2つの画素を一対の画素として用い、それぞれの出力である画素信号から生成された一対の像信号を用いることで、撮像面位相差検出方式の焦点検出が可能である。その他、マイクロレンズの片側に入射する光束を遮光層によって遮ることで、PDに偏りを持たせたと同じ効果を得るようにしてもよい。このように、撮像素子は、互いに異なる瞳領域からの光束を受光する1つ又は一対の画素を2次元配置したものであればよい。
【0022】
次に、図5を用いて焦点検出について説明する。本実施例では、撮像素子100(画素アレイ101)の一部に、水平方向に延びる複数の画素行が垂直方向に複数配置された画素領域としての焦点検出領域を設定する。そして、該焦点検出領域の各画素に含まれる2つのPDにより、互いに異なる瞳領域からの一対の光束により形成された一対の被写体像(以下、2像ともいう)を光電変換することで一対の像信号を得る。
【0023】
各画素行は、2像をそれぞれ光電変換する2つのPD列を含むとみなすことができる。以下の説明において、焦点検出に関しては個々のPDを画素として扱い、2つのPD列をAライン画素およびBライン画素という。
【0024】
図5の上部には、焦点検出領域のうち1つの画素行に含まれるAライン画素とBライン画素を示しており、その下に、(a)合焦状態、(b)前ピン状態および(c)後ピン状態での一対の像信号を示す。
【0025】
図3に示した画素行305のうち、画素(PD)301L,302L,303L,304LによりAライン画素が形成され、画素(PD)301R,302R,303R,304RによりBライン画素が形成される。
【0026】
Aライン画素およびBライン画素からの出力により形成される一対の像信号の間隔は、撮影光学系の焦点状態(合焦状態、前ピン状態および後ピン状態)によって変化する。そして、撮影光学系が前ピン状態または後ピン状態にある場合には、一対の像信号の間隔が合焦状態の間隔に一致するように撮影光学系に含まれるフォーカスレンズを移動させる。つまり、フォーカスレンズの移動量は、撮影光学系のデフォーカス量に対応する2像の相対的なずれ量(位相差:以下、像ずれ量という)から計算して求めることができる。
【0027】
次に図6および図7を用いて、像ずれ量の演算方法について説明する。図6(a),(b)には、撮像素子100上での焦点検出領域を示す。図6(a)に示す焦点検出領域602は、点601を領域中心として、X方向(水平方向)にp列からq列までの画素列を有し、Y方向(垂直方向)にr行からs行までの画素行(画素ライン)を含む領域である。この焦点検出領域は、−imaxから+imaxの間で水平方向にシフトすることができ、この結果、実質的に焦点検出が可能な領域は該シフト量も含んだ領域603となる。
【0028】
図6(b)には、図6(a)に示した焦点検出領域603とは異なる焦点検出領域を示している。図6(b)に示すように焦点検出領域を移動させることで、撮像素子100(つまりは撮影画面)上における任意の領域で焦点検出を行うことが可能である。
【0029】
図7のフローチャートには、図6に示した焦点検出領域から得られる像信号から、フォーカスレンズ移動量に対応するデフォーカス量を求める焦点検出演算の流れを示している。この演算は、撮像装置に設けられた演算部(演算手段)が、コンピュータプログラムに従って実行する。
【0030】
焦点検出演算をスタートした演算部は、ステップS701にて最初の画素行Y=rを選択する。次にステップS702にて、演算部は、Iy=−Imaxを設定する。ここではY=rであるので、r行のAライン画素およびBライン画素での像ずれ量を求める。以下の説明において、Aライン画素上に形成された被写体像およびその光電変換により得られた像信号をそれぞれ、A像およびA像信号といい、Bライン画素上に形成された被写体像およびその光電変換により得られた像信号をそれぞれ、B像およびB像信号という。
【0031】
次にステップS703にて、演算部は、B像信号をIy画素に相当するシフト量だけシフトする。次にステップS704にて、演算部は、以下の式(1)を用いて、A像信号とシフト後のB像信号との相関値を求める。
【0032】
【数1】
【0033】
ただし、Ax,Bxはそれぞれ、指定した画素行のAライン画素およびBライン画素における座標xの画素の出力(画素値)を示す。このように、相関値C(Iy)は、Iy画素に相当するシフト量だけ相対的にシフトしたA像信号とB像信号との差の絶対値の総和として表される。
【0034】
なお、相関値C(Iy)を、以下の式(2)で求めてもよい。
【0035】
【数2】
【0036】
式(2)では、Bライン画素から得られたB像信号だけでなく、Aライン画素から得られたA像信号もB像信号とは逆方向にシフトさせて、それらの差の絶対値の総和を求めている。具体的には、A像信号をIy画素に相当するシフト量だけシフトし、B像信号を−Iy画素に相当するシフト量だけシフトする。この場合も、相関値C(Iy)は、相対的にシフトしたA像信号とB像信号との差の絶対値の総和として表される。
【0037】
また、相関値C(Iy)を、以下の式(3)により、A像信号とIy画素に相当するシフト量だけシフトしたB像信号(相対的にシフトしたA像信号とB像信号)のうち大きい方の画素値の総和を求めることで算出してもよい。
【0038】
【数3】
【0039】
ただし、max(A,B)は、AとBのうち大きい方を選択することを表す。さらに、式は記載しないが、AとBのうち小さい方を選択する演算でも相関値を求めることが可能である。このように、相関値の演算方法は、どのような方法であってもよい。
【0040】
次にステップS705では、演算部は、Iy+1をIyに代入する(すなわち、B像信号をIy画素からさらに1画素多くシフトさせる)。そして、ステップS706では、演算部は、IyがImaxより大きいか否かを判定し、大きい場合はステップS707に進み、IyがImax以下であればステップS703,S704,S705を繰り返す。ステップS707に進む場合は、1画素行においてIyが−Imaxから+ImaxとなるまでB像信号をシフトしたときのそれぞれのシフト位置(Iy)での相関値の集合である第1の相関データC(Iy)が求まっている。第1の相関データは、1つの画素行におけるシフト量に応じた相関値の変化を示す波形データとして得られる。
【0041】
次にステップS707では、演算部は、C(Iy)+C(I)をC(I)に代入する。さらに、ステップS708では、演算部は、Y+1をYに代入する。そして、ステップS709では、演算部は、Yがsより大きいか否かを判定し、大きい場合はステップS710に進み、そうでない場合はステップS702に戻る。このようにして、Yがsになるまで、r行からs行の各画素行にて算出した第1の相関データC(Iy)を相互に加算することで、r行からs行の全画素行の相関データである第2の相関データC(I)を求める。
【0042】
ステップS710では、演算部は、第2の相関データC(I)のうち最も相関があるIを求める。これについて、図8(a)〜(c)を用いて説明する。図8(a)〜(c)において、第2の相関データC(I)は相対的にシフト量IだけずれたA像信号とB像信号の相関値を示している。式(1),(2)のように画素信号の差の絶対値の総和として相関値を求める場合は、第2の相関データC(I)の値が最も低いIが最も相関があるIである。
【0043】
図8(a)に示す合焦状態では、第2の相関データC(I)のうち最も相関があるI、すなわち第2の相関データC(I)の出力が最も低いIは、0である。また、図8(b),(c)に示す前ピン状態および後ピン状態では、第2の相関データC(I)のうち最も相関があるIは、0からそのデフォーカス方向に応じた方向にシフトしたIとなる。このシフト量Iは、位相差である像ずれ量と等価である。したがって、演算部は、最も相関があるIを求めることで、r行からs行におけるAライン画素およびBライン画素上での像ずれ量を算出する。
【0044】
次にステップS711では、演算部は、像ずれ量(シフト量I)を撮影光学系のデフォーカス量Lに換算し、処理を終了する。この後、演算部は、図示はしないが、デフォーカス量Lに基づいて算出したレンズ移動量だけフォーカスレンズを移動させて、合焦状態を得る。
【0045】
このように、本実施例によれば、焦点検出領域内の各画素行にて第1の相関データを算出し、焦点検出領域内の全画素行の第1の相関データを加算して第2の相関データを生成する。これにより、第2の相関データから最も相関のある像ずれ量を求める処理が1回で済み、焦点検出演算に要する時間を減らすことができる。
【0046】
なお、図2および図3に示した各画素(2つのPDを含む画素)は、焦点検出の際に用いられるだけではなく、記録/表示用の静止画像や動画像(フレーム画像)の生成にも用いられる。具体的には、図2に示したPD203,204からの画素信号を別々に撮像素子100から読み出し、これら画素信号を加算することで、撮像用の1画素の画素信号を生成することができ、さらにこの画素信号を用いて画像を生成することが可能である。
【実施例2】
【0047】
次に、本発明の実施例2について、図9を用いて説明する。図9には、X方向にて画素列p〜qを有し、かつY方向にて画素行rからsを有する焦点検出領域602と、最大シフト量Imaxとによって決まる実質的な焦点検出領域603のサイズを、条件に応じて変更することができることを示している。
【0048】
図9(b)で示す焦点検出領域602,603は、図9(a)に示す焦点検出領域602,603に対して狭く設定されている。この焦点検出領域のサイズの変更は、撮影光学系の焦点状態やF値等の撮像条件のうち少なくとも一方に依存してA,B像間の像ずれ量やA,B像の大きさが変化することに対応することを目的としている。例えば、F値が小さく、焦点状態が大ぼけ状態であるときは、像の大きさおよび像ずれ量とも大きいため、図9(a)に示すように、焦点検出領域602,603を大きく設定する。一方、F値が大きく、焦点状態があまり大きなぼけ状態でないときは、像の大きさおよび像ずれ量とも小さいので、図9(b)に示すように、焦点検出領域602,603を小さく設定する。
【0049】
焦点検出領域のサイズの変更は、撮像装置による静止画撮像においては1枚の静止画像の撮像ごとに行い、動画撮像においては1フレーム画像の撮像ごとに行うことが好ましい。また、動画撮像において、F値等の撮像条件が変更された際や被写体が動いた際にサイズ変更を行うことが好ましい。
【実施例3】
【0050】
次に、本発明の実施例3について、図10を用いて説明する。実施例2では、1枚の静止画像の1回の撮像ごとおよび動画の1フレーム画像の撮像ごとに焦点検出領域のサイズを水平および垂直方向に変更する場合について説明した。しかし、画素行が並ぶ垂直方向であれば、撮像を経ることなく(すなわち、1回の静止画撮像内および1フレーム画像の撮像内において)、様々な撮像条件に応じて焦点検出領域のサイズを変更することも可能である。
【0051】
図10には、撮像素子100上に設定された実質的な焦点検出領域603が、垂直方向に複数の領域(以下、分割領域という)1001,1002,1003に分割された状態を示している。各分割領域は、複数の画素行と複数の画素列を含む。そして、これらの分割領域1001,1002,1003のそれぞれから、実施例1にて説明した第2の相関データC(I)であるC1(I),C2(I)およびC3(I)を求め、これらからデフォーカス量Lを求める。
【0052】
本実施例における焦点検出演算の流れについて、図11のフローチャートを用いて説明する。この演算は、撮像装置に設けられた演算部が、コンピュータプログラムに従って実行する。
【0053】
焦点検出演算をスタートした演算部は、ステップS1101にて、n=1を設定し、最初の分割領域1001を選択する。nは分割領域1001,1002,1003に対して与えられた番号である。
【0054】
続いて演算部は、ステップS701〜S709において実施例1の同ステップと同じ処理を行って、最初の分割領域1001の各画素行の第1の相関データC1(Iy)を算出する。そして、演算部は、各画素行の第1の相関データC1(Iy)を分割領域1001の全画素行にわたって加算した第2の相関データC1(I)を求める。なお、ステップS707では、Cn(Iy)+Cn(I)をCn(I)に代入する。
【0055】
ステップS709では、演算部は、Yがs(n)より大きいか否かを判定する。s(n)は、n番目の分割領域におけるs行の画素行である。Yがs(n)になるまで、各画素行にて算出した第1の相関データCn(Iy)を全画素行において加算することで、n番目の分割領域の第2の相関データCn(I)を求めることができる。Yがs(n)より大きい場合はステップS1102に進み、Yがs(n)以下の場合はステップS701に戻る。
【0056】
ステップS1102では、演算部は、n+1をnに代入し、さらにステップS1103では、nが3より大きいか否かを判定する。nが3以下である場合は、演算部は、次の分割領域を選択し、ステップS701〜S709の処理を行って該次の分割領域の第2の相関データ(C2(I),C3(I))を求める。こうして、ステップS1103でnが3より大きくなると、演算部は、ステップS1104に進む。
【0057】
ステップS1104では、演算部は、3つの分割領域1001,1002,1003の第2の相関データCn(I)であるC1(I),C2(I),C3(I)から最適な第2の相関データ(以下、最適相関データという)C(I)を生成する。具体的には、F値が小さいときには、C1(I),C2(I),C3(I)の全てを加算して最適相関データC(I)を生成する。また、F値が大きいときには、C2(I)のみを使用して最適相関データC(I)を生成する。
【0058】
次にステップS710およびステップS711では、演算部は、実施例1で説明したように、最適相関データC(I)から最も相関があるI(像ずれ量)を求め、該Iからデフォーカス量Lを算出する。
【0059】
分割領域1001,1002,1003の第2の相関データC1(I),C2(I),C3(I)からデフォーカス量Lを求める別の方法について、図12のフローチャートを用いて説明する。ここでは、図11中のステップS1104以降の処理に代わる処理について説明する。
【0060】
ステップS1103までの処理で第2の相関データC1(I),C2(I),C3(I)が求まると、演算部は、ステップS1201に進む。ステップS1201では、演算部は、分割領域(特定の分割領域)1002の第2の相関データC2(I)から最も相関があるシフト量IであるI2、すなわち分割領域1002での像ずれ量を求める。シフト量I2の求め方は実施例1のステップS710にて説明した方法と同じである。
【0061】
次にステップS1202では、演算部は、シフト量I2が所定範囲内に入っているか否かを判定する。例えば、シフト量が小さいときは、F値が大きい、もしくはデフォーカス量Lが小さいときである。シフト量が小さく所定範囲内に入っているときは、ステップS1203に進み、演算部は、I2をI(最も相関のあるI)に代入する。この後、ステップS711に進み、演算部は、該Iからデフォーカス量Lを算出する。
【0062】
一方、シフト量が大きいときは、F値が小さく、デフォーカス量Lが大きいときである。シフト量が大きく所定範囲内に入っていないときは、演算部は、ステップS1204に進み、I2をIに代入する。このときには、焦点検出領域は大きく設定する方が適切であるので、ステップS1204では、演算部は、第2の相関データC1(I),C2(I),C3(I)を相互に加算して、最適相関データC(I)を生成する。そして、演算部は、ステップS710およびステップS711に進み、最適相関データC(I)から最も相関があるI(像ずれ量)を求め、該Iからデフォーカス量Lを算出する。このように本実施例では、まず分割領域1002にて生成された第2の相関データから像ずれ量を得る。そして、該像ずれ量に応じて、デフォーカス量を算出するために用いる第2の相関データを、分割領域1002にて生成された第2の相関データとするか分割領域1001〜1003のそれぞれにて生成された第2の相関データとするかを切り替える。
【0063】
本実施例によれば、像ずれ量(シフト量I)に応じて、画素行が並ぶ方向にて焦点検出領域のサイズを1回の静止画撮像内および1フレーム画像の撮像内において変更することができる。また、本実施例では、焦点検出領域を分割して設定された分割領域内の各画素行にて第1の相関データを算出し、これらを該分割領域の全画素行にわたって加算することで該分割領域の第2の相関データを生成する。そして、これら第2の相関データを用いて最も相関のある像ずれ量(シフト量I)を求める。このため、像ずれ量(シフト量I)を求める処理が1回で済み、焦点検出演算に要する時間を減らすことができる。
【0064】
なお、上記実施例1〜3では、画素行ごとに生成した第1の相関データを全画素行にわたって加算して第2の相関データを生成する場合について説明したが、画素列ごとに生成した第1の相関データを全画素列にわたって加算して第2の相関データを生成してもよい。また、実施例3は、焦点検出領域を画素列が並ぶ方向(水平方向)に複数に分割する場合も適用することができる。
【実施例4】
【0065】
図13には、上述した実施例1〜3にて説明した演算部を搭載した(すなわち、焦点検出演算を行う)撮像装置としてのデジタルカメラについて説明する。図13において、1301は被写体からの光束に被写体像を形成させる撮影レンズ部(撮影光学系)である。撮影レンズ部1301は、変倍レンズ、フォーカスレンズおよび絞りを含み、これらレンズおよび絞りは、後述する全体制御・演算部1309からの指令を受けたレンズ駆動部1302によって駆動される。
【0066】
1303はメカニカルシャッタであり、全体制御・演算部1309からの指令を受けたシャッタ駆動部1304によって駆動される。1305は撮影レンズ部1301により形成された被写体像を光電変換する撮像素子であり、実施例1〜3における撮像素子100に相当する。
【0067】
1306は撮像素子1305からの出力信号に対して各種処理を行う撮像信号処理回路である。撮像信号処理回路(信号生成手段)1306は、撮像素子1305のうち焦点検出領域の画素から出力された画素信号から、画素行ごとに一対の像信号を生成する。
【0068】
1307は撮像素子1305および撮像信号処理回路1306に、タイミング信号を出力するタイミング発生回路である。1309はカメラ全体の動作の制御を司るとともに、実施例1〜3にて説明した演算部として機能する全体制御・演算部である。1308は撮像信号処理回路1306にて生成された画像を一時的に記憶するメモリであり、1310は半導体メモリ等の記録媒体1311に対する画像の記録や読み出しを行う記録媒体インターフェース部である。記録媒体1311は、カメラに対して着脱が可能である。1312は各種情報や画像を表示する表示部である。
【0069】
このように構成されたデジタルカメラにおいて、メイン電源が投入されると、コントロール系の電源がオンし、さらに撮像信号処理回路1306等の撮像系回路の電源がオンされる。
【0070】
次に図示しないレリーズボタンが操作されると、全体制御・演算部1309は、撮像素子1305上の焦点検出領域内の各画素行に対して撮像信号処理回路1306により生成された一対の像信号を用いて焦点検出およびデフォーカス量の演算を行う。そして、全体制御・演算部1309は、演算結果に基づいてフォーカスレンズの移動量を算出し、レンズ駆動部1302を通じて該移動量だけフォーカスレンズを移動させて合焦状態を得る。
【0071】
合焦状態が確認された後、全体制御・演算部1309は、撮像動作を開始する。全体制御・演算部1309は、撮影信号処理回路1306に、撮像素子1305からの出力信号に対して画像処理を行わせて撮影画像(静止画又は動画)を生成させる。撮影画像は、記録媒体インターフェース部1310を介してメモリ1311に書き込まれる。
【0072】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【産業上の利用可能性】
【0073】
良好な焦点検出が可能なデジタルカメラやビデオカメラ等の撮像装置を提供できる。
【符号の説明】
【0074】
100 撮像素子
201,301〜304 画素
203,204,301L〜304L,301R〜304R フォトダイオード
【技術分野】
【0001】
本発明は、被写体像を光電変換する撮像素子からの出力を用いて撮影光学系の焦点検出を行う撮像装置に関する。
【背景技術】
【0002】
上記のような撮像装置は、撮影光学系の射出瞳における互いに異なる2つの領域(以下、瞳領域という)を通った光束により形成された一対の被写体像を、撮像素子上に設けられた焦点検出用の複数の画素により光電変換し、これら画素から一対の像信号を得る。そして、該一対の像信号の相関演算によってこれら像信号の相対的位置ずれ量(像ずれ量)である位相差を算出し、該位相差から撮影光学系の焦点状態を示すデフォーカス量を算出する。このような焦点検出方式は、撮像面位相差検出方式とも称される。
【0003】
特許文献1,2にて開示された撮像装置では、1つの焦点検出画素に対して集光作用を有する1つのマイクロレンズと2つに分割されたフォトダイオード(以下、PDという)とを設け、該2つのPDが2つの瞳領域からの光束を受光するように構成されている。このような焦点検出画素を撮像素子に複数設けることで、上述した一対の像信号を得ることができる。
【0004】
また、特許文献3,4にて開示された撮像装置では、PDの前に設けられた配線層の開口の画素中心に対する偏り方向が互いに異なる2つの焦点検出画素群を撮像素子に設け、該2つの焦点検出画素群が2つの瞳領域からの光束を受光することで一対の像信号を得る。
【0005】
このような撮像面位相差検出方式において、各像信号は、撮像素子上に2次元(複数の画素行×複数の画素列)の画素領域として設けられた焦点検出領域から得ることが望ましい。1画素行のみからなる焦点検出領域では、良好な焦点検出を行うには狭すぎるためである。このため、特許文献4にて開示されているように、各画素行に含まれる複数の画素の出力を該画素行が延びる方向に射影して画素行ごとの出力を生成する。そして、画素行ごとの出力を画素列が延びる方向に並べて2次元の焦点検出領域から1次元の像信号を生成することができる。また、同特許文献には、画素行ごとに一対の像信号を生成して該一対の像信号の位相差(像ずれ量)を算出し、複数の画素行の像ずれ量を加算することで、2次元の焦点検出領域の像ずれ量を得る方法も開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2001−083407号公報
【特許文献2】特開2001−250931号公報
【特許文献3】特許第3592147号公報
【特許文献4】特開2010−152161号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献4にて開示された像信号の生成方法のうち前者の方法では、2次元に配置された画素からの出力が1次元の出力に圧縮されてしまうため、斜め線等の特定の被写体に対する焦点検出性能が低下する。また、後者の方法では、画素行ごとに像ずれ量を演算する必要があり、上述した特定の被写体に対する焦点検出性能はある程度確保されるものの、多くの演算時間を要する。
【0008】
本発明は、画素が2次元に配置された焦点検出領域にて焦点検出を行う場合に、演算時間の増加を抑えつつ、様々な被写体に対して良好な精度で焦点検出を行えるようにした撮像装置を提供する。
【課題を解決するための手段】
【0009】
本発明の一側面としての撮像装置は、撮影光学系の射出瞳のうち互いに異なる領域を通過した光束によりそれぞれ形成された一対の被写体像を光電変換するための複数の画素を含む撮像素子と、該撮像素子のうち、第1の方向に複数並んだ画素により構成される画素ラインを第1の方向に直交する第2の方向に複数含む画素領域を焦点検出領域とし、該焦点検出領域における各画素ラインからの出力を用いて、一対の被写体像に対応する一対の像信号を画素ラインごとに生成する信号生成手段と、画素ラインごとに生成された一対の像信号を用いて撮影光学系のデフォーカス量を算出する演算手段とを有する。そして、演算手段は、画素ラインごとに、一対の像信号を第1の方向に相対的にシフトさせ、そのシフト量に応じた一対の像信号の相関値の変化を示す第1の相関データを生成し、複数の画素ラインのそれぞれに対して生成した第1の相関データを相互に加算して第2の相関データを生成し、該第2の相関データからデフォーカス量を算出することを特徴とする。
【0010】
本発明の他の一側面としての焦点検出方法は、撮影光学系の射出瞳のうち互いに異なる領域を通過した光束によりそれぞれ形成された一対の被写体像を光電変換するための複数の画素を含む撮像素子を有する撮像装置に適用される。該焦点検出方法は、撮像素子のうち、第1の方向に複数並んだ画素により構成される画素ラインを第1の方向に直交する第2の方向に複数含む画素領域を焦点検出領域とし、該焦点検出領域における各画素ラインからの出力を用いて、一対の被写体像に対応する一対の像信号を画素ラインごとに生成するステップと、画素ラインごとに生成された一対の像信号を用いて撮影光学系のデフォーカス量を算出する演算ステップとを有する。そして、演算ステップにおいて、画素ラインごとに、一対の像信号を第1の方向に相対的にシフトさせ、そのシフト量に応じた一対の像信号の相関値の変化を示す第1の相関データを生成し、複数の画素ラインのそれぞれに対して生成した第1の相関データを相互に加算して第2の相関データを生成し、該第2の相関データからデフォーカス量を算出することを特徴とする。
【発明の効果】
【0011】
本発明によれば、画素が2次元に配置された焦点検出領域において、演算時間の増加を抑えつつ、様々な被写体に対して良好な精度で焦点検出(デフォーカス量の算出)を行うことができる。
【図面の簡単な説明】
【0012】
【図1】本発明の実施例1である撮像装置に用いられる撮像素子の構成を示す図。
【図2】実施例1における撮像素子上の1画素の構成を示す図。
【図3】実施例1における撮像素子上の画素アレイを示す図。
【図4】実施例1における撮像素子上への結像の様子を示す図。
【図5】実施例1における位相差検出方式での一対の像信号の関係を説明する図。
【図6】実施例1における撮像素子上の焦点検出領域を示す図。
【図7】実施例1における焦点検出演算処理を示すフローチャート。
【図8】実施例1における第2の相関データと焦点状態との関係を示す図。
【図9】本発明の実施例2における撮像素子上の焦点検出領域を示す図。
【図10】本発明の実施例3における撮像素子上の焦点検出領域を示す図。
【図11】実施例3における焦点検出演算処理を示すフローチャート。
【図12】実施例3の変形例における焦点検出演算処理を示すフローチャート。
【図13】本発明の実施例4である撮像装置の構成を示す図。
【発明を実施するための形態】
【0013】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例1】
【0014】
図1には、本発明の実施例である撮像装置において用いられる撮像素子の構成を示している。撮像素子100には、第1の方向である水平方向と該第1の方向に直交する第2の方向である垂直方向とにそれぞれ複数の画素がマトリクス(行列)状に配置された画素アレイ101が設けられている。以下の説明において、水平方向に直線状に並んだ画素のまとまりを画素行(画素ライン)といい、垂直方向に直線状に並んだ画素のまとまりを画素列という。すなわち、画素アレイ101は、水平方向に複数並んだ画素により構成される画素行を、垂直方向に複数含む。
【0015】
撮像素子100は、画素アレイ101において垂直方向に並んだ複数の画素行のうち1つを選択する垂直選択回路102と、画素アレイ101において水平方向に並んだ複数の画素列のうち1つを選択する水平選択回路104とを含む。また、撮像素子100は、画素アレイ101内の画素のうち垂直選択回路102によって選択された画素の信号(画素信号)を読み出す読み出し回路103と、各回路の動作モード等を外部から決定するためのシリアルインターフェイス105とを含む。読み出し回路103は、画素信号を蓄積するメモリと、ゲインアンプと、AD変換器等を画素列ごとに有する。なお、撮像素子100は、図示された構成要素以外にも、垂直選択回路102、水平選択回路104および信号読み出し部103にタイミング信号を供給するタイミングジェネレータや、画素信号の読み出しを制御する制御回路等も備えている。
【0016】
このように構成された撮像素子100において、垂直選択回路102は複数の画素行のうち1つの画素行を順次選択し、読み出し回路103はその選択された画素行に含まれる画素の出力である画素信号を読み出す。水平選択回路104は、読み出し回路103が読み出した画素信号を画素列ごとに順次選択する。
【0017】
図2には、撮像素子100に設けられた1つの画素の構成を示している。画素201は、1つのマイクロレンズ202と、2つのフォトダイオード(以下、PDという)203,204とを有する。なお、画素は、図示された構成要素以外にも、PDからの信号を読み出し回路103に読み出すための画素増幅アンプ、画素行を選択する選択スイッチおよびPDからの信号をリセットするリセットスイッチ等を備えている。PD203,204からの画素信号をそれぞれ用いて生成された一対の像信号の位相差を算出することで、位相差検出方式の焦点検出を行うことができる。
【0018】
図3には、画素アレイ101の一部を拡大して示している。画素アレイ101には、図2で示した画素を、2次元アレイ状に複数配置して構成されており、これにより2次元画像の生成を可能とする。301,302,303,304はそれぞれ画素である。301L,302L,303L,304Lが、図2で示したPD203に相当するPDであり、301R,302R,303R,304Rが、図2で示したPD204に相当するPDである。305は1つの画素行を示している。
【0019】
図3に示した画素アレイ101を有する撮像素子100における受光について、図4を用いて説明する。図4には、撮像装置に一体に又は交換可能に設けられた撮影光学系の射出瞳406を通過した光束が撮像素子100に入射している状態を示している。401は画素アレイの断面を示している。402はマイクロレンズであり、403はカラーフィルタである。404,405はフォトダイオードであり、それぞれ図2に示したPD203,204に相当する。406は撮影レンズの射出瞳を示す。
【0020】
ここでは、射出瞳からマイクロレンズ402を有する画素に入射する光束の中心を光軸409とする。射出瞳からの光束は、光軸409を中心として撮像素子100に入射する。407,408は撮影光学系の射出瞳のうち互いに異なる領域(以下、瞳領域という)を示している。瞳領域407を通過した光束の最外周の光線を410,411で示し、瞳領域408を通過した光束の最外周の光線を412,413で示す。図4から分かるように、射出瞳を通過した光束のうち、光軸409よりも上側の光束はPD405に入射し、下側の光束はPD404に入射する。このように、PD404,405はそれぞれ、互いに異なる瞳領域を通過した一対の光束(つまりは、これら一対の光束により形成された一対の被写体像)を受光する。
【0021】
図2および図4には、1つのマイクロレンズに対して2つのPDが設けられている画素構成を示したが、1つの画素に光軸に対して一方の側に偏りを持った1つのPDを設け、その隣の画素に光軸に対して反対側に偏りを持った1つのPDを設けてもよい。これら2つの画素を一対の画素として用い、それぞれの出力である画素信号から生成された一対の像信号を用いることで、撮像面位相差検出方式の焦点検出が可能である。その他、マイクロレンズの片側に入射する光束を遮光層によって遮ることで、PDに偏りを持たせたと同じ効果を得るようにしてもよい。このように、撮像素子は、互いに異なる瞳領域からの光束を受光する1つ又は一対の画素を2次元配置したものであればよい。
【0022】
次に、図5を用いて焦点検出について説明する。本実施例では、撮像素子100(画素アレイ101)の一部に、水平方向に延びる複数の画素行が垂直方向に複数配置された画素領域としての焦点検出領域を設定する。そして、該焦点検出領域の各画素に含まれる2つのPDにより、互いに異なる瞳領域からの一対の光束により形成された一対の被写体像(以下、2像ともいう)を光電変換することで一対の像信号を得る。
【0023】
各画素行は、2像をそれぞれ光電変換する2つのPD列を含むとみなすことができる。以下の説明において、焦点検出に関しては個々のPDを画素として扱い、2つのPD列をAライン画素およびBライン画素という。
【0024】
図5の上部には、焦点検出領域のうち1つの画素行に含まれるAライン画素とBライン画素を示しており、その下に、(a)合焦状態、(b)前ピン状態および(c)後ピン状態での一対の像信号を示す。
【0025】
図3に示した画素行305のうち、画素(PD)301L,302L,303L,304LによりAライン画素が形成され、画素(PD)301R,302R,303R,304RによりBライン画素が形成される。
【0026】
Aライン画素およびBライン画素からの出力により形成される一対の像信号の間隔は、撮影光学系の焦点状態(合焦状態、前ピン状態および後ピン状態)によって変化する。そして、撮影光学系が前ピン状態または後ピン状態にある場合には、一対の像信号の間隔が合焦状態の間隔に一致するように撮影光学系に含まれるフォーカスレンズを移動させる。つまり、フォーカスレンズの移動量は、撮影光学系のデフォーカス量に対応する2像の相対的なずれ量(位相差:以下、像ずれ量という)から計算して求めることができる。
【0027】
次に図6および図7を用いて、像ずれ量の演算方法について説明する。図6(a),(b)には、撮像素子100上での焦点検出領域を示す。図6(a)に示す焦点検出領域602は、点601を領域中心として、X方向(水平方向)にp列からq列までの画素列を有し、Y方向(垂直方向)にr行からs行までの画素行(画素ライン)を含む領域である。この焦点検出領域は、−imaxから+imaxの間で水平方向にシフトすることができ、この結果、実質的に焦点検出が可能な領域は該シフト量も含んだ領域603となる。
【0028】
図6(b)には、図6(a)に示した焦点検出領域603とは異なる焦点検出領域を示している。図6(b)に示すように焦点検出領域を移動させることで、撮像素子100(つまりは撮影画面)上における任意の領域で焦点検出を行うことが可能である。
【0029】
図7のフローチャートには、図6に示した焦点検出領域から得られる像信号から、フォーカスレンズ移動量に対応するデフォーカス量を求める焦点検出演算の流れを示している。この演算は、撮像装置に設けられた演算部(演算手段)が、コンピュータプログラムに従って実行する。
【0030】
焦点検出演算をスタートした演算部は、ステップS701にて最初の画素行Y=rを選択する。次にステップS702にて、演算部は、Iy=−Imaxを設定する。ここではY=rであるので、r行のAライン画素およびBライン画素での像ずれ量を求める。以下の説明において、Aライン画素上に形成された被写体像およびその光電変換により得られた像信号をそれぞれ、A像およびA像信号といい、Bライン画素上に形成された被写体像およびその光電変換により得られた像信号をそれぞれ、B像およびB像信号という。
【0031】
次にステップS703にて、演算部は、B像信号をIy画素に相当するシフト量だけシフトする。次にステップS704にて、演算部は、以下の式(1)を用いて、A像信号とシフト後のB像信号との相関値を求める。
【0032】
【数1】
【0033】
ただし、Ax,Bxはそれぞれ、指定した画素行のAライン画素およびBライン画素における座標xの画素の出力(画素値)を示す。このように、相関値C(Iy)は、Iy画素に相当するシフト量だけ相対的にシフトしたA像信号とB像信号との差の絶対値の総和として表される。
【0034】
なお、相関値C(Iy)を、以下の式(2)で求めてもよい。
【0035】
【数2】
【0036】
式(2)では、Bライン画素から得られたB像信号だけでなく、Aライン画素から得られたA像信号もB像信号とは逆方向にシフトさせて、それらの差の絶対値の総和を求めている。具体的には、A像信号をIy画素に相当するシフト量だけシフトし、B像信号を−Iy画素に相当するシフト量だけシフトする。この場合も、相関値C(Iy)は、相対的にシフトしたA像信号とB像信号との差の絶対値の総和として表される。
【0037】
また、相関値C(Iy)を、以下の式(3)により、A像信号とIy画素に相当するシフト量だけシフトしたB像信号(相対的にシフトしたA像信号とB像信号)のうち大きい方の画素値の総和を求めることで算出してもよい。
【0038】
【数3】
【0039】
ただし、max(A,B)は、AとBのうち大きい方を選択することを表す。さらに、式は記載しないが、AとBのうち小さい方を選択する演算でも相関値を求めることが可能である。このように、相関値の演算方法は、どのような方法であってもよい。
【0040】
次にステップS705では、演算部は、Iy+1をIyに代入する(すなわち、B像信号をIy画素からさらに1画素多くシフトさせる)。そして、ステップS706では、演算部は、IyがImaxより大きいか否かを判定し、大きい場合はステップS707に進み、IyがImax以下であればステップS703,S704,S705を繰り返す。ステップS707に進む場合は、1画素行においてIyが−Imaxから+ImaxとなるまでB像信号をシフトしたときのそれぞれのシフト位置(Iy)での相関値の集合である第1の相関データC(Iy)が求まっている。第1の相関データは、1つの画素行におけるシフト量に応じた相関値の変化を示す波形データとして得られる。
【0041】
次にステップS707では、演算部は、C(Iy)+C(I)をC(I)に代入する。さらに、ステップS708では、演算部は、Y+1をYに代入する。そして、ステップS709では、演算部は、Yがsより大きいか否かを判定し、大きい場合はステップS710に進み、そうでない場合はステップS702に戻る。このようにして、Yがsになるまで、r行からs行の各画素行にて算出した第1の相関データC(Iy)を相互に加算することで、r行からs行の全画素行の相関データである第2の相関データC(I)を求める。
【0042】
ステップS710では、演算部は、第2の相関データC(I)のうち最も相関があるIを求める。これについて、図8(a)〜(c)を用いて説明する。図8(a)〜(c)において、第2の相関データC(I)は相対的にシフト量IだけずれたA像信号とB像信号の相関値を示している。式(1),(2)のように画素信号の差の絶対値の総和として相関値を求める場合は、第2の相関データC(I)の値が最も低いIが最も相関があるIである。
【0043】
図8(a)に示す合焦状態では、第2の相関データC(I)のうち最も相関があるI、すなわち第2の相関データC(I)の出力が最も低いIは、0である。また、図8(b),(c)に示す前ピン状態および後ピン状態では、第2の相関データC(I)のうち最も相関があるIは、0からそのデフォーカス方向に応じた方向にシフトしたIとなる。このシフト量Iは、位相差である像ずれ量と等価である。したがって、演算部は、最も相関があるIを求めることで、r行からs行におけるAライン画素およびBライン画素上での像ずれ量を算出する。
【0044】
次にステップS711では、演算部は、像ずれ量(シフト量I)を撮影光学系のデフォーカス量Lに換算し、処理を終了する。この後、演算部は、図示はしないが、デフォーカス量Lに基づいて算出したレンズ移動量だけフォーカスレンズを移動させて、合焦状態を得る。
【0045】
このように、本実施例によれば、焦点検出領域内の各画素行にて第1の相関データを算出し、焦点検出領域内の全画素行の第1の相関データを加算して第2の相関データを生成する。これにより、第2の相関データから最も相関のある像ずれ量を求める処理が1回で済み、焦点検出演算に要する時間を減らすことができる。
【0046】
なお、図2および図3に示した各画素(2つのPDを含む画素)は、焦点検出の際に用いられるだけではなく、記録/表示用の静止画像や動画像(フレーム画像)の生成にも用いられる。具体的には、図2に示したPD203,204からの画素信号を別々に撮像素子100から読み出し、これら画素信号を加算することで、撮像用の1画素の画素信号を生成することができ、さらにこの画素信号を用いて画像を生成することが可能である。
【実施例2】
【0047】
次に、本発明の実施例2について、図9を用いて説明する。図9には、X方向にて画素列p〜qを有し、かつY方向にて画素行rからsを有する焦点検出領域602と、最大シフト量Imaxとによって決まる実質的な焦点検出領域603のサイズを、条件に応じて変更することができることを示している。
【0048】
図9(b)で示す焦点検出領域602,603は、図9(a)に示す焦点検出領域602,603に対して狭く設定されている。この焦点検出領域のサイズの変更は、撮影光学系の焦点状態やF値等の撮像条件のうち少なくとも一方に依存してA,B像間の像ずれ量やA,B像の大きさが変化することに対応することを目的としている。例えば、F値が小さく、焦点状態が大ぼけ状態であるときは、像の大きさおよび像ずれ量とも大きいため、図9(a)に示すように、焦点検出領域602,603を大きく設定する。一方、F値が大きく、焦点状態があまり大きなぼけ状態でないときは、像の大きさおよび像ずれ量とも小さいので、図9(b)に示すように、焦点検出領域602,603を小さく設定する。
【0049】
焦点検出領域のサイズの変更は、撮像装置による静止画撮像においては1枚の静止画像の撮像ごとに行い、動画撮像においては1フレーム画像の撮像ごとに行うことが好ましい。また、動画撮像において、F値等の撮像条件が変更された際や被写体が動いた際にサイズ変更を行うことが好ましい。
【実施例3】
【0050】
次に、本発明の実施例3について、図10を用いて説明する。実施例2では、1枚の静止画像の1回の撮像ごとおよび動画の1フレーム画像の撮像ごとに焦点検出領域のサイズを水平および垂直方向に変更する場合について説明した。しかし、画素行が並ぶ垂直方向であれば、撮像を経ることなく(すなわち、1回の静止画撮像内および1フレーム画像の撮像内において)、様々な撮像条件に応じて焦点検出領域のサイズを変更することも可能である。
【0051】
図10には、撮像素子100上に設定された実質的な焦点検出領域603が、垂直方向に複数の領域(以下、分割領域という)1001,1002,1003に分割された状態を示している。各分割領域は、複数の画素行と複数の画素列を含む。そして、これらの分割領域1001,1002,1003のそれぞれから、実施例1にて説明した第2の相関データC(I)であるC1(I),C2(I)およびC3(I)を求め、これらからデフォーカス量Lを求める。
【0052】
本実施例における焦点検出演算の流れについて、図11のフローチャートを用いて説明する。この演算は、撮像装置に設けられた演算部が、コンピュータプログラムに従って実行する。
【0053】
焦点検出演算をスタートした演算部は、ステップS1101にて、n=1を設定し、最初の分割領域1001を選択する。nは分割領域1001,1002,1003に対して与えられた番号である。
【0054】
続いて演算部は、ステップS701〜S709において実施例1の同ステップと同じ処理を行って、最初の分割領域1001の各画素行の第1の相関データC1(Iy)を算出する。そして、演算部は、各画素行の第1の相関データC1(Iy)を分割領域1001の全画素行にわたって加算した第2の相関データC1(I)を求める。なお、ステップS707では、Cn(Iy)+Cn(I)をCn(I)に代入する。
【0055】
ステップS709では、演算部は、Yがs(n)より大きいか否かを判定する。s(n)は、n番目の分割領域におけるs行の画素行である。Yがs(n)になるまで、各画素行にて算出した第1の相関データCn(Iy)を全画素行において加算することで、n番目の分割領域の第2の相関データCn(I)を求めることができる。Yがs(n)より大きい場合はステップS1102に進み、Yがs(n)以下の場合はステップS701に戻る。
【0056】
ステップS1102では、演算部は、n+1をnに代入し、さらにステップS1103では、nが3より大きいか否かを判定する。nが3以下である場合は、演算部は、次の分割領域を選択し、ステップS701〜S709の処理を行って該次の分割領域の第2の相関データ(C2(I),C3(I))を求める。こうして、ステップS1103でnが3より大きくなると、演算部は、ステップS1104に進む。
【0057】
ステップS1104では、演算部は、3つの分割領域1001,1002,1003の第2の相関データCn(I)であるC1(I),C2(I),C3(I)から最適な第2の相関データ(以下、最適相関データという)C(I)を生成する。具体的には、F値が小さいときには、C1(I),C2(I),C3(I)の全てを加算して最適相関データC(I)を生成する。また、F値が大きいときには、C2(I)のみを使用して最適相関データC(I)を生成する。
【0058】
次にステップS710およびステップS711では、演算部は、実施例1で説明したように、最適相関データC(I)から最も相関があるI(像ずれ量)を求め、該Iからデフォーカス量Lを算出する。
【0059】
分割領域1001,1002,1003の第2の相関データC1(I),C2(I),C3(I)からデフォーカス量Lを求める別の方法について、図12のフローチャートを用いて説明する。ここでは、図11中のステップS1104以降の処理に代わる処理について説明する。
【0060】
ステップS1103までの処理で第2の相関データC1(I),C2(I),C3(I)が求まると、演算部は、ステップS1201に進む。ステップS1201では、演算部は、分割領域(特定の分割領域)1002の第2の相関データC2(I)から最も相関があるシフト量IであるI2、すなわち分割領域1002での像ずれ量を求める。シフト量I2の求め方は実施例1のステップS710にて説明した方法と同じである。
【0061】
次にステップS1202では、演算部は、シフト量I2が所定範囲内に入っているか否かを判定する。例えば、シフト量が小さいときは、F値が大きい、もしくはデフォーカス量Lが小さいときである。シフト量が小さく所定範囲内に入っているときは、ステップS1203に進み、演算部は、I2をI(最も相関のあるI)に代入する。この後、ステップS711に進み、演算部は、該Iからデフォーカス量Lを算出する。
【0062】
一方、シフト量が大きいときは、F値が小さく、デフォーカス量Lが大きいときである。シフト量が大きく所定範囲内に入っていないときは、演算部は、ステップS1204に進み、I2をIに代入する。このときには、焦点検出領域は大きく設定する方が適切であるので、ステップS1204では、演算部は、第2の相関データC1(I),C2(I),C3(I)を相互に加算して、最適相関データC(I)を生成する。そして、演算部は、ステップS710およびステップS711に進み、最適相関データC(I)から最も相関があるI(像ずれ量)を求め、該Iからデフォーカス量Lを算出する。このように本実施例では、まず分割領域1002にて生成された第2の相関データから像ずれ量を得る。そして、該像ずれ量に応じて、デフォーカス量を算出するために用いる第2の相関データを、分割領域1002にて生成された第2の相関データとするか分割領域1001〜1003のそれぞれにて生成された第2の相関データとするかを切り替える。
【0063】
本実施例によれば、像ずれ量(シフト量I)に応じて、画素行が並ぶ方向にて焦点検出領域のサイズを1回の静止画撮像内および1フレーム画像の撮像内において変更することができる。また、本実施例では、焦点検出領域を分割して設定された分割領域内の各画素行にて第1の相関データを算出し、これらを該分割領域の全画素行にわたって加算することで該分割領域の第2の相関データを生成する。そして、これら第2の相関データを用いて最も相関のある像ずれ量(シフト量I)を求める。このため、像ずれ量(シフト量I)を求める処理が1回で済み、焦点検出演算に要する時間を減らすことができる。
【0064】
なお、上記実施例1〜3では、画素行ごとに生成した第1の相関データを全画素行にわたって加算して第2の相関データを生成する場合について説明したが、画素列ごとに生成した第1の相関データを全画素列にわたって加算して第2の相関データを生成してもよい。また、実施例3は、焦点検出領域を画素列が並ぶ方向(水平方向)に複数に分割する場合も適用することができる。
【実施例4】
【0065】
図13には、上述した実施例1〜3にて説明した演算部を搭載した(すなわち、焦点検出演算を行う)撮像装置としてのデジタルカメラについて説明する。図13において、1301は被写体からの光束に被写体像を形成させる撮影レンズ部(撮影光学系)である。撮影レンズ部1301は、変倍レンズ、フォーカスレンズおよび絞りを含み、これらレンズおよび絞りは、後述する全体制御・演算部1309からの指令を受けたレンズ駆動部1302によって駆動される。
【0066】
1303はメカニカルシャッタであり、全体制御・演算部1309からの指令を受けたシャッタ駆動部1304によって駆動される。1305は撮影レンズ部1301により形成された被写体像を光電変換する撮像素子であり、実施例1〜3における撮像素子100に相当する。
【0067】
1306は撮像素子1305からの出力信号に対して各種処理を行う撮像信号処理回路である。撮像信号処理回路(信号生成手段)1306は、撮像素子1305のうち焦点検出領域の画素から出力された画素信号から、画素行ごとに一対の像信号を生成する。
【0068】
1307は撮像素子1305および撮像信号処理回路1306に、タイミング信号を出力するタイミング発生回路である。1309はカメラ全体の動作の制御を司るとともに、実施例1〜3にて説明した演算部として機能する全体制御・演算部である。1308は撮像信号処理回路1306にて生成された画像を一時的に記憶するメモリであり、1310は半導体メモリ等の記録媒体1311に対する画像の記録や読み出しを行う記録媒体インターフェース部である。記録媒体1311は、カメラに対して着脱が可能である。1312は各種情報や画像を表示する表示部である。
【0069】
このように構成されたデジタルカメラにおいて、メイン電源が投入されると、コントロール系の電源がオンし、さらに撮像信号処理回路1306等の撮像系回路の電源がオンされる。
【0070】
次に図示しないレリーズボタンが操作されると、全体制御・演算部1309は、撮像素子1305上の焦点検出領域内の各画素行に対して撮像信号処理回路1306により生成された一対の像信号を用いて焦点検出およびデフォーカス量の演算を行う。そして、全体制御・演算部1309は、演算結果に基づいてフォーカスレンズの移動量を算出し、レンズ駆動部1302を通じて該移動量だけフォーカスレンズを移動させて合焦状態を得る。
【0071】
合焦状態が確認された後、全体制御・演算部1309は、撮像動作を開始する。全体制御・演算部1309は、撮影信号処理回路1306に、撮像素子1305からの出力信号に対して画像処理を行わせて撮影画像(静止画又は動画)を生成させる。撮影画像は、記録媒体インターフェース部1310を介してメモリ1311に書き込まれる。
【0072】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【産業上の利用可能性】
【0073】
良好な焦点検出が可能なデジタルカメラやビデオカメラ等の撮像装置を提供できる。
【符号の説明】
【0074】
100 撮像素子
201,301〜304 画素
203,204,301L〜304L,301R〜304R フォトダイオード
【特許請求の範囲】
【請求項1】
撮影光学系の射出瞳のうち互いに異なる領域を通過した光束によりそれぞれ形成された一対の被写体像を光電変換するための複数の画素を含む撮像素子と、
前記撮像素子のうち、第1の方向に複数並んだ前記画素により構成される画素ラインを前記第1の方向に直交する第2の方向に複数含む画素領域を焦点検出領域とし、該焦点検出領域における前記各画素ラインからの出力を用いて、前記一対の被写体像に対応する一対の像信号を前記画素ラインごとに生成する信号生成手段と、
前記画素ラインごとに生成された前記一対の像信号を用いて前記撮影光学系のデフォーカス量を算出する演算手段とを有し、
前記演算手段は、
前記画素ラインごとに、前記一対の像信号を相対的に前記第1の方向にシフトさせ、そのシフト量に応じた前記一対の像信号の相関値の変化を示す第1の相関データを生成し、
前記複数の画素ラインのそれぞれに対して生成した前記第1の相関データを相互に加算して第2の相関データを生成し、
該第2の相関データから前記デフォーカス量を算出することを特徴とする撮像装置。
【請求項2】
前記演算手段は、前記焦点検出領域を前記第2の方向に複数に分割して得られる分割領域ごとに前記第1の相関データおよび前記第2の相関データを生成し、該複数の分割領域にて生成した前記第2の相関データを用いて前記デフォーカス量を算出することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記演算手段は、前記複数の分割領域のうち特定の分割領域にて生成された前記第2の相関データから得られる前記一対の像信号のずれ量に応じて、前記デフォーカス量を算出するために用いる前記第2の相関データを、前記特定の分割領域にて生成された前記第2の相関データとするか前記複数の分割領域のそれぞれにて生成された前記第2の相関データとするかを切り替えることを特徴とする請求項2に記載の撮像装置。
【請求項4】
前記焦点検出領域のサイズを、前記撮影光学系の焦点状態および前記撮影光学系のF値のうち少なくとも一方に応じて変更することを特徴とする請求項1から3のいずれか1項に記載の撮像装置。
【請求項5】
撮影光学系の射出瞳のうち互いに異なる領域を通過した光束によりそれぞれ形成された一対の被写体像を光電変換するための複数の画素を含む撮像素子を有する撮像装置における焦点検出方法であって、
前記撮像素子のうち、第1の方向に複数並んだ前記画素により構成される画素ラインを前記第1の方向に直交する第2の方向に複数含む画素領域を焦点検出領域とし、該焦点検出領域における前記各画素ラインからの出力を用いて、前記一対の被写体像に対応する一対の像信号を前記画素ラインごとに生成するステップと、
前記画素ラインごとに生成された前記一対の像信号を用いて前記撮影光学系のデフォーカス量を算出する演算ステップとを有し、
前記演算ステップにおいて、
前記画素ラインごとに、前記一対の像信号を相対的に前記第1の方向にシフトさせ、そのシフト量に応じた前記一対の像信号の相関値の変化を示す第1の相関データを生成し、
前記複数の画素ラインのそれぞれに対して生成した前記第1の相関データを相互に加算して第2の相関データを生成し、
該第2の相関データから前記デフォーカス量を算出することを特徴とする焦点検出方法。
【請求項1】
撮影光学系の射出瞳のうち互いに異なる領域を通過した光束によりそれぞれ形成された一対の被写体像を光電変換するための複数の画素を含む撮像素子と、
前記撮像素子のうち、第1の方向に複数並んだ前記画素により構成される画素ラインを前記第1の方向に直交する第2の方向に複数含む画素領域を焦点検出領域とし、該焦点検出領域における前記各画素ラインからの出力を用いて、前記一対の被写体像に対応する一対の像信号を前記画素ラインごとに生成する信号生成手段と、
前記画素ラインごとに生成された前記一対の像信号を用いて前記撮影光学系のデフォーカス量を算出する演算手段とを有し、
前記演算手段は、
前記画素ラインごとに、前記一対の像信号を相対的に前記第1の方向にシフトさせ、そのシフト量に応じた前記一対の像信号の相関値の変化を示す第1の相関データを生成し、
前記複数の画素ラインのそれぞれに対して生成した前記第1の相関データを相互に加算して第2の相関データを生成し、
該第2の相関データから前記デフォーカス量を算出することを特徴とする撮像装置。
【請求項2】
前記演算手段は、前記焦点検出領域を前記第2の方向に複数に分割して得られる分割領域ごとに前記第1の相関データおよび前記第2の相関データを生成し、該複数の分割領域にて生成した前記第2の相関データを用いて前記デフォーカス量を算出することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記演算手段は、前記複数の分割領域のうち特定の分割領域にて生成された前記第2の相関データから得られる前記一対の像信号のずれ量に応じて、前記デフォーカス量を算出するために用いる前記第2の相関データを、前記特定の分割領域にて生成された前記第2の相関データとするか前記複数の分割領域のそれぞれにて生成された前記第2の相関データとするかを切り替えることを特徴とする請求項2に記載の撮像装置。
【請求項4】
前記焦点検出領域のサイズを、前記撮影光学系の焦点状態および前記撮影光学系のF値のうち少なくとも一方に応じて変更することを特徴とする請求項1から3のいずれか1項に記載の撮像装置。
【請求項5】
撮影光学系の射出瞳のうち互いに異なる領域を通過した光束によりそれぞれ形成された一対の被写体像を光電変換するための複数の画素を含む撮像素子を有する撮像装置における焦点検出方法であって、
前記撮像素子のうち、第1の方向に複数並んだ前記画素により構成される画素ラインを前記第1の方向に直交する第2の方向に複数含む画素領域を焦点検出領域とし、該焦点検出領域における前記各画素ラインからの出力を用いて、前記一対の被写体像に対応する一対の像信号を前記画素ラインごとに生成するステップと、
前記画素ラインごとに生成された前記一対の像信号を用いて前記撮影光学系のデフォーカス量を算出する演算ステップとを有し、
前記演算ステップにおいて、
前記画素ラインごとに、前記一対の像信号を相対的に前記第1の方向にシフトさせ、そのシフト量に応じた前記一対の像信号の相関値の変化を示す第1の相関データを生成し、
前記複数の画素ラインのそれぞれに対して生成した前記第1の相関データを相互に加算して第2の相関データを生成し、
該第2の相関データから前記デフォーカス量を算出することを特徴とする焦点検出方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2013−72906(P2013−72906A)
【公開日】平成25年4月22日(2013.4.22)
【国際特許分類】
【出願番号】特願2011−210018(P2011−210018)
【出願日】平成23年9月27日(2011.9.27)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成25年4月22日(2013.4.22)
【国際特許分類】
【出願日】平成23年9月27日(2011.9.27)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]