説明

撮像装置

【課題】撮像用画素の間に離散的に配置された複数の焦点検出用画素とを有する撮像素子を備える撮像装置で、焦点検出用画素に含まれるエイリアスを低減させ、AF性能を向上させる。
【解決手段】撮像装置は、撮像レンズ101により結像された被写体像を光電変換して画像信号を生成するための複数の撮像用画素と、複数の撮像用画素の間に離散的に配置された複数の焦点検出用画素とを有する撮像素子104を備える撮像部と、撮像部から連続的に得られる互いに位置がずれた複数回の画像信号に含まれる撮像用画素の信号を用いて、複数回の画像のずれ量を検出するずれ検出部119と、ずれ検出部により検出されたずれ量に基づいて、複数回の画像に含まれる焦点検出用画素の信号を合成する合成部121と、合成部により合成された焦点検出用画素の信号を用いて撮像レンズの焦点調節を行う焦点調節部102とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デジタルカメラ等の撮像装置における自動焦点調節技術に関するものである。
【背景技術】
【0002】
近年のデジタルスチルカメラなどの固体撮像装置に含まれる撮像素子は、画素数が飛躍的に増大し、高速かつ高精度な画像処理を行うことが課題となっている。
【0003】
従来より、自動焦点調節(以下AFという)を高速且つ高精度に行うために、図7および図8に示すように、撮像素子601の一部の画素にAF用の画素(以下焦点検出用画素という)を設ける技術が提案されている。図7のように、瞳位置が対称的になるように受光部分を分割し、一方を焦点検出用画素(A像)501、他方を焦点検出用画素(B像)502とする。
【0004】
この焦点検出用画素(A像)501と焦点検出用画素(B像)502は、図8のように撮像素子の全画素に対して数%の割合で散在している。同一水平位置に存在する焦点検出用画素(A像)604と、焦点検出用画素(B像)605との位相差を比較することにより焦点検出を行う。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平9−65219号公報
【特許文献2】特開平9−74524号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところが、このような従来の構成では、焦点検出用画素が離散的に配置されているためエイリアス(折り返し歪み)が発生しやすく、エイリアスが発生することによりAF性能が著しく低下するという問題がある。
【0007】
画素情報に含まれるエイリアスを低減させる従来技術として、次のような提案がなされている。
【0008】
特許文献1では、シフト手段により撮像素子の変位を繰り返して、等価的に光学的なローパスフィルタを形成し、ビデオ信号の折り返し歪みの発生を有効に回避する技術が提案されている。
【0009】
また、特許文献2では、第1解像度の画像の入力の際にモアレが検出されると、イメージシフト手段を用いて解像度を高めた第2解像度の画像を合成する。そして、モアレ検出結果がモアレ無しであればモアレ除去回路を動作させないので消費電力を抑えられる、という技術が提案されている。
【0010】
ところが、特許文献1及び特許文献2における提案は、撮像素子に散在する焦点検出用画素のエイリアスを低減させることを目的とした提案ではなく、また手振れがある場合の対処法には触れられていない。また一般に、エイリアスが含まれている画像を用いてのマッチング演算による位置ずれ量の検出は失敗しやすい傾向にあるため、従来までの技術では焦点検出用画素のエイリアスを低減させることは困難であった。
【0011】
従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、焦点検出用画素に含まれるエイリアスを低減させ、AF性能を向上させることである。
【課題を解決するための手段】
【0012】
上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、撮像レンズにより結像された被写体像を光電変換して画像信号を生成するための複数の撮像用画素と、該複数の撮像用画素の間に離散的に配置された複数の焦点検出用画素とを有する撮像素子を備える撮像手段と、前記撮像手段から連続的に得られる互いに位置がずれた複数枚の画像信号に含まれる前記撮像用画素の信号を用いて、前記複数枚の画像のずれ量を検出するずれ検出手段と、前記ずれ検出手段により検出されたずれ量に基づいて、前記複数枚の画像に含まれる前記焦点検出用画素の信号を合成する合成手段と、前記合成手段により合成された前記焦点検出用画素の信号を用いて前記撮像レンズの焦点調節を行う焦点調節手段と、を備えることを特徴とする。
【発明の効果】
【0013】
本発明によれば、焦点検出用画素に含まれるエイリアスを低減させ、AF性能を向上させることが可能となる。
【図面の簡単な説明】
【0014】
【図1】本発明の第1の実施形態に係わる撮像装置の回路構成を示す図である。
【図2】1回目の撮像(基準画像)から2回目がずれた様子を説明する図である。
【図3】2回目のずれた焦点検出用画素を1回目の焦点検出用画素の位置に加算平均する様子を示す図である。
【図4】2回目のずれた焦点検出用画素を1回目の焦点検出用画素と同じ水平位置に補間する様子を示す図である。
【図5】AF枠を説明する図である。
【図6】本発明の第2の実施形態に係わる撮像装置の回路構成を示す図である。
【図7】瞳位置が対称的に分割された焦点検出用画素を示す図である。
【図8】焦点検出用画素が撮像素子上に離散的に存在する様子を示す図である。
【発明を実施するための形態】
【0015】
以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。
【0016】
(第1の実施形態)
図1は、本発明の第1の実施形態に係わる撮像装置の回路構成を示す図である。
【0017】
図1において、101は撮像レンズ、102は撮像レンズ101を駆動させるレンズ駆動回路、103は露出の調整を行う絞り、104は光信号を光電変換し、一部の光電変換セル(撮像用画素)が離散的に配置された焦点検出用の焦点検出用画素に置き換えられている撮像素子である。なお、撮像レンズ101は、1枚のレンズとして示されているが、通常は複数枚のレンズ及びレンズ群から構成される。120は撮像素子104の位置をシフトさせるアクチュエータ、105は固定値の周期である水平同期信号HDおよび垂直同期信号VDを生成する同期信号発生器(以下SSGという)である。106はHDとVDに同期した撮像素子104を駆動させる制御信号を生成するタイミングジェネレータ(以下TGという)、107は撮像素子104から出力されるアナログ画像信号をデジタル画像信号に変換するA/D変換回路である。109は色変換処理などを行う信号処理回路、122は画像データから焦点検出用画素のデータのみを抽出する焦点検出用画素抽出回路である。108は図7に示したような焦点検出用画素(A像)および焦点検出用画素(B像)の位相差を検出する位相差AF回路、119は連続して取り込んだ(連続的に得られた)2回の画像のずれ量を焦点検出用画素以外の撮像画素から求めるずれ量検出回路である。121は複数回のAF抽出画素を合成し、1回のAF抽出画像を生成する焦点検出用画素合成回路、123は焦点検出用画素抽出回路122または焦点検出用画素合成回路121の出力を選択して位相差AF回路108へ入力させるスイッチ回路である。111はDRAM、110はDRAM111とインターフェースを行うメモリ制御回路、112は画像データの拡大縮小を行う変倍回路、113は各回路のモードやパラメータを決定し、撮像装置全体を制御するシステムコントローラである。115は画像データを表示するモニタ、114はモニタ115に画像データを表示させるために変調を行うビデオ変調回路である。116は画像データをJPEG圧縮方式などで圧縮するための圧縮回路、118は圧縮された画像データを記録する脱着可能なメディアカード、117はメディアカード118とのインターフェースを行うカード制御回路である。
【0018】
次に、図1に示したように構成される撮像装置の動作について説明する。
【0019】
撮像レンズ101を通過した被写体からの光は、絞り103において適正な光量に調整される。
【0020】
TG106は、SSG105において生成されるHDおよびVDに同期して撮像素子104が動作するようにタイミング信号を生成し、撮像素子104を駆動する。撮像素子104において、撮像レンズ101により結像された被写体像はアナログの画像信号に光電変換され、このアナログの画像信号は、A/D変換回路107においてデジタル画像データに変換される。
【0021】
焦点検出用画素抽出回路122において、画像データの中から焦点検出用画素データのみを抽出し、焦点検出用画素合成回路121およびスイッチ回路123を介して位相差AF回路108へ出力する。
【0022】
位相差AF回路108において、焦点検出用画素データのA像とB像の位相差を比較し、位相差情報をシステムコントローラ113へ出力する。システムコントローラ113は位相差情報に従って、撮像レンズ101内の焦点調節用レンズの駆動量をレンズ駆動回路102に伝えることにより焦点調節を行う。
【0023】
撮像画素により得られた画像データは、信号処理回路109において色変換などの信号処理が施され、メモリ制御回路110を介してDRAM111へ一度書き込まれ、ずれ量検出回路119へ再度読み出される。
【0024】
ここで、ずれ量検出回路119において行われるずれ量の検出について説明する。
【0025】
図2のように、撮像素子104に含まれる撮像領域201に焦点検出用画素(A像)202および焦点検出用画素(B像)203が散在する。
【0026】
1回目の撮像において、焦点検出用画素(A像)202および焦点検出用画素(B像)203に示す位置の情報が得られたとする。
【0027】
次に2回目の撮像を行う前に、アクチュエータ120によって撮像素子104の位置が撮像領域201から撮像領域204の位置へずらされる。これにより、焦点検出用画素の位置も、焦点検出用画素(A像)205および焦点検出用画素(B像)206に示す位置にずれる。なお、本実施形態においては撮像素子を動かしているが、レンズを動かしてもよい。
【0028】
さらに撮像の際に手ぶれがあると、アクチュエータ120によって動かされた撮像領域204の位置が、撮像領域207の位置にずれてしまい、焦点検出用画素の位置もそれぞれ、焦点検出用画素(A像)208および焦点検出用画素(B像)209に示す位置で2回目の撮像が行われることになる。
【0029】
1回目と2回目の画像のずれ量を求める方法としては、1回目の撮像画像と、手ぶれによるずれが含まれる2回目の撮像画像において、焦点検出用画素以外の撮像画素を用いてそれぞれマッチング演算を行う。マッチング演算に際しては、信号処理回路109において信号処理が行われDRAM111に書き込まれた1回目と2回目の画像データを再度DRAM111から読み出す。そして、1回目と2回目の撮像画素の差分が全体的に最も少ない位置を探し出すような公知の方法を用いる。
【0030】
このようにしてずれ量検出回路119においてマッチング演算によって求められたずれ量を補正した2回の画像データを焦点検出用画素合成回路121に出力する。
【0031】
焦点検出用画素合成回路121おいて次に示す2つのいずれかの方法で合成処理を行う。
【0032】
<1つ目の焦点検出用画素合成方法>
1つ目の焦点検出用画素合成方法を図3に示す。
【0033】
ある焦点検出用画素(A像)202および焦点検出用画素(B像)203の周りに位置する4組の焦点検出用画素(A像)208および焦点検出用画素(B像)209から、それぞれ重み付け演算を行い、焦点検出用画素(A像)202および焦点検出用画素(B像)203の位置に重ね合わせ、加算平均を行う。重み付けの係数は、ずれ量検出回路119においてマッチング演算によって求められたずれ量から求められる。
【0034】
図3に示すように、焦点検出用画素(A像)202の値がAF1_A、焦点検出用画素(B像)203の値がAF1_Bである1回目の焦点検出用画素の近隣に位置する2回目の撮像で得られた4組の焦点検出用画素(A像)208の値をAF2_A1、AF2_A2、AF2_A3、AF2_A4とし、焦点検出用画素(B像)209の値をAF2_B1、AF2_B2、AF2_B3、AF2_B4とする。
【0035】
また、図3のように、AF1_AおよびAF1_Bから周りに位置する4組の焦点検出用画素までの水平方向の距離の割合をH1,H2とし、垂直方向の距離の割合をV1,V2とする。
【0036】
それぞれ、H1+H2=1、V1+V2=1である。
【0037】
近隣に位置する4組の焦点検出用画素からAF1_AおよびAF1_Bの位置に対する値AF2_AおよびAF2_Bを下記の式(1)および式(2)で算出する。
【0038】
AF2_A=(AF2_A1*V2+AF2_A3*V1)*H2+(AF2_A2*V2+AF2_A4*V1)*H1 …(1)
AF2_B=(AF2_B1*V2+AF2_B3*V1)*H2+(AF2_B2*V2+AF2_B4*V1)*H1 …(2)
さらにAF1_AおよびAF1_Bと、AF2_AおよびAF2_Bと、それぞれ加算平均を行い、この位置における焦点検出用画素情報AF_AおよびAF_Bを式(3)および式(4)で算出する。
【0039】
AF_A=(AF1_A+AF2_A)/2 …(3)
AF_B=(AF1_B+AF2_B)/2 …(4)
同様にして複数回のAF抽出画像から合成を行うが、合成途中のAF抽出画像の値は焦点検出用画素合成回路121において記憶しておく。
【0040】
上述のようにして、焦点検出用画素合成回路121において焦点検出用画素を増やすことで高解像度化して、エイリアスを軽減させるこができる。つまり、ここでの高解像度化とは、デフォーカス量を算出する際のSAFの画素を増やすことをいう。
【0041】
複数回撮像した分だけ加算平均して得られた焦点検出用画素(A像)205および焦点検出用画素(B像)206の情報をスイッチ回路123へ出力し、位相差AF回路108に入力される。
【0042】
位相差AF回路108は、合成される前の焦点検出画素(A像)202および焦点検出画素(B像)203と、焦点検出用画素(A像)AF_Aおよび焦点検出用画素(B像)AF_Bとを用いてA像、B像の位相差を比較してデフォーカス量を求める。位相差AF回路108は、求めたデフォーカス量を、合焦のための情報をシステムコントローラ113へ出力する。
【0043】
<2つ目の焦点検出用画素の合成方法>
2つ目の焦点検出用画素の合成方法を図4に示す。
【0044】
1回目の撮像で焦点検出用画素(A像)202および焦点検出用画素(B像)203に示す位置のAF情報が得られ、2回目の撮像で焦点検出用画素(A像)208および焦点検出用画素(B像)209に示す位置のAF情報が得られるとする。
【0045】
1回目および2回目の撮像でAF情報を得られなかった位置に対して、重み付けして補間することにより、焦点検出用画素のサンプリングポイントを増やす。
【0046】
図4における合成焦点検出用画素(A像)401および合成焦点検出用画素(B像)402の位置に、A像はA像、B像はB像で補間を行う。
【0047】
合成焦点検出用画素(A像)401である焦点検出用画素値AF_Aを、近隣に存在する焦点検出用画素(A像)の焦点検出用画素値AF1_A1、AF1_A2、AF2_A1、AF2_A2、を用いて後述する式(6)で算出する。
【0048】
合成焦点検出用画素(B像)402である焦点検出用画素値AF_Bを、近隣に存在する焦点検出用画素(B像)の焦点検出用画素値AF1_B1、AF1_B2、AF2_B1、AF2_B2、を用いて後述する式(7)で算出する。
【0049】
また、AF2_A1およびAF2_A2の水平方向の距離の割合と、AF2_B1およびAF2_B2の水平方向の距離の割合をH1,H2とし、H1+H2=1である。
【0050】
AF1_A1およびAF1_A2の垂直方向の距離の割合と、AF1_B1およびAF1_B2の垂直方向の距離の割合をV1,V2とし、V1+V2=1である。
【0051】
AF_A={(AF1_A1*V2+AF1_A2*V1)+(AF2_A1*H2+AF2_A2*H1)}/2 …(6)
AF_B={(AF1_B1*V2+AF1_B2*V1)+(AF2_B1*H2+AF2_B2*H1)}/2 …(7)
このようにして、焦点検出用画素値を得られなかった位置に対して補間を行う。
【0052】
以上2回の撮像から焦点検出用画素を増やして高解像化する方法を説明した。この点、2回以上の複数回のAF抽出画像から合成を行う場合、撮像ごとに得られた焦点検出用画素の値は焦点検出用画素合成回路121において記憶しておく。2回以上の複数回の撮像が終わってから焦点検出用画素が得られなかった位置に補間を行うためである。
【0053】
また、以上2回の撮像から焦点検出用画素を増やして高解像化する方法は、3回、4回と撮像を増やしていった場合にも適用できる。すなわち、1回目の撮像と2回目の撮像、2回目の撮像と3回目の撮像、3回目の撮像と4回目の撮像といった具合である。
【0054】
上述のようにして、焦点検出用画素合成回路121において焦点検出用画素を増やすことで高解像度化して、エイリアスを軽減させるこができる。ここでの、高解像度化とは、デフォーカス量を算出する際のSAFの画素を増やすことをいう。
【0055】
複数回撮像した分だけ加算平均して得られた焦点検出用画素(A像)208および焦点検出用画素(B像)209の情報をスイッチ回路123へ出力し、位相差AF回路108に入力される。位相差AF回路108は、合成される前の焦点検出画素(A像)202および焦点検出画素(B像)203と、焦点検出用画素(A像)AF_Aおよび焦点検出用画素(B像)AF_Bとを用いてA像、B像の位相差を比較してデフォーカス量を求める。位相差AF回路108は、求めたデフォーカス量を、合焦のための情報をシステムコントローラ113へ出力する。
【0056】
システムコントローラ113は、位相差AF回路108において得られたデフォーカス量に従って、撮像レンズ101内の焦点調節用レンズの駆動量をレンズ駆動回路102に伝えることにより焦点調節を行う。
【0057】
<画像記録処理>
システムコントローラ113は、上述したような焦点調節を繰り返し行う。得られた画像データは、信号処理回路109において色変換処理などの信号処理が行われ、メモリ制御回路110によって一度DRAM111に書き込まれる。
【0058】
DRAM111から画像データをメモリ制御回路110が読み出し、変倍回路112において画像データをモニタ115に表示させるためのサイズに変倍し、またメディアカード118に記録するためのサイズに変倍する。変倍された画像データは、再度メモリ制御回路110によってDRAM111に書き込まれる。
【0059】
DRAM111から画像データをメモリ制御回路110が読み出す。そして、モニタ115に表示させるサイズに変倍された画像データは、ビデオ変調回路114においてNTSCやPALなどの方式に変調され、モニタ115に表示される。
【0060】
また、メディアカード118に記録するためのサイズに変倍された画像データは、カード制御回路によってメディアカード118に書き込まれる。
【0061】
<被写体が動いている場合>
なお、被写体が動いているような場合におけるマッチング演算の方法を説明する。
【0062】
図5に示すようにAF枠802が9個に分割されており、9個のAF枠802の内側の被写体の動きベクトルがそれぞれ異なっている。まずAF枠802ごとにそれぞれ動き検出を行い、被写体距離を検出する。どのAF枠802を合焦させるかを決定するのは、各AF枠802ごとの被写体距離検出結果に基づき自動的に決定してもよいし、ユーザーの操作によって決定されてもよい。合焦させたいAF枠802が決定され、その後も合焦させる被写体に追従してAF評価を行う場合は、そのAF枠802で検出された動きベクトルにしたがって、画像全体の位置合わせを行うようにしてもよい。
【0063】
<ずれ量>
上述した画像のずれは画素ずらしによって生じるものであってもよい。ここでいう画素ずらしは、撮像画素数を増やすための処理、または手振れを軽減するための処理などがある。
【0064】
なお、ずれ量検出回路119が求めるずれ量は、撮像画素数を増やすために撮像領域201、204または207をずらした場合のずれ量でもよい。また、手振れを軽減するために、撮像領域201、204または207をずらした場合のずれ量でもよい。
【0065】
(第2の実施形態)
図6は、本発明の第2の実施形態に係わる撮像装置の回路構成を示す図である。
【0066】
第1の実施形態の回路構成図である図1と同じ回路については同じ番号を付している。
【0067】
第1の実施形態との相違点は、ずれ量検出回路119の変わりに手ぶれ検出回路124が設けられている点である。手ぶれ検出回路124はジャイロなどで振動を検知し、手ぶれによるずれ量を測定する。このずれ量を焦点検出用画素合成回路121およびシステムコントローラ113へ出力する。
【0068】
焦点検出用画素合成回路121において、DRAM111から画像データが読み出され、手ぶれ検出回路124において検出されたずれ量を重み付けの係数とし、第1の実施形態でも述べたように焦点検出用画素を加算平均または補間する。加算平均または補間された焦点検出用画素情報は、スイッチ回路123を介して位相差AF回路108へ出力され、AF処理が行われる。
【0069】
なお、図1および図6におけるアクチュエータ120は、手ぶれのないときに撮像素子を任意の位置に移動させ、複数回のずらした画像を得るために必要となる。しかし、手ぶれのあるときについては、ずれ量検出回路119や手ぶれ検出回路124によって画像間のずれ量を検出し、AF抽出画像の加算平均および補間する際の重み付けの係数を割り出すことができるため、設置しなくてもよい。

【特許請求の範囲】
【請求項1】
撮像レンズにより結像された被写体像を光電変換して画像信号を生成するための複数の撮像用画素と、該複数の撮像用画素の間に離散的に配置された複数の焦点検出用画素とを有する撮像素子を備える撮像手段と、
前記撮像手段から連続的に得られる互いに位置がずれた複数回の画像信号に含まれる前記撮像用画素の信号を用いて、前記複数回の画像信号のずれ量を検出するずれ検出手段と、
前記ずれ検出手段により検出されたずれ量に基づいて、前記複数回の画像信号に含まれる前記焦点検出用画素の信号を合成する合成手段と、
前記合成手段により合成される前の前記焦点検出用画素の信号と前記合成手段により合成された前記焦点検出用画素の信号とを用いて前記撮像レンズの焦点調節を行う焦点調節手段と、
を備えることを特徴とする撮像装置。
【請求項2】
前記互いに位置がずれた前記複数回の画像信号を得るために、前記撮像素子の位置をシフトさせるシフト手段をさらに備えることを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記合成手段は、前記複数回の画像信号に含まれる前記焦点検出用画素の信号とその近隣の焦点検出用画素の信号を、前記ずれ量に基づいて加算平均することによって、前記複数回の画像信号に含まれる前記焦点検出用画素の信号を合成することを特徴とする請求項1に記載の撮像装置。
【請求項4】
撮像レンズにより結像された被写体像を光電変換して画像信号を生成するための複数の撮像用画素と、該複数の撮像用画素の間に離散的に配置された複数の焦点検出用画素とを有する撮像素子を備える撮像手段を有する撮像装置の制御方法であって、
前記撮像手段から連続的に得られる互いに位置がずれた複数回の画像信号に含まれる前記撮像用画素の信号を用いて、前記複数回の画像信号のずれ量を検出するずれ検出工程と、
前記ずれ検出工程で検出されたずれ量に基づいて、前記複数回の画像信号に含まれる前記焦点検出用画素の信号を合成する合成工程と、
前記合成工程で合成される前の前記焦点検出用画素の信号と前記合成工程で合成された前記焦点検出用画素の信号とを用いて前記撮像レンズの焦点調節を行う焦点調節工程と、
を備えることを特徴とする撮像装置の制御方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2009−288780(P2009−288780A)
【公開日】平成21年12月10日(2009.12.10)
【国際特許分類】
【出願番号】特願2009−108464(P2009−108464)
【出願日】平成21年4月27日(2009.4.27)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】