オートフォーカス評価装置、撮像装置、オートフォーカス評価方法、およびプログラム
【課題】間引き読み出しにおいても効果的なオートフォーカスを行うことが可能なオートフォーカス評価装置、撮像装置、オートフォーカス評価方法、およびプログラムを提供する。
【解決手段】所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出部152と、輝度算出部で算出された輝度データを基に、複数の方向についてエッジ検出を行い、方向に応じた複数のエッジ検出値を得る方向エッジ成分検出部153,154と、方向エッジ成分検出部で検出されたエッジ検出値に基づく相関値に応じたブレンド比を設定し、設定したブレンド比を対応するエッジ検出値に乗算するブレンド比設定部155,156と、ブレンド比設定部で得られた複数のエッジ検出値を合成して焦点評価値を得る評価値取得部157とを有する。
【解決手段】所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出部152と、輝度算出部で算出された輝度データを基に、複数の方向についてエッジ検出を行い、方向に応じた複数のエッジ検出値を得る方向エッジ成分検出部153,154と、方向エッジ成分検出部で検出されたエッジ検出値に基づく相関値に応じたブレンド比を設定し、設定したブレンド比を対応するエッジ検出値に乗算するブレンド比設定部155,156と、ブレンド比設定部で得られた複数のエッジ検出値を合成して焦点評価値を得る評価値取得部157とを有する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、CCD,CMOSセンサなどの固体撮像素子を有する撮像装置のオートフォーカスの評価値を得るオートフォーカス評価装置、撮像装置、オートフォーカス評価方法、およびプログラムに関するものである。
【背景技術】
【0002】
一般的に、カメラ等の撮像装置にはオートフォーカス装置(自動焦点装置)が搭載される。
オートフォーカス装置は、オートフォーカス(以下、単にAFという場合もある)を行うために必要となる焦点評価値を算出するオートフォーカス評価装置を含んで構成される。
このオートフォーカス評価方式として種々の技術が提案されている。
【0003】
通常のAFアルゴリズムでは、合焦レンズが合焦位置に近いほど像のコントラストが高くなることに対応して、焦点評価値が極大(ピーク)となるレンズ位置を見つけて合焦レンズを駆動し、被写体に合焦させる。
ピーク位置の検出には、いわゆる山登り制御と呼ばれる手法が用いられる(たとえば特許文献1参照)。
【0004】
上記AF評価値(焦点評価値)を算出する際に、水平方向の焦点評価値のみ、あるいは水平方向および垂直方向の焦点評価値を別々に算出する。このため、横縞のような模様の着衣の被写体やブラインドなど焦点を合わせるのが非常に困難であった。
【0005】
そこで、垂直方向の焦点評価値と水平方向の焦点評価値を加算することにより、上述したような焦点を合わせることが困難な被写体に対しても効果的な焦点評価値が算出できるような技術が提案されている(特許文献2,3参照)。
【特許文献1】特開2004-280048号公報
【特許文献2】特開昭63-178674号公報
【特許文献3】特開平7-288733号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
ところで、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ(CIS)などの固体撮像素子は、高画素化が進んでいる。
このセンサ(CIS/CMOS)の高画素化に伴って、ビデオカメラおよびデジタルカメラではセンサ画素の間引き読み出し、具体的には、垂直方向間引き、および、または水平方向間引きを行うことが多々ある。
【0007】
また、ハイフレームレートのビデオカメラやデジタルカメラでは、センサ画素を大幅に間引いて読み出している。
そのため、水平方向の画素同士の相関性、垂直方向の画素同士の相関性が大幅に崩れることにより、上記手法によって得られた水平方向および垂直方向の焦点評価値を単純に加算するだけでは常に効果的なオートフォーカスができないのが現状である。
【0008】
本発明は、間引き読み出し等、状況に応じて効果的なオートフォーカスを行うことが可能なオートフォーカス評価装置、撮像装置、オートフォーカス評価方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【0009】
本発明の第1の観点のオートフォーカス評価装置は、所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出部と、上記輝度算出部で算出された輝度データを基に、複数の方向についてエッジ検出を行い、方向に応じた複数のエッジ検出値を得る方向エッジ成分検出部と、上記方向エッジ成分検出部で検出されたエッジ検出値に基づく相関値に応じたブレンド比を設定し、設定したブレンド比を対応するエッジ検出値に乗算するブレンド比設定部と、上記ブレンド比設定部で得られた複数のエッジ検出値を合成して焦点評価値を得る評価値取得部とを有する。
【0010】
本発明の第2の観点の撮像装置は、被写体像を撮像する撮像素子と、上記撮像素子からの画像データを受けて、オートフォーカス評価値を得るオートフォーカス評価装置と、を有し、上記オートフォーカス評価装置は、所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出部と、上記輝度算出部で算出された輝度データを基に、複数の方向についてエッジ検出を行い、方向に応じた複数のエッジ検出値を得る方向エッジ成分検出部と、上記方向エッジ成分検出部で検出されたエッジ検出値に基づく相関値に応じたブレンド比を設定し、設定したブレンド比を対応するエッジ検出値に乗算するブレンド比設定部と、上記ブレンド比設定部で得られた複数のエッジ検出値を合成して焦点評価値を得る評価値取得部と、を含む。
【0011】
好適には、上記ブレンド比設定部は、画素読み出し方式の垂直方向間引き読み出し、および、または水平方向間引き読み出しに応じて、垂直方向、および、または水平方向のエッジ検出値のブレンド比を変更する。
【0012】
好適には、上記ブレンド比設定部は、間引き率に応じた値にブレンド比を設定する。
【0013】
好適には、上記方向エッジ成分検出部は、上記輝度算出部で算出された輝度データを基に、画素配列において、垂直方向についてエッジ検出を行い、垂直方向エッジ検出値を得る垂直方向エッジ成分検出部と、上記輝度算出部で算出された輝度データを基に、画素配列において、水平方向についてエッジ検出を行い、水平方向エッジ検出値を得る水平方向エッジ成分検出部と、を含む。
【0014】
好適には、上記ブレンド比設定部は、上記垂直方向エッジ検出値を受けて、垂直方向エッジ加算値に基づく相関値に応じたブレンド比を設定し、垂直方向エッジ検出値に設定したブレンド比を乗算する第1のブレンド比設定部と、上記水平方向エッジ検出値を受けて、水平方向エッジ加算値に基づく相関値に応じたブレンド比を設定し、水平方向エッジ検出値に設定したブレンド比を乗算する第2のブレンド比設定部と、を含み、上記評価値取得部は、上記第1のブレンド比設定部による垂直方向エッジ検出値と上記第2のフレンド比設定部による水平方向エッジ検出値とを加算して焦点評価値を得る。
【0015】
好適には、上記第1のブレンド比設定部は、垂直方向間引き読み出しに対して垂直方向のエッジ検出値のブレンド比を変更し、上記第2のブレンド比設定部は、水平方向間引き読み出しに対して水平方向のエッジ検出値のブレンド比を変更する。
【0016】
本発明の第3の観点のオートフォーカス評価方法は、所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出ステップと、輝度算出ステップで算出された輝度データを基に、複数の方向についてエッジ検出を行い、方向に応じた複数のエッジ検出値を得る方向エッジ成分検出ステップと、上記方向エッジ成分検出ステップで検出されたエッジ検出値に基づく相関値に応じたブレンド比を設定し、設定したブレンド比を対応するエッジ検出値に乗算するブレンド比設定ステップと、上記ブレンド比設定ステップで得られた複数のエッジ検出値を合成して焦点評価値を得る評価値取得ステップとを有する。
【0017】
本発明の第4の観点は、所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出処理と、輝度算出処理で算出された輝度データを基に、複数の方向についてエッジ検出を行い、方向に応じた複数のエッジ検出値を得る方向エッジ成分検出処理と、上記方向エッジ成分検出処理で検出されたエッジ検出値に基づく相関値に応じたブレンド比を設定し、設定したブレンド比を対応するエッジ検出値に乗算するブレンド比設定処理と、上記ブレンド比設定処理で得られた複数のエッジ検出値を合成して焦点評価値を得る評価値取得処理とを含むオートフォーカス評価処理をコンピュータに実行させるプログラムである。
【0018】
本発明によれば、輝度算出部において、所定サイズに配列された画像データを基に、所定サイズの輝度データが算出され、その結果が方向エッジ成分検出部に供給される。
方向エッジ成分検出部においては、輝度算出部で算出された輝度データを基に、複数の方向についてエッジ検出が行われ、方向に応じた複数のエッジ検出値が得られる。その複数のエッジ検出値はブレンド比設定部に供給される。
ブレンド比設定部においては、方向エッジ成分検出部で検出されたエッジ検出値に基づく相関値に応じたブレンド比が設定され、設定したブレンド比が対応するエッジ検出値に乗算される。
そして、評価値取得部において、ブレンド比設定部で得られた複数のエッジ検出値が合成されて焦点評価値が得られる。
【発明の効果】
【0019】
本発明によれば、間引き読み出し等、状況に応じて効果的なオートフォーカスを行うことができる。
【発明を実施するための最良の形態】
【0020】
以下、本発明の実施形態を図面に関連付けて説明する。
【0021】
図1は、本発明の実施形態に係るオートフォーカス評価装置を適用した撮像装置の構成例を示すブロック図である。
【0022】
本撮像装置10は、図1に示すように、レンズ系11、撮像素子12、プリ処理部13、オートフォーカス装置14、オートフォーカス評価装置15、およびカメラ信号処理部16を有する。
【0023】
レンズ系11は、被写体像を撮像素子12の撮像面に結像する。
レンズ系11は、オートフォーカス装置14により、フォーカスレンズの位置が自動調整される(オートフォーカス調整される)。
【0024】
撮像素子12は、CCDやCMOSイメージセンサにより形成され、複数の単位画素がマトリクス状に配列されている。
撮像素子12は、その画素配列として、たとえば図2に示すようなベイヤ配列が採用される。
撮像素子12は、通常の読み出しと画素の間引き読み出しが可能である
【0025】
図3は、本実施形態に係る撮像素子12の単位画素の構成例を示す回路図である。
図3は、本実施形態に係る4つのトランジスタで構成されるCMOSイメージセンサの画素の一例を示している。
【0026】
各画素120は、図3に示すように、たとえばフォトダイオードからなる光電変換素子121を有する。
そして、画素120は、この1個の光電変換素子121に対して、転送トランジスタ122、リセットトランジスタ123、増幅トランジスタ124、および選択トランジスタ125の4つのトランジスタを能動素子として有する。
【0027】
光電変換素子121は、入射光をその光量に応じた量の電荷(ここでは電子)に光電変換する。
転送トランジスタ122は、光電変換素子121とフローティングディフュージョンFDとの間に接続され、転送制御線LTxを通じてそのゲート(転送ゲート)に制御信号である送信信号TGが与えられる。
これにより、転送トランジスタ122は、光電変換素子121で光電変換された電子をフローティングディフュージョンFDに転送する。
【0028】
リセットトランジスタ123は、電源ラインLVDDとフローティングディフュージョンFDとの間に接続され、リセット制御線LRSTを通してそのゲートに制御信号であるリセット信号RSTが与えられる。
これにより、リセットトランジスタ123は、フローティングディフュージョンFDの電位を電源ラインLVDDの電位にリセットする。
【0029】
フローティングディフュージョンFDには、増幅トランジスタ124のゲートが接続されている。増幅トランジスタ124は、選択トランジスタ125を介して信号線LSGNに接続され、画素部外の定電流源126とソースフォロアを構成している。
そして、選択制御線LSELを通してアドレス信号に応じた制御信号である選択信号SELが選択トランジスタ125のゲートに与えられ、選択トランジスタ125がオンする。
選択トランジスタ125がオンすると、増幅トランジスタ124はフローティングディフュージョンFDの電位を増幅してその電位に応じた電圧を信号線LSGNに出力する。信号線LSGNを通じて、各画素から出力された電圧は、カラム読み出し回路に出力される。
これらの動作は、たとえば転送トランジスタ122、リセットトランジスタ123、および選択トランジスタ125の各ゲートが行単位で接続されていることから、1行分の各画素について同時に行われる。
【0030】
撮像素子12は、画素アレイ部に配線されているリセット制御線LRST、転送制御線LTx、および選択制御線LSELが一組として画素配列の各行単位で配線されている。
これらのリセット制御線LRST、転送制御線LTx、および選択制御線LSELは、図示しない垂直走査回路により駆動される。
また、信号線LSGNは、CDS回路(相関二重サンプリング回路)等を含むカラム読み出し回路に接続される。
【0031】
プリ処理部13は、撮像素子12から読み出されたアナログ画素情報に対して標本化処理、量子化処理等を行い、アナログ信号からデジタル信号に変換(A/D変換)して、生(RAW)データをオートフォーカス評価装置15およびカメラ信号処理部16に出力する。
【0032】
オートフォーカス装置14は、オートフォーカス評価装置15により得られる焦点評価値に応じてレンズ系11のフォーカスレンズの位置を調整する(オートフォーカス調整する)。
【0033】
オートフォーカス評価装置15は、撮像素子12から画像のRAWデータを、プリ処理部13を介して受け取り、オートフォーカスを行うために必要となるAF評価値を算出する際、垂直方向および水平方向のエッジ検出結果に基づく相関値に応じてブレンド比(加算比率)を変えることにより、効果的なAF評価値を算出する。
オートフォーカス評価装置15は、たとえばセンサ画素読み出し方式の垂直方向間引き読み出し、および、または水平方向間引き読み出しに対し、水平方向および垂直方向のエッジ検出値のブレンド比(加算比率)を変えることにより、効果的なAF評価値を算出する。
【0034】
カメラ信号処理部16は、プリ処理部13の出力画像信号に対してカラー補間、ホワイトバランス、圧縮等の処理を行う。
【0035】
以下、本実施形態に係るオートフォーカス評価装置15の構成および機能についてさらに詳細に説明する。
【0036】
図4は、本実施形態に係るオートフォーカス評価装置の構成例を示すブロック図である。
【0037】
図4のオートフォーカス評価装置15は、ディレイライン151、輝度算出回路152、垂直方向エッジ成分検出回路153、水平方向エッジ成分検出回路154、第1のブレンド比設定回路155、第2のブレンド比設定回路156、および加算器157を有する。
加算器157は、焦点評価値取得部を構成する。
【0038】
ディレイライン151は、撮像素子12によるプリ処理部13を介した画像のRAWデータを受け取り、4×4サイズに展開する。
【0039】
輝度算出回路152は、ディレイライン151による4×4のデータを基に、輝度算出3×3の輝度データを得る。
輝度算出回路152は、算出した輝度データを信号S152として垂直方向エッジ成分検出回路153および水平方向エッジ成分検出回路154に出力する。
【0040】
垂直方向エッジ成分検出回路153は、輝度算出回路152で算出された3×3の輝度データを受けて、画素配列において、垂直(縦)方向VDについてエッジ検出を行い、垂直方向エッジ検出値VEを第1のブレンド比設定回路155に出力する。
【0041】
水平方向エッジ成分検出回路154は、輝度算出回路152で算出された3×3の輝度データを受けて、画素配列において、水平(横)方向HDについてエッジ検出を行い、水平方向エッジ検出値HEを第2のブレンド比設定回路156に出力する。
【0042】
第1のブレンド比設定回路155は、垂直方向エッジ検出値VEを受けて、垂直方向エッジ加算値VEBのブレンド比(加算比率)Vαを設定する。
この加算比率Vαは0より大きく1までの値、すなわち0<Vα≦1に設定可能である。
第1のブレンド比設定回路155は、垂直方向エッジ検出値VEに設定した加算比率Vαを乗算し、その結果を垂直方向エッジ検出値VEBとして加算器157に出力する。
【0043】
第2のブレンド比設定回路156は、水平方向エッジ検出値HEを受けて、水平方向エッジ加算値HEBのブレンド比(加算比率)Hαを設定する。
この加算比率Hαは0より大きく1までの値、すなわち0<Vα≦1に設定可能である。
第2のブレンド比設定回路156は、水平方向エッジ検出値HEに設定した加算比率Hαを乗算し、その結果を水平方向エッジ検出値HEBとして加算器157に出力する。
【0044】
一般的に、エッジ検出値としては、値が小さい方が画像の相関性が高く、値が大きい方が画像の相関性が低い。換言すれば、エッジ検出値が大きい場合にはそのエッジを境界として相関性の低い画像が隣接していることとなる。
そこで、第1および、または第2のブレンド比設定回路155,156は、たとえば撮像素子12の間引き読み出し時に相関性が低くなる可能性が高いことから、この間引き読み出し方法の間引き率に連動して加算比率Vα、Hαを設定するように構成される。
たとえば、2/4間引き読み出しの場合の加算比率は0.5、2/8間引き読み出しの場合の加算比率は0.25となる。
あるいは、第1および、または第2のブレンド比設定回路155,156は、たとえば方向エッジ検出値VE、HEと相関閾値VTとを比較して任意の加算比率Vα,Hαを設定するように構成することも可能である。
たとえば、方向エッジ検出値VE,HEと相関閾値VTとに差分に応じてリニアに設定することも可能であり、大小比較により選択的に加算比率Vα,Hαを設定することも可能である。
【0045】
加算器157は、第1のブレンド比設定回路155による垂直方向エッジ検出値VEBと第2のブレンド比設定回路156による水平方向エッジ検出値HEBとを合成(加算)して、焦点評価値を算出する。
この焦点評価値に応じてオートフォーカス装置14によりレンズ系11のフォーカスレンズの位置調整が行われる。
【0046】
次に、本実施形態のオートフォーカス評価装置15を構成する輝度算出回路152、垂直方向エッジ成分検出回路153、水平方向エッジ成分検出回路154、並びに第1および第2のブレンド比設定回路155,156の具体的な処理について説明する。
【0047】
図5は、4×4のベイヤ配列に対応する図であって、輝度算出回路152の処理を説明するための図である。
【0048】
輝度算出回路152は、図5に示すように、4×4のRAWデータを基に、画素配列の上下左右に隣接した4画素(R,Gr,Gb,B)をそれぞれ加算することによって3×3の輝度データを得る。
【0049】
例1[R:G:B=1:2:1]
Y0=(R+(Gr+Gb)+B)/4
【0050】
例2[R:G:B=3:6:1]
Y0=(3R+(3Gr+3Gb)+B)/10
【0051】
他の輝度も同様に算出するため、ここではその説明を省略する。
なお、輝度算出方法は必ずしもこれに限定されるものではない。
【0052】
図6は、本実施形態に係る垂直方向エッジ成分検出回路153のエッジ成分検出処理を説明するための図である。
【0053】
垂直方向エッジ成分検出回路153は、図6に示すように、輝度検出回路152によって出力される3ライン(3×3)の輝度データを用いて垂直方向のエッジ成分を検出する。
垂直方向エッジ成分検出回路153は、たとえば図6に示すように、垂直方向の3つ輝度データを用いて下記式を実現するFIRフィルタでエッジ成分を検出する。
【0054】
例:(−1,2,−1)FIRフィルタ
V0=(−Y00+2Y01−Y02)/4
V1=(−Y10+2Y11−Y12)/4
V2=(−Y20+2Y21−Y22)/4
【0055】
なお、エッジ検出方法は必ずしもこれに限定されるものではない。
【0056】
図7は、本実施形態に係る水平方向エッジ成分検出回路154のエッジ成分検出処理を説明するための図である。
【0057】
水平方向エッジ成分検出回路154は、図7に示すように、輝度検出回路152によって出力される3ライン(3×3)の輝度データを用いて水平方向のエッジ成分を検出する。
水平方向エッジ成分検出回路154は、たとえば図7に示すように、水平方向の3つ輝度データを用いて下記式を実現するFIRフィルタでエッジ成分を検出する。
【0058】
例:(−1,2,−1)FIRフィルタ
H0=(−Y00+2Y10−Y20)/4
H1=(−Y01+2Y11−Y21)/4
H2=(−Y02+2Y12−Y22)/4
【0059】
なお、エッジ検出方法は必ずしもこれに限定されるものではない。
【0060】
第1および第2のブレンド比設定回路155,156は、たとえば撮像素子12の間引き読み出し方法に連動して、垂直方向および水平方向のエッジ検出値の加算比率Vα、Hαを設定する。
【0061】
図8は、本実施形態において垂直方向の間引き読み出しの場合について説明するための図である。
【0062】
この場合、図8(A)は水平方向の読み出し時に画素配列を示し、図8(B)は垂直方向の非間引き読み出し時の相関性についての説明図を示し、図8(C)は垂直方向の間引き読み出し時の相関性についての説明図を示している。
図8(D)は図8(A)の場合のレンズ移動距離とエッジ検出値との関係を示し、図8(E)は図8(B)の場合のレンズ移動距離とエッジ検出値との関係を示し、図8(F)は図8(C)の場合のレンズ移動距離とエッジ検出値との関係を示している。
図8(G)は図8(D)と図8(E)に関する信号を加算器で加算した場合のエッジ特徴の反映状態を示し、図8(H)は図8(D)と図8(F)に関する信号を加算器で加算した場合のエッジ特徴の反映状態を示している。
【0063】
図8(B)の例においては、垂直方向の非間引き読み出しであることから、図8(E)に示すように、相関性が高く、この場合エッジ検出値が小さい。
これに対して、図8(C)では垂直方向の間引き読み出しであることから、読み出さない行がある。したがって、この場合、図8(F)に示すように、相関性が低く、エッジ検出値が大きい。
すなわち、本例のように垂直方向の間引き呼び出しについて考えると、間引くことにより画素間の相関が大きく崩れてしまう。
したがって、図8(D)、(E)に示すような相関性の高い水平方向のエッジ検出値と非間引き時のエッジ検出値を加算器157で加算した場合、図8(G)に示すように、水平方向および垂直方向にエッジ特徴を反映できる。
一方、相関性の高い水平方向のエッジ検出値と、図8(F)に示す相関性の低い、間引き読み出し時のエッジ検出値を加算器157で加算した場合、図8(H)に示すように、被写体の垂直方向および水平方向のエッジ成分を完全に反映した検波結果が得られない。
【0064】
図9は、本実施形態において垂直方向の間引き読み出しの場合のブレンド比(加算率)の設定について説明するための図である。
【0065】
この場合、図9(A)は水平方向の読み出し時に画素配列を示し、図9(B)は垂直方向の間引き読み出し時の相関性について示している。
図9(C)は図9(A)の場合のレンズ移動距離とエッジ検出値との関係を示し、図9(D)は図9(B)の場合のレンズ移動距離とエッジ検出値との関係を示している。
図9(E)は図9(C)の信号と図9(D)の信号のブレンド比を乗算した信号とを加算器で加算した場合のエッジ特徴の反映状態を示している。
【0066】
図9(B)に示すように、間引くことにより画素間の相関が大きく崩れている場合であってもブレンド比Vαを設定することにより被写体の水平方向および垂直方向のエッジ特徴を効果的に抽出した検波結果が得られる。
相関性の高い水平方向のエッジ検出値と、間引き読み出し時のエッジ検出値にブレンド比Vαを乗算した信号を加算器157で加算した場合、図9(E)に示すように、被写体の水平方向および垂直方向のエッジ特徴を効果的に抽出した検波結果が得られるようになる。
【0067】
次に、上記構成によるオートフォーカス評価動作を図10のフローチャートに関連付けて説明する。
【0068】
撮像素子12の撮像画像は、プリ処理部13で所定の処理を受けてデジタル画像信号としてオートフォーカス評価装置15に入力される。
オートフォーカス評価装置15においては、RAWデータを受け取り、ディレイライン141によって4×4サイズに展開する(ST1)。
次に、4×4のデータを基に、輝度算出回路152において3×3の輝度データを得る(ST2)。
この3×3の輝度データを用いて垂直方向エッジ成分検出回路153よって画素配列において、垂直(縦)方向VDについてエッジ検出を行い、垂直方向エッジ検出値VEを得て第1のブレンド比設定回路155に出力する(ST3)。
同様に、3×3の輝度データを用いて水平方向エッジ成分検出回路154によって画素配列において、水平(横)方向HDについてエッジ検出を行い、水平方向エッジ検出値HEを得て第2のブレンド比設定回路156に出力する(ST4)。
次に、垂直方向エッジ検出値VEを受けて、第1のブレンド比設定回路155が、垂直方向エッジ加算値VEBの加算比率Vαを設定し、加算比率を乗算した垂直方向エッジ検出値を加算器157に出力する(ST5)。
同様に、水平方向エッジ検出値HEを受けて、第2のブレンド比設定回路156が、水平方向エッジ加算値HEBの加算比率Hαを設定し、加算比率を乗算した水平方向エッジ検出値を加算器157に出力する(ST6)。
る。
そして、加算器157が、第1のブレンド比設定回路155による垂直方向エッジ検出値VEBと第2のブレンド比設定回路156による水平方向エッジ検出値HEBとを加算して、焦点評価値を算出する(ST7)。
【0069】
以上説明したように、本実施形態によれば、オートフォーカス評価装置15においては、ディレイライン151は、撮像素子12によるプリ処理部13を介した画像のRAWデータを受け取り、4×4サイズに展開する。
輝度算出回路152が、ディレイライン151による4×4のデータを基に、3×3の輝度データを得る。
垂直方向エッジ成分検出回路153が、輝度算出回路152で算出された3×3の輝度データを受けて、画素配列において、垂直(縦)方向VDについてエッジ検出を行い、垂直方向エッジ検出値VEを得る。
水平方向エッジ成分検出回路154が、輝度算出回路152で算出された3×3の輝度データを受けて、画素配列において、水平(横)方向HDについてエッジ検出を行い、水平方向エッジ検出値HEを得る。
第1のブレンド比設定回路155が、垂直方向エッジ検出値VEを受けて、垂直方向エッジ加算値VEBの加算比率Vαを設定し、垂直方向エッジ検出値VEに設定した加算比率Vαを乗算する。
第2のブレンド比設定回路156が、水平方向エッジ検出値HEを受けて、水平方向エッジ加算値HEBの加算比率Hαを設定し、水平方向エッジ検出値HEに設定した加算比率Hαを乗算する。
そして、加算器157で垂直方向エッジ検出値VEBと水平方向エッジ検出値HEBとを加算して、焦点評価値を算出する。
したがって、本実施形態によれば、以下の効果を得ることができる。
【0070】
すなわち、輝度を算出して、水平方向および垂直方向のエッジ成分を算出するため、横縞模様やブラインドを含めた様々な被写体に対して効果的なオートフォーカス性能が得られる。
撮像素子の間引き読み出し方法によって、水平方向の検波値と垂直方向の検波値のブレンド加算比を変えることにより、間引き読み出し時にも水平・垂直双方のエッジ特徴を抽出した検波値を算出できる。
ハイフレームレートを実現するために、画素読み出しを大幅に間引いた場合にも効果的なオートフォーカス性能が得られる。
【0071】
なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、CPU等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー(登録商標)ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
【図面の簡単な説明】
【0072】
【図1】図1は、本発明の実施形態に係るオートフォーカス評価装置を適用した撮像装置の構成例を示すブロック図である。
【図2】画素配列例としてベイヤ配列を示す図である。
【図3】本実施形態に係る撮像素子の単位画素の構成例を示す回路図である。
【図4】本実施形態に係るートフォーカス評価装置の構成例を示すブロック図である。
【図5】4×4のベイヤ配列に対応する図であって、輝度算出回路の処理を説明するための図である。
【図6】本実施形態に係る垂直方向エッジ成分検出回路のエッジ成分検出処理を説明するための図である。
【図7】本実施形態に係る水平方向エッジ成分検出回路のエッジ成分検出処理を説明するための図である。
【図8】本実施形態において垂直方向の間引き読み出しの場合ついて説明するための図である。
【図9】本実施形態において垂直方向の間引き読み出しの場合のブレンド比(加算率)の設定について説明するための図である。
【図10】本実施形態の動作を説明するためのフローチャートである。
【符号の説明】
【0073】
10・・・撮像装置、11・・・レンズ系、12・・・撮像素子、13・・・プリ処理部、14・・・オートフォーカス装置、15・・・オートフォーカス評価装置、151・・・ディレイライン、152・・・輝度算出回路、153・・・垂直方向エッジ成分検出回路、154・・・水平方向エッジ成分検出回路、155・・・第1のブレンド比設定回路、156・・・第2のブレンド比設定回路、157・・・加算器、16・・・カメラ信号処理部。
【技術分野】
【0001】
本発明は、CCD,CMOSセンサなどの固体撮像素子を有する撮像装置のオートフォーカスの評価値を得るオートフォーカス評価装置、撮像装置、オートフォーカス評価方法、およびプログラムに関するものである。
【背景技術】
【0002】
一般的に、カメラ等の撮像装置にはオートフォーカス装置(自動焦点装置)が搭載される。
オートフォーカス装置は、オートフォーカス(以下、単にAFという場合もある)を行うために必要となる焦点評価値を算出するオートフォーカス評価装置を含んで構成される。
このオートフォーカス評価方式として種々の技術が提案されている。
【0003】
通常のAFアルゴリズムでは、合焦レンズが合焦位置に近いほど像のコントラストが高くなることに対応して、焦点評価値が極大(ピーク)となるレンズ位置を見つけて合焦レンズを駆動し、被写体に合焦させる。
ピーク位置の検出には、いわゆる山登り制御と呼ばれる手法が用いられる(たとえば特許文献1参照)。
【0004】
上記AF評価値(焦点評価値)を算出する際に、水平方向の焦点評価値のみ、あるいは水平方向および垂直方向の焦点評価値を別々に算出する。このため、横縞のような模様の着衣の被写体やブラインドなど焦点を合わせるのが非常に困難であった。
【0005】
そこで、垂直方向の焦点評価値と水平方向の焦点評価値を加算することにより、上述したような焦点を合わせることが困難な被写体に対しても効果的な焦点評価値が算出できるような技術が提案されている(特許文献2,3参照)。
【特許文献1】特開2004-280048号公報
【特許文献2】特開昭63-178674号公報
【特許文献3】特開平7-288733号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
ところで、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ(CIS)などの固体撮像素子は、高画素化が進んでいる。
このセンサ(CIS/CMOS)の高画素化に伴って、ビデオカメラおよびデジタルカメラではセンサ画素の間引き読み出し、具体的には、垂直方向間引き、および、または水平方向間引きを行うことが多々ある。
【0007】
また、ハイフレームレートのビデオカメラやデジタルカメラでは、センサ画素を大幅に間引いて読み出している。
そのため、水平方向の画素同士の相関性、垂直方向の画素同士の相関性が大幅に崩れることにより、上記手法によって得られた水平方向および垂直方向の焦点評価値を単純に加算するだけでは常に効果的なオートフォーカスができないのが現状である。
【0008】
本発明は、間引き読み出し等、状況に応じて効果的なオートフォーカスを行うことが可能なオートフォーカス評価装置、撮像装置、オートフォーカス評価方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【0009】
本発明の第1の観点のオートフォーカス評価装置は、所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出部と、上記輝度算出部で算出された輝度データを基に、複数の方向についてエッジ検出を行い、方向に応じた複数のエッジ検出値を得る方向エッジ成分検出部と、上記方向エッジ成分検出部で検出されたエッジ検出値に基づく相関値に応じたブレンド比を設定し、設定したブレンド比を対応するエッジ検出値に乗算するブレンド比設定部と、上記ブレンド比設定部で得られた複数のエッジ検出値を合成して焦点評価値を得る評価値取得部とを有する。
【0010】
本発明の第2の観点の撮像装置は、被写体像を撮像する撮像素子と、上記撮像素子からの画像データを受けて、オートフォーカス評価値を得るオートフォーカス評価装置と、を有し、上記オートフォーカス評価装置は、所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出部と、上記輝度算出部で算出された輝度データを基に、複数の方向についてエッジ検出を行い、方向に応じた複数のエッジ検出値を得る方向エッジ成分検出部と、上記方向エッジ成分検出部で検出されたエッジ検出値に基づく相関値に応じたブレンド比を設定し、設定したブレンド比を対応するエッジ検出値に乗算するブレンド比設定部と、上記ブレンド比設定部で得られた複数のエッジ検出値を合成して焦点評価値を得る評価値取得部と、を含む。
【0011】
好適には、上記ブレンド比設定部は、画素読み出し方式の垂直方向間引き読み出し、および、または水平方向間引き読み出しに応じて、垂直方向、および、または水平方向のエッジ検出値のブレンド比を変更する。
【0012】
好適には、上記ブレンド比設定部は、間引き率に応じた値にブレンド比を設定する。
【0013】
好適には、上記方向エッジ成分検出部は、上記輝度算出部で算出された輝度データを基に、画素配列において、垂直方向についてエッジ検出を行い、垂直方向エッジ検出値を得る垂直方向エッジ成分検出部と、上記輝度算出部で算出された輝度データを基に、画素配列において、水平方向についてエッジ検出を行い、水平方向エッジ検出値を得る水平方向エッジ成分検出部と、を含む。
【0014】
好適には、上記ブレンド比設定部は、上記垂直方向エッジ検出値を受けて、垂直方向エッジ加算値に基づく相関値に応じたブレンド比を設定し、垂直方向エッジ検出値に設定したブレンド比を乗算する第1のブレンド比設定部と、上記水平方向エッジ検出値を受けて、水平方向エッジ加算値に基づく相関値に応じたブレンド比を設定し、水平方向エッジ検出値に設定したブレンド比を乗算する第2のブレンド比設定部と、を含み、上記評価値取得部は、上記第1のブレンド比設定部による垂直方向エッジ検出値と上記第2のフレンド比設定部による水平方向エッジ検出値とを加算して焦点評価値を得る。
【0015】
好適には、上記第1のブレンド比設定部は、垂直方向間引き読み出しに対して垂直方向のエッジ検出値のブレンド比を変更し、上記第2のブレンド比設定部は、水平方向間引き読み出しに対して水平方向のエッジ検出値のブレンド比を変更する。
【0016】
本発明の第3の観点のオートフォーカス評価方法は、所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出ステップと、輝度算出ステップで算出された輝度データを基に、複数の方向についてエッジ検出を行い、方向に応じた複数のエッジ検出値を得る方向エッジ成分検出ステップと、上記方向エッジ成分検出ステップで検出されたエッジ検出値に基づく相関値に応じたブレンド比を設定し、設定したブレンド比を対応するエッジ検出値に乗算するブレンド比設定ステップと、上記ブレンド比設定ステップで得られた複数のエッジ検出値を合成して焦点評価値を得る評価値取得ステップとを有する。
【0017】
本発明の第4の観点は、所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出処理と、輝度算出処理で算出された輝度データを基に、複数の方向についてエッジ検出を行い、方向に応じた複数のエッジ検出値を得る方向エッジ成分検出処理と、上記方向エッジ成分検出処理で検出されたエッジ検出値に基づく相関値に応じたブレンド比を設定し、設定したブレンド比を対応するエッジ検出値に乗算するブレンド比設定処理と、上記ブレンド比設定処理で得られた複数のエッジ検出値を合成して焦点評価値を得る評価値取得処理とを含むオートフォーカス評価処理をコンピュータに実行させるプログラムである。
【0018】
本発明によれば、輝度算出部において、所定サイズに配列された画像データを基に、所定サイズの輝度データが算出され、その結果が方向エッジ成分検出部に供給される。
方向エッジ成分検出部においては、輝度算出部で算出された輝度データを基に、複数の方向についてエッジ検出が行われ、方向に応じた複数のエッジ検出値が得られる。その複数のエッジ検出値はブレンド比設定部に供給される。
ブレンド比設定部においては、方向エッジ成分検出部で検出されたエッジ検出値に基づく相関値に応じたブレンド比が設定され、設定したブレンド比が対応するエッジ検出値に乗算される。
そして、評価値取得部において、ブレンド比設定部で得られた複数のエッジ検出値が合成されて焦点評価値が得られる。
【発明の効果】
【0019】
本発明によれば、間引き読み出し等、状況に応じて効果的なオートフォーカスを行うことができる。
【発明を実施するための最良の形態】
【0020】
以下、本発明の実施形態を図面に関連付けて説明する。
【0021】
図1は、本発明の実施形態に係るオートフォーカス評価装置を適用した撮像装置の構成例を示すブロック図である。
【0022】
本撮像装置10は、図1に示すように、レンズ系11、撮像素子12、プリ処理部13、オートフォーカス装置14、オートフォーカス評価装置15、およびカメラ信号処理部16を有する。
【0023】
レンズ系11は、被写体像を撮像素子12の撮像面に結像する。
レンズ系11は、オートフォーカス装置14により、フォーカスレンズの位置が自動調整される(オートフォーカス調整される)。
【0024】
撮像素子12は、CCDやCMOSイメージセンサにより形成され、複数の単位画素がマトリクス状に配列されている。
撮像素子12は、その画素配列として、たとえば図2に示すようなベイヤ配列が採用される。
撮像素子12は、通常の読み出しと画素の間引き読み出しが可能である
【0025】
図3は、本実施形態に係る撮像素子12の単位画素の構成例を示す回路図である。
図3は、本実施形態に係る4つのトランジスタで構成されるCMOSイメージセンサの画素の一例を示している。
【0026】
各画素120は、図3に示すように、たとえばフォトダイオードからなる光電変換素子121を有する。
そして、画素120は、この1個の光電変換素子121に対して、転送トランジスタ122、リセットトランジスタ123、増幅トランジスタ124、および選択トランジスタ125の4つのトランジスタを能動素子として有する。
【0027】
光電変換素子121は、入射光をその光量に応じた量の電荷(ここでは電子)に光電変換する。
転送トランジスタ122は、光電変換素子121とフローティングディフュージョンFDとの間に接続され、転送制御線LTxを通じてそのゲート(転送ゲート)に制御信号である送信信号TGが与えられる。
これにより、転送トランジスタ122は、光電変換素子121で光電変換された電子をフローティングディフュージョンFDに転送する。
【0028】
リセットトランジスタ123は、電源ラインLVDDとフローティングディフュージョンFDとの間に接続され、リセット制御線LRSTを通してそのゲートに制御信号であるリセット信号RSTが与えられる。
これにより、リセットトランジスタ123は、フローティングディフュージョンFDの電位を電源ラインLVDDの電位にリセットする。
【0029】
フローティングディフュージョンFDには、増幅トランジスタ124のゲートが接続されている。増幅トランジスタ124は、選択トランジスタ125を介して信号線LSGNに接続され、画素部外の定電流源126とソースフォロアを構成している。
そして、選択制御線LSELを通してアドレス信号に応じた制御信号である選択信号SELが選択トランジスタ125のゲートに与えられ、選択トランジスタ125がオンする。
選択トランジスタ125がオンすると、増幅トランジスタ124はフローティングディフュージョンFDの電位を増幅してその電位に応じた電圧を信号線LSGNに出力する。信号線LSGNを通じて、各画素から出力された電圧は、カラム読み出し回路に出力される。
これらの動作は、たとえば転送トランジスタ122、リセットトランジスタ123、および選択トランジスタ125の各ゲートが行単位で接続されていることから、1行分の各画素について同時に行われる。
【0030】
撮像素子12は、画素アレイ部に配線されているリセット制御線LRST、転送制御線LTx、および選択制御線LSELが一組として画素配列の各行単位で配線されている。
これらのリセット制御線LRST、転送制御線LTx、および選択制御線LSELは、図示しない垂直走査回路により駆動される。
また、信号線LSGNは、CDS回路(相関二重サンプリング回路)等を含むカラム読み出し回路に接続される。
【0031】
プリ処理部13は、撮像素子12から読み出されたアナログ画素情報に対して標本化処理、量子化処理等を行い、アナログ信号からデジタル信号に変換(A/D変換)して、生(RAW)データをオートフォーカス評価装置15およびカメラ信号処理部16に出力する。
【0032】
オートフォーカス装置14は、オートフォーカス評価装置15により得られる焦点評価値に応じてレンズ系11のフォーカスレンズの位置を調整する(オートフォーカス調整する)。
【0033】
オートフォーカス評価装置15は、撮像素子12から画像のRAWデータを、プリ処理部13を介して受け取り、オートフォーカスを行うために必要となるAF評価値を算出する際、垂直方向および水平方向のエッジ検出結果に基づく相関値に応じてブレンド比(加算比率)を変えることにより、効果的なAF評価値を算出する。
オートフォーカス評価装置15は、たとえばセンサ画素読み出し方式の垂直方向間引き読み出し、および、または水平方向間引き読み出しに対し、水平方向および垂直方向のエッジ検出値のブレンド比(加算比率)を変えることにより、効果的なAF評価値を算出する。
【0034】
カメラ信号処理部16は、プリ処理部13の出力画像信号に対してカラー補間、ホワイトバランス、圧縮等の処理を行う。
【0035】
以下、本実施形態に係るオートフォーカス評価装置15の構成および機能についてさらに詳細に説明する。
【0036】
図4は、本実施形態に係るオートフォーカス評価装置の構成例を示すブロック図である。
【0037】
図4のオートフォーカス評価装置15は、ディレイライン151、輝度算出回路152、垂直方向エッジ成分検出回路153、水平方向エッジ成分検出回路154、第1のブレンド比設定回路155、第2のブレンド比設定回路156、および加算器157を有する。
加算器157は、焦点評価値取得部を構成する。
【0038】
ディレイライン151は、撮像素子12によるプリ処理部13を介した画像のRAWデータを受け取り、4×4サイズに展開する。
【0039】
輝度算出回路152は、ディレイライン151による4×4のデータを基に、輝度算出3×3の輝度データを得る。
輝度算出回路152は、算出した輝度データを信号S152として垂直方向エッジ成分検出回路153および水平方向エッジ成分検出回路154に出力する。
【0040】
垂直方向エッジ成分検出回路153は、輝度算出回路152で算出された3×3の輝度データを受けて、画素配列において、垂直(縦)方向VDについてエッジ検出を行い、垂直方向エッジ検出値VEを第1のブレンド比設定回路155に出力する。
【0041】
水平方向エッジ成分検出回路154は、輝度算出回路152で算出された3×3の輝度データを受けて、画素配列において、水平(横)方向HDについてエッジ検出を行い、水平方向エッジ検出値HEを第2のブレンド比設定回路156に出力する。
【0042】
第1のブレンド比設定回路155は、垂直方向エッジ検出値VEを受けて、垂直方向エッジ加算値VEBのブレンド比(加算比率)Vαを設定する。
この加算比率Vαは0より大きく1までの値、すなわち0<Vα≦1に設定可能である。
第1のブレンド比設定回路155は、垂直方向エッジ検出値VEに設定した加算比率Vαを乗算し、その結果を垂直方向エッジ検出値VEBとして加算器157に出力する。
【0043】
第2のブレンド比設定回路156は、水平方向エッジ検出値HEを受けて、水平方向エッジ加算値HEBのブレンド比(加算比率)Hαを設定する。
この加算比率Hαは0より大きく1までの値、すなわち0<Vα≦1に設定可能である。
第2のブレンド比設定回路156は、水平方向エッジ検出値HEに設定した加算比率Hαを乗算し、その結果を水平方向エッジ検出値HEBとして加算器157に出力する。
【0044】
一般的に、エッジ検出値としては、値が小さい方が画像の相関性が高く、値が大きい方が画像の相関性が低い。換言すれば、エッジ検出値が大きい場合にはそのエッジを境界として相関性の低い画像が隣接していることとなる。
そこで、第1および、または第2のブレンド比設定回路155,156は、たとえば撮像素子12の間引き読み出し時に相関性が低くなる可能性が高いことから、この間引き読み出し方法の間引き率に連動して加算比率Vα、Hαを設定するように構成される。
たとえば、2/4間引き読み出しの場合の加算比率は0.5、2/8間引き読み出しの場合の加算比率は0.25となる。
あるいは、第1および、または第2のブレンド比設定回路155,156は、たとえば方向エッジ検出値VE、HEと相関閾値VTとを比較して任意の加算比率Vα,Hαを設定するように構成することも可能である。
たとえば、方向エッジ検出値VE,HEと相関閾値VTとに差分に応じてリニアに設定することも可能であり、大小比較により選択的に加算比率Vα,Hαを設定することも可能である。
【0045】
加算器157は、第1のブレンド比設定回路155による垂直方向エッジ検出値VEBと第2のブレンド比設定回路156による水平方向エッジ検出値HEBとを合成(加算)して、焦点評価値を算出する。
この焦点評価値に応じてオートフォーカス装置14によりレンズ系11のフォーカスレンズの位置調整が行われる。
【0046】
次に、本実施形態のオートフォーカス評価装置15を構成する輝度算出回路152、垂直方向エッジ成分検出回路153、水平方向エッジ成分検出回路154、並びに第1および第2のブレンド比設定回路155,156の具体的な処理について説明する。
【0047】
図5は、4×4のベイヤ配列に対応する図であって、輝度算出回路152の処理を説明するための図である。
【0048】
輝度算出回路152は、図5に示すように、4×4のRAWデータを基に、画素配列の上下左右に隣接した4画素(R,Gr,Gb,B)をそれぞれ加算することによって3×3の輝度データを得る。
【0049】
例1[R:G:B=1:2:1]
Y0=(R+(Gr+Gb)+B)/4
【0050】
例2[R:G:B=3:6:1]
Y0=(3R+(3Gr+3Gb)+B)/10
【0051】
他の輝度も同様に算出するため、ここではその説明を省略する。
なお、輝度算出方法は必ずしもこれに限定されるものではない。
【0052】
図6は、本実施形態に係る垂直方向エッジ成分検出回路153のエッジ成分検出処理を説明するための図である。
【0053】
垂直方向エッジ成分検出回路153は、図6に示すように、輝度検出回路152によって出力される3ライン(3×3)の輝度データを用いて垂直方向のエッジ成分を検出する。
垂直方向エッジ成分検出回路153は、たとえば図6に示すように、垂直方向の3つ輝度データを用いて下記式を実現するFIRフィルタでエッジ成分を検出する。
【0054】
例:(−1,2,−1)FIRフィルタ
V0=(−Y00+2Y01−Y02)/4
V1=(−Y10+2Y11−Y12)/4
V2=(−Y20+2Y21−Y22)/4
【0055】
なお、エッジ検出方法は必ずしもこれに限定されるものではない。
【0056】
図7は、本実施形態に係る水平方向エッジ成分検出回路154のエッジ成分検出処理を説明するための図である。
【0057】
水平方向エッジ成分検出回路154は、図7に示すように、輝度検出回路152によって出力される3ライン(3×3)の輝度データを用いて水平方向のエッジ成分を検出する。
水平方向エッジ成分検出回路154は、たとえば図7に示すように、水平方向の3つ輝度データを用いて下記式を実現するFIRフィルタでエッジ成分を検出する。
【0058】
例:(−1,2,−1)FIRフィルタ
H0=(−Y00+2Y10−Y20)/4
H1=(−Y01+2Y11−Y21)/4
H2=(−Y02+2Y12−Y22)/4
【0059】
なお、エッジ検出方法は必ずしもこれに限定されるものではない。
【0060】
第1および第2のブレンド比設定回路155,156は、たとえば撮像素子12の間引き読み出し方法に連動して、垂直方向および水平方向のエッジ検出値の加算比率Vα、Hαを設定する。
【0061】
図8は、本実施形態において垂直方向の間引き読み出しの場合について説明するための図である。
【0062】
この場合、図8(A)は水平方向の読み出し時に画素配列を示し、図8(B)は垂直方向の非間引き読み出し時の相関性についての説明図を示し、図8(C)は垂直方向の間引き読み出し時の相関性についての説明図を示している。
図8(D)は図8(A)の場合のレンズ移動距離とエッジ検出値との関係を示し、図8(E)は図8(B)の場合のレンズ移動距離とエッジ検出値との関係を示し、図8(F)は図8(C)の場合のレンズ移動距離とエッジ検出値との関係を示している。
図8(G)は図8(D)と図8(E)に関する信号を加算器で加算した場合のエッジ特徴の反映状態を示し、図8(H)は図8(D)と図8(F)に関する信号を加算器で加算した場合のエッジ特徴の反映状態を示している。
【0063】
図8(B)の例においては、垂直方向の非間引き読み出しであることから、図8(E)に示すように、相関性が高く、この場合エッジ検出値が小さい。
これに対して、図8(C)では垂直方向の間引き読み出しであることから、読み出さない行がある。したがって、この場合、図8(F)に示すように、相関性が低く、エッジ検出値が大きい。
すなわち、本例のように垂直方向の間引き呼び出しについて考えると、間引くことにより画素間の相関が大きく崩れてしまう。
したがって、図8(D)、(E)に示すような相関性の高い水平方向のエッジ検出値と非間引き時のエッジ検出値を加算器157で加算した場合、図8(G)に示すように、水平方向および垂直方向にエッジ特徴を反映できる。
一方、相関性の高い水平方向のエッジ検出値と、図8(F)に示す相関性の低い、間引き読み出し時のエッジ検出値を加算器157で加算した場合、図8(H)に示すように、被写体の垂直方向および水平方向のエッジ成分を完全に反映した検波結果が得られない。
【0064】
図9は、本実施形態において垂直方向の間引き読み出しの場合のブレンド比(加算率)の設定について説明するための図である。
【0065】
この場合、図9(A)は水平方向の読み出し時に画素配列を示し、図9(B)は垂直方向の間引き読み出し時の相関性について示している。
図9(C)は図9(A)の場合のレンズ移動距離とエッジ検出値との関係を示し、図9(D)は図9(B)の場合のレンズ移動距離とエッジ検出値との関係を示している。
図9(E)は図9(C)の信号と図9(D)の信号のブレンド比を乗算した信号とを加算器で加算した場合のエッジ特徴の反映状態を示している。
【0066】
図9(B)に示すように、間引くことにより画素間の相関が大きく崩れている場合であってもブレンド比Vαを設定することにより被写体の水平方向および垂直方向のエッジ特徴を効果的に抽出した検波結果が得られる。
相関性の高い水平方向のエッジ検出値と、間引き読み出し時のエッジ検出値にブレンド比Vαを乗算した信号を加算器157で加算した場合、図9(E)に示すように、被写体の水平方向および垂直方向のエッジ特徴を効果的に抽出した検波結果が得られるようになる。
【0067】
次に、上記構成によるオートフォーカス評価動作を図10のフローチャートに関連付けて説明する。
【0068】
撮像素子12の撮像画像は、プリ処理部13で所定の処理を受けてデジタル画像信号としてオートフォーカス評価装置15に入力される。
オートフォーカス評価装置15においては、RAWデータを受け取り、ディレイライン141によって4×4サイズに展開する(ST1)。
次に、4×4のデータを基に、輝度算出回路152において3×3の輝度データを得る(ST2)。
この3×3の輝度データを用いて垂直方向エッジ成分検出回路153よって画素配列において、垂直(縦)方向VDについてエッジ検出を行い、垂直方向エッジ検出値VEを得て第1のブレンド比設定回路155に出力する(ST3)。
同様に、3×3の輝度データを用いて水平方向エッジ成分検出回路154によって画素配列において、水平(横)方向HDについてエッジ検出を行い、水平方向エッジ検出値HEを得て第2のブレンド比設定回路156に出力する(ST4)。
次に、垂直方向エッジ検出値VEを受けて、第1のブレンド比設定回路155が、垂直方向エッジ加算値VEBの加算比率Vαを設定し、加算比率を乗算した垂直方向エッジ検出値を加算器157に出力する(ST5)。
同様に、水平方向エッジ検出値HEを受けて、第2のブレンド比設定回路156が、水平方向エッジ加算値HEBの加算比率Hαを設定し、加算比率を乗算した水平方向エッジ検出値を加算器157に出力する(ST6)。
る。
そして、加算器157が、第1のブレンド比設定回路155による垂直方向エッジ検出値VEBと第2のブレンド比設定回路156による水平方向エッジ検出値HEBとを加算して、焦点評価値を算出する(ST7)。
【0069】
以上説明したように、本実施形態によれば、オートフォーカス評価装置15においては、ディレイライン151は、撮像素子12によるプリ処理部13を介した画像のRAWデータを受け取り、4×4サイズに展開する。
輝度算出回路152が、ディレイライン151による4×4のデータを基に、3×3の輝度データを得る。
垂直方向エッジ成分検出回路153が、輝度算出回路152で算出された3×3の輝度データを受けて、画素配列において、垂直(縦)方向VDについてエッジ検出を行い、垂直方向エッジ検出値VEを得る。
水平方向エッジ成分検出回路154が、輝度算出回路152で算出された3×3の輝度データを受けて、画素配列において、水平(横)方向HDについてエッジ検出を行い、水平方向エッジ検出値HEを得る。
第1のブレンド比設定回路155が、垂直方向エッジ検出値VEを受けて、垂直方向エッジ加算値VEBの加算比率Vαを設定し、垂直方向エッジ検出値VEに設定した加算比率Vαを乗算する。
第2のブレンド比設定回路156が、水平方向エッジ検出値HEを受けて、水平方向エッジ加算値HEBの加算比率Hαを設定し、水平方向エッジ検出値HEに設定した加算比率Hαを乗算する。
そして、加算器157で垂直方向エッジ検出値VEBと水平方向エッジ検出値HEBとを加算して、焦点評価値を算出する。
したがって、本実施形態によれば、以下の効果を得ることができる。
【0070】
すなわち、輝度を算出して、水平方向および垂直方向のエッジ成分を算出するため、横縞模様やブラインドを含めた様々な被写体に対して効果的なオートフォーカス性能が得られる。
撮像素子の間引き読み出し方法によって、水平方向の検波値と垂直方向の検波値のブレンド加算比を変えることにより、間引き読み出し時にも水平・垂直双方のエッジ特徴を抽出した検波値を算出できる。
ハイフレームレートを実現するために、画素読み出しを大幅に間引いた場合にも効果的なオートフォーカス性能が得られる。
【0071】
なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、CPU等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー(登録商標)ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
【図面の簡単な説明】
【0072】
【図1】図1は、本発明の実施形態に係るオートフォーカス評価装置を適用した撮像装置の構成例を示すブロック図である。
【図2】画素配列例としてベイヤ配列を示す図である。
【図3】本実施形態に係る撮像素子の単位画素の構成例を示す回路図である。
【図4】本実施形態に係るートフォーカス評価装置の構成例を示すブロック図である。
【図5】4×4のベイヤ配列に対応する図であって、輝度算出回路の処理を説明するための図である。
【図6】本実施形態に係る垂直方向エッジ成分検出回路のエッジ成分検出処理を説明するための図である。
【図7】本実施形態に係る水平方向エッジ成分検出回路のエッジ成分検出処理を説明するための図である。
【図8】本実施形態において垂直方向の間引き読み出しの場合ついて説明するための図である。
【図9】本実施形態において垂直方向の間引き読み出しの場合のブレンド比(加算率)の設定について説明するための図である。
【図10】本実施形態の動作を説明するためのフローチャートである。
【符号の説明】
【0073】
10・・・撮像装置、11・・・レンズ系、12・・・撮像素子、13・・・プリ処理部、14・・・オートフォーカス装置、15・・・オートフォーカス評価装置、151・・・ディレイライン、152・・・輝度算出回路、153・・・垂直方向エッジ成分検出回路、154・・・水平方向エッジ成分検出回路、155・・・第1のブレンド比設定回路、156・・・第2のブレンド比設定回路、157・・・加算器、16・・・カメラ信号処理部。
【特許請求の範囲】
【請求項1】
所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出部と、
上記輝度算出部で算出された輝度データを基に、複数の方向についてエッジ検出を行い、方向に応じた複数のエッジ検出値を得る方向エッジ成分検出部と、
上記方向エッジ成分検出部で検出されたエッジ検出値に基づく相関値に応じたブレンド比を設定し、設定したブレンド比を対応するエッジ検出値に乗算するブレンド比設定部と、
上記ブレンド比設定部で得られた複数のエッジ検出値を合成して焦点評価値を得る評価値取得部と
を有するオートフォーカス評価装置。
【請求項2】
上記ブレンド比設定部は、
画素読み出し方式の垂直方向間引き読み出し、および、または水平方向間引き読み出しに応じて、垂直方向、および、または水平方向のエッジ検出値のブレンド比を変更する
請求項1記載のオートフォーカス評価装置。
【請求項3】
上記ブレンド比設定部は、
間引き率に応じた値にブレンド比を設定する
請求項2記載のオートフォーカス評価装置。
【請求項4】
上記方向エッジ成分検出部は、
上記輝度算出部で算出された輝度データを基に、画素配列において、垂直方向についてエッジ検出を行い、垂直方向エッジ検出値を得る垂直方向エッジ成分検出部と、
上記輝度算出部で算出された輝度データを基に、画素配列において、水平方向についてエッジ検出を行い、水平方向エッジ検出値を得る水平方向エッジ成分検出部と、を含む
請求項1から3のいずれか一に記載のオートフォーカス評価装置。
【請求項5】
上記ブレンド比設定部は、
上記垂直方向エッジ検出値を受けて、垂直方向エッジ加算値に基づく相関値に応じたブレンド比を設定し、垂直方向エッジ検出値に設定したブレンド比を乗算する第1のブレンド比設定部と、
上記水平方向エッジ検出値を受けて、水平方向エッジ加算値に基づく相関値に応じたブレンド比を設定し、水平方向エッジ検出値に設定したブレンド比を乗算する第2のブレンド比設定部と、を含み、
上記評価値取得部は、
上記第1のブレンド比設定部による垂直方向エッジ検出値と上記第2のフレンド比設定部による水平方向エッジ検出値とを加算して焦点評価値を得る
請求項4記載のオートフォーカス評価装置。
【請求項6】
上記第1のブレンド比設定部は、垂直方向間引き読み出しに対して垂直方向のエッジ検出値のブレンド比を変更し、
上記第2のブレンド比設定部は、水平方向間引き読み出しに対して水平方向のエッジ検出値のブレンド比を変更する
請求項5記載のオートフォーカス評価装置。
【請求項7】
被写体像を撮像する撮像素子と、
上記撮像素子からの画像データを受けて、オートフォーカス評価値を得るオートフォーカス評価装置と、を有し、
上記オートフォーカス評価装置は、
所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出部と、
上記輝度算出部で算出された輝度データを基に、複数の方向についてエッジ検出を行い、方向に応じた複数のエッジ検出値を得る方向エッジ成分検出部と、
上記方向エッジ成分検出部で検出されたエッジ検出値に基づく相関値に応じたブレンド比を設定し、設定したブレンド比を対応するエッジ検出値に乗算するブレンド比設定部と、
上記ブレンド比設定部で得られた複数のエッジ検出値を合成して焦点評価値を得る評価値取得部と、を含む
撮像装置。
【請求項8】
上記ブレンド比設定部は、
画素読み出し方式の垂直方向間引き読み出し、および、または水平方向間引き読み出しに応じて、垂直方向、および、または水平方向のエッジ検出値のブレンド比を変更する
請求項7記載の撮像装置。
【請求項9】
上記ブレンド比設定部は、
間引き率に応じた値にブレンド比を設定する
請求項8記載の撮像装置。
【請求項10】
上記方向エッジ成分検出部は、
上記輝度算出部で算出された輝度データを基に、画素配列において、垂直方向についてエッジ検出を行い、垂直方向エッジ検出値を得る垂直方向エッジ成分検出部と、
上記輝度算出部で算出された輝度データを基に、画素配列において、水平方向についてエッジ検出を行い、水平方向エッジ検出値を得る水平方向エッジ成分検出部と、を含む
請求項7から9のいずれか一に記載の撮像装置。
【請求項11】
上記ブレンド比設定部は、
上記垂直方向エッジ検出値を受けて、垂直方向エッジ加算値に基づく相関値に応じたブレンド比を設定し、垂直方向エッジ検出値に設定したブレンド比を乗算する第1のブレンド比設定部と、
上記水平方向エッジ検出値を受けて、水平方向エッジ加算値に基づく相関値に応じたブレンド比を設定し、水平方向エッジ検出値に設定したブレンド比を乗算する第2のブレンド比設定部と、を含み、
上記評価値取得部は、
上記第1のブレンド比設定部による垂直方向エッジ検出値と上記第2のフレンド比設定部による水平方向エッジ検出値とを加算して焦点評価値を得る
請求項10記載の撮像装置。
【請求項12】
上記第1のブレンド比設定部は、垂直方向間引き読み出しに対して垂直方向のエッジ検出値のブレンド比を変更し、
上記第2のブレンド比設定部は、水平方向間引き読み出しに対して水平方向のエッジ検出値のブレンド比を変更する
請求項11記載の撮像装置。
【請求項13】
所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出ステップと、
輝度算出ステップで算出された輝度データを基に、複数の方向についてエッジ検出を行い、方向に応じた複数のエッジ検出値を得る方向エッジ成分検出ステップと、
上記方向エッジ成分検出ステップで検出されたエッジ検出値に基づく相関値に応じたブレンド比を設定し、設定したブレンド比を対応するエッジ検出値に乗算するブレンド比設定ステップと、
上記ブレンド比設定ステップで得られた複数のエッジ検出値を合成して焦点評価値を得る評価値取得ステップと
を有するオートフォーカス評価方法。
【請求項14】
所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出処理と、
輝度算出処理で算出された輝度データを基に、複数の方向についてエッジ検出を行い、方向に応じた複数のエッジ検出値を得る方向エッジ成分検出処理と、
上記方向エッジ成分検出処理で検出されたエッジ検出値に基づく相関値に応じたブレンド比を設定し、設定したブレンド比を対応するエッジ検出値に乗算するブレンド比設定処理と、
上記ブレンド比設定処理で得られた複数のエッジ検出値を合成して焦点評価値を得る評価値取得処理と
を含むオートフォーカス評価処理をコンピュータに実行させるプログラム。
【請求項1】
所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出部と、
上記輝度算出部で算出された輝度データを基に、複数の方向についてエッジ検出を行い、方向に応じた複数のエッジ検出値を得る方向エッジ成分検出部と、
上記方向エッジ成分検出部で検出されたエッジ検出値に基づく相関値に応じたブレンド比を設定し、設定したブレンド比を対応するエッジ検出値に乗算するブレンド比設定部と、
上記ブレンド比設定部で得られた複数のエッジ検出値を合成して焦点評価値を得る評価値取得部と
を有するオートフォーカス評価装置。
【請求項2】
上記ブレンド比設定部は、
画素読み出し方式の垂直方向間引き読み出し、および、または水平方向間引き読み出しに応じて、垂直方向、および、または水平方向のエッジ検出値のブレンド比を変更する
請求項1記載のオートフォーカス評価装置。
【請求項3】
上記ブレンド比設定部は、
間引き率に応じた値にブレンド比を設定する
請求項2記載のオートフォーカス評価装置。
【請求項4】
上記方向エッジ成分検出部は、
上記輝度算出部で算出された輝度データを基に、画素配列において、垂直方向についてエッジ検出を行い、垂直方向エッジ検出値を得る垂直方向エッジ成分検出部と、
上記輝度算出部で算出された輝度データを基に、画素配列において、水平方向についてエッジ検出を行い、水平方向エッジ検出値を得る水平方向エッジ成分検出部と、を含む
請求項1から3のいずれか一に記載のオートフォーカス評価装置。
【請求項5】
上記ブレンド比設定部は、
上記垂直方向エッジ検出値を受けて、垂直方向エッジ加算値に基づく相関値に応じたブレンド比を設定し、垂直方向エッジ検出値に設定したブレンド比を乗算する第1のブレンド比設定部と、
上記水平方向エッジ検出値を受けて、水平方向エッジ加算値に基づく相関値に応じたブレンド比を設定し、水平方向エッジ検出値に設定したブレンド比を乗算する第2のブレンド比設定部と、を含み、
上記評価値取得部は、
上記第1のブレンド比設定部による垂直方向エッジ検出値と上記第2のフレンド比設定部による水平方向エッジ検出値とを加算して焦点評価値を得る
請求項4記載のオートフォーカス評価装置。
【請求項6】
上記第1のブレンド比設定部は、垂直方向間引き読み出しに対して垂直方向のエッジ検出値のブレンド比を変更し、
上記第2のブレンド比設定部は、水平方向間引き読み出しに対して水平方向のエッジ検出値のブレンド比を変更する
請求項5記載のオートフォーカス評価装置。
【請求項7】
被写体像を撮像する撮像素子と、
上記撮像素子からの画像データを受けて、オートフォーカス評価値を得るオートフォーカス評価装置と、を有し、
上記オートフォーカス評価装置は、
所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出部と、
上記輝度算出部で算出された輝度データを基に、複数の方向についてエッジ検出を行い、方向に応じた複数のエッジ検出値を得る方向エッジ成分検出部と、
上記方向エッジ成分検出部で検出されたエッジ検出値に基づく相関値に応じたブレンド比を設定し、設定したブレンド比を対応するエッジ検出値に乗算するブレンド比設定部と、
上記ブレンド比設定部で得られた複数のエッジ検出値を合成して焦点評価値を得る評価値取得部と、を含む
撮像装置。
【請求項8】
上記ブレンド比設定部は、
画素読み出し方式の垂直方向間引き読み出し、および、または水平方向間引き読み出しに応じて、垂直方向、および、または水平方向のエッジ検出値のブレンド比を変更する
請求項7記載の撮像装置。
【請求項9】
上記ブレンド比設定部は、
間引き率に応じた値にブレンド比を設定する
請求項8記載の撮像装置。
【請求項10】
上記方向エッジ成分検出部は、
上記輝度算出部で算出された輝度データを基に、画素配列において、垂直方向についてエッジ検出を行い、垂直方向エッジ検出値を得る垂直方向エッジ成分検出部と、
上記輝度算出部で算出された輝度データを基に、画素配列において、水平方向についてエッジ検出を行い、水平方向エッジ検出値を得る水平方向エッジ成分検出部と、を含む
請求項7から9のいずれか一に記載の撮像装置。
【請求項11】
上記ブレンド比設定部は、
上記垂直方向エッジ検出値を受けて、垂直方向エッジ加算値に基づく相関値に応じたブレンド比を設定し、垂直方向エッジ検出値に設定したブレンド比を乗算する第1のブレンド比設定部と、
上記水平方向エッジ検出値を受けて、水平方向エッジ加算値に基づく相関値に応じたブレンド比を設定し、水平方向エッジ検出値に設定したブレンド比を乗算する第2のブレンド比設定部と、を含み、
上記評価値取得部は、
上記第1のブレンド比設定部による垂直方向エッジ検出値と上記第2のフレンド比設定部による水平方向エッジ検出値とを加算して焦点評価値を得る
請求項10記載の撮像装置。
【請求項12】
上記第1のブレンド比設定部は、垂直方向間引き読み出しに対して垂直方向のエッジ検出値のブレンド比を変更し、
上記第2のブレンド比設定部は、水平方向間引き読み出しに対して水平方向のエッジ検出値のブレンド比を変更する
請求項11記載の撮像装置。
【請求項13】
所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出ステップと、
輝度算出ステップで算出された輝度データを基に、複数の方向についてエッジ検出を行い、方向に応じた複数のエッジ検出値を得る方向エッジ成分検出ステップと、
上記方向エッジ成分検出ステップで検出されたエッジ検出値に基づく相関値に応じたブレンド比を設定し、設定したブレンド比を対応するエッジ検出値に乗算するブレンド比設定ステップと、
上記ブレンド比設定ステップで得られた複数のエッジ検出値を合成して焦点評価値を得る評価値取得ステップと
を有するオートフォーカス評価方法。
【請求項14】
所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出処理と、
輝度算出処理で算出された輝度データを基に、複数の方向についてエッジ検出を行い、方向に応じた複数のエッジ検出値を得る方向エッジ成分検出処理と、
上記方向エッジ成分検出処理で検出されたエッジ検出値に基づく相関値に応じたブレンド比を設定し、設定したブレンド比を対応するエッジ検出値に乗算するブレンド比設定処理と、
上記ブレンド比設定処理で得られた複数のエッジ検出値を合成して焦点評価値を得る評価値取得処理と
を含むオートフォーカス評価処理をコンピュータに実行させるプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【公開番号】特開2010−14741(P2010−14741A)
【公開日】平成22年1月21日(2010.1.21)
【国際特許分類】
【出願番号】特願2008−171758(P2008−171758)
【出願日】平成20年6月30日(2008.6.30)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成22年1月21日(2010.1.21)
【国際特許分類】
【出願日】平成20年6月30日(2008.6.30)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]