説明

撮像装置

【課題】AF精度を維持しつつ、間引き読み出しによってAF高速化を図る。
【解決手段】スルー撮影で得た入力画像のエッジ強度を水平及び垂直方向において個別に評価し、水平及び垂直エッジ強度評価値E及びEを得る。シャッタボタンの半押し操作を受け、評価値E及びEを比較する。E>Eの場合には、垂直間引き量が水平間引き量よりも大きい間引き読み出しモードMDA1を対象読み出しモードとして選択し、E<Eの場合には、水平間引き量が垂直間引き量よりも大きい間引き読み出しモードMDA2を対象読み出しモードとして選択する。フォーカスレンズ位置を順次ずらしながら対象読み出しモード及び高フレームレートにて入力画像列を取得し、入力画像列の画像信号に基づき合焦レンズ位置を検出する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デジタルカメラ等の撮像装置に関する。
【背景技術】
【0002】
コントラスト検出法を用いたAF制御(オートフォーカス制御)が実用化されている。コントラスト検出法を用いたAF制御では、フォーカスレンズを移動させることで撮像素子上の被写体像のコントラストが変化することを利用して、コントラスト(エッジ強度)が最大化されるフォーカスレンズの位置(合焦レンズ位置)を見つける。
【0003】
エッジの強弱はフレーム間の相対比較で決まるため、フォーカスを精度良く合わせるためには(即ち、合焦レンズ位置を精度良く見つけるためには)、より多くのフレームについての評価値(エッジ評価値)が必要となるが、フレーム数を増やせば、その分だけ合焦時間(AF制御に必要な時間)が長くなる。そのため、AF制御を行う際には、撮像素子の駆動モードをフレームレートの大きな駆動モードに切り替え、一定時間内に得られる評価値の数を多くすることで合焦時間の短縮を行っている。
【0004】
但し、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮像素子から単位時間当たりに読み出すことのできるデータ量には限りがあるため、高フレームレートを実現するためには、一般的に、読み出し対象画素の間引きを行う必要がある。一般的には、図19に示す如く、信号読み出しの際に、垂直方向に沿って幾つかの画素間引きが行われる。図19において、斜線部分は間引きの対象部分を表している(後述の図20も同様)。間引かれた部分の信号は、当然、AF制御に利用されえない。
【0005】
尚、下記特許文献1には、間引き読み出しを利用してAF制御を行う技術が開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2010−14741号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
上述の如く、間引き読み出しを利用することで高フレームレート及びAF高速化を図ることができる。しかし、AF制御に利用される信号の情報量が間引き読み出しによって減衰するため、本来、間引きはAFの高精度実現にとって好ましくない。特に例えば、図20に示す如く、水平方向に強いエッジ成分を有する被写体像に対し、垂直方向の間引きを行うと或いは垂直方向の間引き量を大きくしすぎると、コントラスト変化検出に重要なエッジ成分(図20の例において、眉や口のエッジ成分)がAF制御の評価対象にならず、AF精度が相当に劣化する。このように、AF精度とAF時のフレームレート(換言すればAF速度)はトレードオフの関係にある。必要なAF精度を確保した上で、AF時のフレームレートを増大させることができれば有益である。
【0008】
そこで本発明は、合焦用位置検出における高精度化及び高速化の両立に寄与しうる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明に係る撮像装置は、フォーカスレンズを介して入射した被写体像の画像信号を生成する撮像素子と、前記撮像素子から前記画像信号を読み出すための複数の読み出しモードの中から選択された読み出しモードにて前記画像信号を読み出す読み出し制御部と、前記読み出し制御部によって読み出された前記画像信号に基づき、前記被写体像を合焦させるための、前記フォーカスレンズ及び前記撮像素子間の相対位置関係を検出するフォーカス処理を実行するフォーカス制御部と、前記撮像素子から読み出された前記画像信号に基づいて、前記フォーカス処理を実行するための読み出しモードを選択する読み出しモード選択部と、を備えたことを特徴とする。
【0010】
これにより、被写体像の状態に応じ、合焦用位置検出(上記相対位置関係の検出)の高精度化及び高速化にとって適切な読み出しモードを選択することができるようになる。
【0011】
具体的には例えば、前記読み出しモード選択部は、前記撮像素子から読み出された前記画像信号の空間周波数成分に基づき、前記読み出しモードを選択しても良い。
【0012】
これにより、被写体像のエッジ状態に応じた読み出しモードを選択することができる。例えば、被写体像のエッジ状態が保存される形で、なるだけ信号を間引いて読み出すようにすれば、合焦用位置検出の精度を維持しつつ、合焦用位置検出の高速化を図ることが可能となる。
【0013】
より具体的には例えば、前記読み出しモード選択部は、前記撮像素子から読み出された前記画像信号の空間周波数成分を水平及び垂直方向において個別に評価し、その評価結果に基づき前記読み出しモードを選択してもよい。
【0014】
これにより例えば、水平エッジと垂直エッジの大小関係に基づき、合焦用位置検出の精度維持にとって適切な読み出しモードを選択することが可能となる。
【0015】
更に具体的には例えば、前記複数の読み出しモードは、前記画像信号の間引き読み出しを行うための第1及び第2間引き読み出しモードを含み、前記第1間引き読み出しモードにおいて、垂直方向の間引き量は水平方向の間引き量よりも多く、前記第2間引き読み出しモードにおいて、水平方向の間引き量は垂直方向の間引き量よりも多く、前記読み出しモード選択部は、前記評価結果に基づき、前記第1又は第2間引き読み出しモードを選択してもよい。
【0016】
更に具体的には例えば、前記読み出しモード選択部は、前記撮像素子から読み出された前記画像信号より、前記水平方向の空間周波数成分に応じた第1エッジ強度(垂直エッジ強度評価値)及び前記垂直方向の空間周波数成分に応じた第2エッジ強度(水平エッジ強度評価値)を求め、前記第1エッジ強度が前記第2エッジ強度よりも大きいとき、前記第1間引き読み出しモードを選択する一方、前記第2エッジ強度が前記第1エッジ強度よりも大きいとき、前記第2間引き読み出しモードを選択してもよい。
【0017】
或いは例えば、前記複数の読み出しモードは、前記撮像素子に設けられた複数の受光画素の信号の加算結果を前記画像信号に含めて読み出す第1及び第2加算読み出しモードを含み、前記第1加算読み出しモードにおいて、足し合わされる信号の個数は垂直方向の方が水平方向よりも大きく、前記第2加算読み出しモードにおいて、前記個数は水平方向の方が垂直方向よりも大きく、前記読み出しモード選択部は、前記評価結果に基づき、前記第1又は第2加算読み出しモードを選択してもよい。
【0018】
この際、具体的には例えば、前記読み出しモード選択部は、前記撮像素子から読み出された前記画像信号より、前記水平方向の空間周波数成分に応じた第1エッジ強度及び前記垂直方向の空間周波数成分に応じた第2エッジ強度を求め、前記第1エッジ強度が前記第2エッジ強度よりも大きいとき、前記第1加算読み出しモードを選択する一方、前記第2エッジ強度が前記第1エッジ強度よりも大きいとき、前記第2加算読み出しモードを選択してもよい。
【発明の効果】
【0019】
本発明によれば、合焦用位置検出における高精度化及び高速化の両立に寄与しうる撮像装置を提供することが可能である。
【図面の簡単な説明】
【0020】
【図1】本発明の実施形態に係る撮像装置の概略全体ブロック図である。
【図2】図1の撮像部の内部構成図である。
【図3】読み出しの意義を説明するための図である。
【図4】撮像素子に複数の受光画素が配列されている様子を示す図である。
【図5】全画素読み出し、間引き読み出し及び加算読み出しの様子を示す図である。
【図6】間引き読み出しにおける水平間引き量及び垂直間引き量を説明するための図である。
【図7】加算読み出しにおける水平加算量及び垂直加算量を説明するための図である。
【図8】撮像素子におけるカラーフィルタ配列と、カラーフィルタに基づき形成されるR、B、Gr及びGb面を示す図である。
【図9】本発明の第1実施例に係る撮像装置の動作フローチャートである。
【図10】本発明の第1実施例に係るエッジ評価画像を示す図である。
【図11】本発明の第1実施例に係るエッジ評価部の内部ブロック図である。
【図12】水平エッジ及び垂直エッジの意義を説明するための図である。
【図13】本発明の第1実施例に係り、水平及び垂直エッジ抽出フィルタの例を示す図である。
【図14】本発明の第1実施例に係る2つの間引き読み出しモードを説明するための図である。
【図15】AF処理で取得されるn枚のAF用入力画像を示す図である。
【図16】本発明の第2実施例に係り、水平及び垂直エッジ強度評価値と、選択される間引き読み出しモードとの関係を示す図である。
【図17】本発明の第3実施例に係る撮像装置の動作フローチャートである。
【図18】本発明の第4実施例に係り、水平及び垂直エッジ強度評価値と、選択される加算読み出しモードとの関係を示す図である。
【図19】従来の間引き読み出し方法を説明するための図である。
【図20】従来の間引き読み出し方法を説明するための図である。
【発明を実施するための形態】
【0021】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、物理量、状態量又は部材等を参照する記号又は符号を記すことによって該記号又は符号に対応する情報、物理量、状態量又は部材等の名称を省略又は略記することがある。
【0022】
図1は、本発明の実施形態に係る撮像装置1の概略全体ブロック図である。撮像装置1は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。但し、撮像装置1は、静止画像のみを撮影及び記録可能なデジタルスチルカメラであっても良い。
【0023】
撮像装置1は、撮像部11と、AFE(Analog Front End)12と、主制御部13と、内部メモリ14と、表示画面(表示部)15と、記録媒体16と、操作部17と、を備えている。主制御部13には、読み出し制御部18、読み出しモード選択部19及びフォーカス制御部20が設けられている。
【0024】
図2は、撮像部11の内部構成図である。撮像部11は、ズームレンズ30及びフォーカスレンズ31を含む複数枚のレンズから成る光学系35と、絞り32と、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサから成る撮像素子(固体撮像素子)33と、光学系35や絞り32を駆動制御するためのドライバ34と、を有している。但し、CCD(Charge Coupled Device)にて撮像素子33を形成するようにしてもよい。撮像素子33は、光学系35及び絞り32を介して入射した撮影領域内の被写体の光学像を光電変換し、該光電変換により得られた電気信号である画像信号を出力する。撮影領域とは、撮像装置1の撮影領域(視野)を指す。AFE12は、撮像部11の出力信号である撮像素子33の出力信号のデジタル化及び増幅を行ってデジタル化及び増幅後の撮像素子33の出力信号を出力する。
【0025】
ドライバ34は、レンズ駆動部としての機能を備え、主制御部13からのズームレンズ駆動制御信号に従う位置にズームレンズ30を移動させると共に、主制御部13からのフォーカスレンズ駆動制御信号に従う位置にフォーカスレンズ31を移動させる。フォーカス制御部20にてフォーカスレンズ駆動制御信号を生成することができる。更に、ドライバ34は、主制御部13からの絞り駆動制御信号に従って絞り32の開度を調整する。以下、光学系35内におけるフォーカスレンズ31の位置をフォーカスレンズ位置とも呼ぶ。
【0026】
主制御部13は、AFE12の出力信号に対して必要な信号処理を施す。また、主制御部13は、撮像装置1内の各部位の動作を統括的に制御する。内部メモリ14は、SDRAM(Synchronous Dynamic Random Access Memory)等にて形成され、撮像装置1内で生成された各種信号(データ)を一時的に記憶する。表示画面15は、液晶ディスプレイパネル等から成り、主制御部13による制御の下、撮影画像や記録媒体16に記録されている画像などを表示する。記録媒体16は、カード状半導体メモリや磁気ディスク等の不揮発性メモリであり、主制御部13による制御の下、撮影画像等を記録する。
【0027】
操作部17は、複数のボタンを備え、ユーザからの各種操作を受け付ける。タッチパネルを用いて操作部17を形成してもよい。操作部17に対するユーザの操作内容は、主制御部13に伝達され、主制御部13の制御の下、撮像装置1内の各部位は操作内容に応じた動作を行う。
【0028】
撮像素子33にて生成される画像信号は、読み出し制御部18による読み出し制御の下で撮像素子33から読み出され、AFE12を介して主制御部13に送出される。以下では、特に必要のない限りAFE12の存在を無視する。撮像素子33にて生成される画像信号を主制御部13に対する入力画像信号として主制御部13に送る処理(以下、読み出し処理とも言う)が、読み出し制御部18による読み出しに相当する(図3参照)。
【0029】
撮像素子33は、光学系35及び絞り32を介して入射した被写体像(被写体の光学像)の光電変換を行う複数の受光画素を備え、各受光画素は、自身に入射した光の強度に応じた信号値を有する受光画素信号を光電変換によって生成する。図4に示す如く、撮像素子33において、複数の受光画素は水平及び垂直方向に沿ってマトリクス状に並べられている。受光画素信号は、画像信号の一種である。
【0030】
受光画素信号の読み出し方法を規定する読み出しモードとして、撮像素子33内の全ての受光画素からの受光画素信号を個別に読み出す全画素読み出しモードと、幾つかの受光画素信号を間引いて読み出す間引き読み出しモードと、複数の受光画素信号を加算しながら読み出す加算読み出しモードと、がある。ここで、受光画素とは、撮像素子33の有効画素領域内に位置する受光画素を指すものとする。尚、読み出しモードを駆動モードと読み替えても良い。全画素読み出しモード、間引き読み出しモード、加算読み出しモードにおける読み出しを、夫々、全画素読み出し、間引き読み出し、加算読み出しとも言う。
【0031】
図5(a)、(b)及び(c)は、夫々、全画素読み出し、間引き読み出し及び加算読み出しの概念図である。
全画素読み出しモードでは、撮像素子33内の全受光画素の受光画素信号を個別に入力画像信号として読み出す。
間引き読み出しでは、撮像素子33内の全受光画素の内、一部の受光画素についての受光画素信号のみを入力画像信号として読み出す。図5(b)において、斜線部分は間引かれる受光画素信号(即ち、読み出しの対象にならない受光画素信号)を表している。後述の図6(a)及び(b)においても同様である。図5(b)の例では、(2×2)の受光画素信号の内、3つの受光画素信号が間引かれているため、間引き読み出しによる取得画像の画像数は、水平及び垂直方向の夫々において、全画素読み出しによる取得画像のそれの1/2である。
加算読み出しでは、撮像素子33内に複数の小ブロックを定義して、各小ブロックにおいて当該小ブロック内に属する複数の受光画素信号を足し合わせることで1つの加算信号を生成し、小ブロックごとに得た加算信号を入力画像信号として読み出す。図5(c)では、(2×2)の受光画素信号が足し合わせられる様子が示されている。図5(c)の加算読み出しによる取得画像の画像数は、水平及び垂直方向の夫々において、全画素読み出しによる取得画像のそれの1/2である。
【0032】
間引き読み出しにおける水平間引き量及び垂直間引き量を、以下のように定義する。
間引き読み出しにおいて、図6(a)に示す如く、水平方向に並ぶp個の受光画素信号の内、(p−1)個を間引いて1つのみを入力画像信号として読み出すとき、水平間引き量は(p−1)であり、図6(b)に示す如く、垂直方向に並ぶq個の受光画素信号の内、(q−1)個を間引いて1つのみを入力画像信号として読み出すとき、垂直間引き量は(q−1)である。p及びqは整数である。
【0033】
加算読み出しにおける水平加算量及び垂直加算量を、以下のように定義する。
加算読み出しにおいて、図7(a)に示す如く、水平方向に並ぶp個の受光画素信号を足し合わせることで1つの入力画像信号を生成する際、水平加算量は(p−1)であり、図7(b)に示す如く、垂直方向に並ぶq個の受光画素信号を足し合わせることで1つの入力画像信号を生成する際、垂直加算量は(q−1)である。
【0034】
尚、水平間引き量がゼロである間引き読み出し及び水平加算量がゼロである加算読み出しは、水平方向において全画素読み出しを行うことに相当し、垂直間引き量がゼロである間引き読み出し及び垂直加算量がゼロである加算読み出しは、垂直方向において全画素読み出しを行うことに相当する。
【0035】
説明の簡略化上、撮像素子33が濃淡画像のみを撮影可能な撮像素子であるかのように考えた上で、間引き読み出し及び加算読み出しの方法を説明したが、実際には、撮像素子33は、カラー画像を撮影可能な単板式の撮像素子である。従って、撮像素子33の前面には、図8に示す如く、赤、緑及び青のカラーフィルタが所定規則(例えばベイヤ配列の規則)に沿って配列される。故に、撮像素子33は、赤の色成分に対応する受光画素信号から成るR面と、青の色成分に対応する受光画素信号から成るB面と、緑の色成分に対応する受光画素信号から成るG面と、に分けて考えることができる。更に、G面は、緑の色成分に対応する受光画素信号の内、赤の色成分に対応する受光画素信号に対して水平方向に並んだ受光画素信号から成るGr面と、青の色成分に対応する受光画素信号に対して水平方向に並んだ受光画素信号から成るGb面と、に分けられる。間引き読み出し又は加算読み出しを行う場合には、R、Gr、Gb及びB面の夫々に対して上述の間引き読み出し又は加算読み出しを実行し、読み出された結果を合成することで、カラー画像を表す入力画像信号を形成すればよい。尚、撮像素子33は、R、G及びB面に相当する撮像素子が個別に設けられた三板式の撮像素子であっても良い。
【0036】
図1の読み出しモード選択部19は、予め定められた複数の読み出しモード(以下、候補読み出しモードとも言う)の中から1つの読み出しモードを選択する。選択方法については後述するが、複数の候補読み出しモードの中に、全画素読み出しモード、間引き読み出しモード及び加算読み出しモードを含めておくことができる。読み出し制御部18は、選択された読み出しモードにて読み出し処理を行う。読み出し制御部18は、主制御部13が定めたフレームレートにて周期的に読み出し処理を行うことができる。1フレーム周期分の入力画像信号にて形成される1枚の静止画像(即ち、1枚のフレーム)を、入力画像とも呼ぶ。
【0037】
フォーカス制御部20は、フォーカスレンズ31を順次移動させつつ得た複数の入力画像の画像信号に基づき合焦レンズ位置を検出するAF処理(フォーカス処理)を実行する。合焦レンズ位置は、被写体像を撮像素子33上で結像させるためのフォーカスレンズ位置である。フォーカス処理の方法として公知の方法を利用可能である。
【0038】
上述の構成を基本とする撮像装置1の、より具体的な動作例及び構成例を、以下の複数の実施例の中で説明する。矛盾無き限り、或る実施例で記載した事項を他の実施例に適用することも可能である。
【0039】
<<第1実施例>>
第1実施例を説明する。図9は、第1実施例に係る撮像装置1の動作フローチャートである。撮像装置1が起動すると、まずステップS11において、撮像装置1はスルー処理を開始する。スルー処理では、所定のフレームレートでの撮影によって入力画像列が取得され、入力画像列が動画像として表示画面15に表示される。入力画像列とは、時系列で並ぶ複数の入力画像の集まりを指す。スルー処理では、入力画像列を全画素読み出しを用いて取得することができる。但し、比較的小さな水平及び垂直間引き量の間引き読み出し、又は、比較的小さな水平及び垂直加算量の加算読み出しを用いて、スルー処理における入力画像列を取得するようにしても良い。
【0040】
ステップS11に続くステップS12において、撮像装置1は、スルー処理で得られた各入力画像をエッジ評価画像として捉え(図10参照)、各エッジ評価画像に対してエッジ情報を算出することができる。図11に、エッジ情報を算出するエッジ評価部60の内部ブロック図の例を示す。エッジ評価部60を、主制御部13(特に例えば、読み出しモード選択部19)内に設けておくことができる。エッジ評価部60は、符号61、62H、62V、63H及び63Vによって参照される各部位を備える。
【0041】
エッジ評価部60は、エッジ評価画像内にエッジ評価領域を設定する(図10参照)。エッジ評価領域は、エッジ評価画像の全画像領域の一部又は全部であり、互いに分離した複数の画像領域の合成領域であっても良い。図10の例では、エッジ評価画像における中央付近の領域がエッジ評価領域とされている。
【0042】
抽出部61は、エッジ評価画像の画像信号の中から輝度信号を抽出し、得られた輝度信号をフィルタ部62H及び62Vに入力する。フィルタ部62Hは、入力輝度信号の水平エッジ成分を算出し、フィルタ部62Vは、入力輝度信号の垂直エッジ成分を算出する。ここで算出される水平及び垂直エッジ成分は、それらの絶対値であって、常にゼロ又は正の値を持つとする。フィルタ部62H及び62Vは、水平及び垂直エッジ成分の算出をエッジ評価領域内の画素ごとに行う。積算部63Hは、エッジ評価領域内の画素ごとに求められた水平エッジ成分を積算し、積算結果を水平エッジ強度評価値Eとして求める。積算部63Vは、エッジ評価領域内の画素ごとに求められた垂直エッジ成分を積算し、積算結果を垂直エッジ強度評価値Eとして求める。
【0043】
エッジとは、周知の如く、濃淡変化(輝度信号の変化)が急峻な画像部分を指す。本明細書において、水平エッジとは、図12(a)及び(b)に示す如く、水平方向に沿って伸びるエッジであり、水平エッジにおいては垂直方向の位置変化に対する濃淡変化(輝度信号の変化)が急峻となっている。垂直エッジとは、図12(c)及び(d)に示す如く、垂直方向に沿って伸びるエッジであり、垂直エッジにおいては水平方向の位置変化に対する濃淡変化(輝度信号の変化)が急峻となっている。
【0044】
水平エッジ成分は、垂直方向の位置変化に対する空間周波数成分(垂直方向の空間周波数成分)SFCに応じた値を持ち、垂直方向の位置変化に対する濃淡変化が大きくなるにつれて大きくなる。例えば、図13(a)に示したような水平エッジ抽出フィルタを用いて、各画素の水平エッジ成分を求めることができる。図13(a)の水平エッジ抽出フィルタを用いた場合、式“EHCMP=|−Y+2・Y−Y|”に従って、注目画素の水平エッジ成分EHCMPを求めることができる。ここで、Yは、注目画素の輝度信号値であり、Y及びYは、注目画素に対して垂直方向に隣接する2つの画素の輝度信号値である。
【0045】
垂直エッジ成分は、水平方向の位置変化に対する空間周波数成分(水平方向の空間周波数成分)SFCに応じた値を持ち、水平方向の位置変化に対する濃淡変化が大きくなるにつれて大きくなる。例えば、図13(b)に示したような垂直エッジ抽出フィルタを用いて、各画素の垂直エッジ成分を求めることができる。図13(b)の垂直エッジ抽出フィルタを用いた場合、式“EVCMP=|−Y+2・Y−Y|”に従って、注目画素の垂直エッジ成分EVCMPを求めることができる。ここで、Y及びYは、注目画素に対して水平方向に隣接する2つの画素の輝度信号値である。
【0046】
上述の説明から明らかなように、エッジ評価部60によって、エッジ評価画像の画像信号の空間周波数成分が水平及び垂直方向において個別に評価され、評価結果が水平及び垂直エッジ強度評価値E及びEとして求められる。評価値Eは、水平方向の空間周波数成分SFCに応じた評価値(第1エッジ強度)であり、評価値Eは、垂直方向の空間周波数成分SFCに応じた評価値(第2エッジ強度)である。
【0047】
図9を再び参照する。ステップS12に続くステップS13において、主制御部13は、操作部17に対して所定の第1操作が成されているか否かを確認する。第1操作が成されている場合にはステップS13からステップS14への遷移が発生するが、そうでない場合にはステップS12に戻る。第1操作は、例えば、操作部17に設けられたシャッタボタン(不図示)を半分だけ押す操作である。
【0048】
ステップS14では、読み出しモード選択部19が、第1操作が成される直前に得られた評価値E及びEを比較する。但し、第1操作が成された直後にもステップS12の処理を実行し、第1操作が成された直後の評価値E及びEをステップS14において比較するようにしても良い。読み出しモード選択部19は、ステップS14の比較結果に基づき、不等式「E>E」の成立時にはステップS15による選択処理を実行する一方、不等式「E<E」の成立時にはステップS16による選択処理を実行する。ステップS15及びS16の各選択処理では、AF処理に用いられる読み出しモード(以下、対象読み出しモードという)が複数の候補読み出しモードの中から選択される。
【0049】
複数の候補読み出しモードには、垂直間引き量が水平間引き量よりも多い間引き読み出しモードMDA1と、水平間引き量が垂直間引き量よりも多い間引き読み出しモードMDA2と、が含まれている。選択部19は、ステップS15においては間引き読み出しモードMDA1を対象読み出しモードとして選択し、ステップS16においては間引き読み出しモードMDA2を対象読み出しモードとして選択する。モードMDA1における水平間引き量及びモードMDA2における垂直間引き量はゼロでも良い。従って例えば、モードMDA1において、垂直間引き量は1以上であって且つ水平間引き量はゼロであっても良く、モードMDA2において、水平間引き量は1以上であって且つ垂直間引き量はゼロであっても良い。
【0050】
図14(a)に、被写体像の垂直エッジ(垂直方向に沿ったエッジ)が強い結果、垂直間引き量の大きいモードMDA1が対象読み出しモードとして選択されるときの入力画像の様子を示し、図14(b)に、被写体像の水平エッジ(水平方向に沿ったエッジ)が強い結果、水平間引き量の大きいモードMDA2が対象読み出しモードとして選択されるときの入力画像の様子を示す。図14(a)及び(b)において、間引かれた部分が斜線部分として表されている。
【0051】
ステップS15又はS16における対象読み出しモードの選択後、読み出し制御部18は、対象読み出しモードによる読み出し処理を対象読み出しモードに応じた比較的高いフレームレート(少なくとも、全画素読み出しモードにおけるフレームレートよりも高いフレームレート)にて実行する。対象読み出しモードが全画素読み出しモードであるときのフレームレートを基準として、対象読み出しモードが間引き読み出しモード(例えば、モードMDA1又はMDA2)であるときには、フレームレートを増大させることができる。対象読み出しモードによる読み出し処理の結果、AF処理に用いられるn枚の入力画像(以下、AF用入力画像ともいう)が得られる(図15参照)。nは2以上の整数である。n枚のAF用入力画像は、フォーカスレンズ31の可動範囲内でフォーカスレンズ31を所定量ずつ移動させながら撮影される。即ち、n枚のAF用入力画像は、フォーカスレンズ31を互いに異なる位置に配置した状態で取得される。
【0052】
ステップS17において、フォーカス制御部20は、n枚のAF用入力画像の画像信号における空間周波数成分に基づき合焦レンズ位置を検出するAF処理(フォーカス処理)を実行する。合焦レンズ位置は、入力画像のコントラスト(換言すれば、水平及び垂直エッジ成分を含むエッジ強度)を最大化させるためのフォーカスレンズ位置である。コントラスト検出法を用いて合焦レンズ位置を検出する方法は公知であるため、詳細な説明を割愛する。
【0053】
合焦レンズ位置が求められた後、フォーカスレンズ位置は合焦レンズ位置に固定される。その後、操作部17に対して所定の第2操作(例えば、シャッタボタンを全押しする操作)が成されると(ステップS18)、第2操作に応じた入力画像が対象画像として全画素読み出しモードにより取得される(ステップS19)。対象画像は、記録媒体16に記録される。
【0054】
図14(a)に示す如く、垂直方向に沿って強いエッジ成分を有する被写体像に対しては、垂直方向の間引き量を相応に大きくしても、AF精度(合焦レンズ位置の検出精度)には影響が少ないといえる。間引きの対象とならない水平ライン(図14(a)の白部分内の水平ライン)に沿って、AF処理に必要なエッジ情報が十分に抽出されるからである。逆に、図14(b)に示す如く、水平方向に沿って強いエッジ成分を有する被写体像に対しては、水平方向の間引き量を相応に大きくしても、AF処理の精度(合焦レンズ位置の検出精度)には影響が少ないといえる。間引きの対象とならない垂直ライン(図14(b)の白部分内の垂直ライン)に沿って、AF処理に必要なエッジ情報が十分に抽出されるからである。これらを考慮し、図9の動作では、水平及び垂直エッジ強度評価値E及びEに基づき、被写体像のエッジ状態に応じた間引き読み出しモードを選択し、AF処理を実行する。これにより、AF精度の劣化を抑制しつつ、AF処理時のフレームレートを増大させることができる。結果、必要なAF精度を確保した上でAF高速化を図ることができる。
【0055】
<<第2実施例>>
第2実施例を説明する。図9の例では、評価値E及びEの比較結果に基づき、間引き読み出しモードMDA1又はMDA2を対象読み出しモードとして選択しているが、評価値E及びEの比較結果に基づき、3以上の読み出しモードの中から対象読み出しモードを選択するようにしても良い。以下の説明文におけるE及びEは、特に記述なき限り、ステップS14で比較される評価値E及びEを指すものとする(第3実施例等においても同様)。
【0056】
例として、複数の候補読み出しモードの中に、互いに異なる5つの間引き読み出しモードMDB1、MDB2、MDB3、MDB4及びMDB5を含めておく場合を考える(図16参照)。この際、図9のステップS11〜S13を経た後、読み出しモード選択部19は、ステップS14において評価値E及びEを比較し、その比較結果に基づいて間引き読み出しモードMDB1、MDB2、MDB3、MDB4及びMDB5の何れかを対象読み出しモードとして選択する。対象読み出しモードの選択後における撮像装置1の動作は、第1実施例で述べたものと同様である。
【0057】
具体的には例えば、選択部19は、図16に示す如く、
不等式「E>E」及び「TH≦|E−E|」が成立する第1ケースでは、間引き読み出しモードMDB1を対象読み出しモードとして選択し、
不等式「E>E」及び「TH≦|E−E|<TH」が成立する第2ケースでは、間引き読み出しモードMDB2を対象読み出しモードとして選択し、
不等式「|E−E|<TH」が成立する第3ケースでは、間引き読み出しモードMDB3を対象読み出しモードとして選択し、
不等式「E<E」及び「TH≦|E−E|<TH」が成立する第4ケースでは、間引き読み出しモードMDB4を対象読み出しモードとして選択し、
不等式「E<E」及び「TH≦|E−E|」が成立する第5ケースでは、間引き読み出しモードMDB5を対象読み出しモードとして選択する。
TH及びTHは、「0<TH<TH」を満たす所定の閾値である。
【0058】
モードMDB1及びMDB2では、図14(a)のモードMDA1と同様、垂直間引き量が水平間引き量よりも多い。例えば、モードMDB2は、図14(a)のモードMDA1と同じであっても良い。第1及び第2ケースの比較において、第1ケースの方が強い垂直エッジの存在が見込まれるため、モードMDB1における垂直間引き量をモードMDB2における垂直間引き量よりも多くすることができる。これにより、第1ケースでは、AF精度を損なうことなく、第2ケースよりもAF処理を更に高速化する(AF処理でのフレームレートを更に増大させる)ことが可能となる。実際に、モードMDB1が対象読み出しモードとして選択されたとき、AF用入力画像の撮影時におけるフレームレートを、モードMDB2が対象読み出しモードとして選択されたときよりも高めると良い。
【0059】
モードMDB4及びMDB5では、図14(b)のモードMDA2と同様、水平間引き量が垂直間引き量よりも多い。例えば、モードMDB4は、図14(b)のモードMDA2と同じであっても良い。第4及び第5ケースの比較において、第5ケースの方が強い水平エッジの存在が見込まれるため、モードMDB5における水平間引き量をモードMDB4における水平間引き量よりも多くすることができる。これにより、第5ケースでは、AF精度を損なうことなく、第4ケースよりもAF処理を更に高速化する(AF処理でのフレームレートを更に増大させる)ことが可能となる。実際に、モードMDB5が対象読み出しモードとして選択されたとき、AF用入力画像の撮影時におけるフレームレートを、モードMDB4が対象読み出しモードとして選択されたときよりも高めると良い。
【0060】
第3ケースでは、入力画像内に水平及び垂直エッジが同程度存在すると考えられる。従って、第3ケースに対応するモードMDB3では、垂直間引き量と水平間引き量を均等(全く同じ又は略同じ)にしておくと良い。尚、第3ケースでは、AF精度を優先して、全画素読み出しモードを対象読み出しモードとして選択するようにしても良い。
【0061】
<<第3実施例>>
第3実施例を説明する。第1実施例において、間引き読み出しを加算読み出しに置き換えても良い。即ち、図9の代わりに、図17の動作を実行するようにしてもよい。図17は、第3実施例に係る撮像装置1の動作フローチャートである。第3実施例においても、第1実施例と同様に、ステップS11〜S13の処理を経た後、ステップS14で評価値E及びEを比較する。比較の結果、選択部19は、不等式「E>E」の成立時にはステップS25による選択処理を実行し、不等式「E<E」の成立時にはステップS26による選択処理を実行する。ステップS25及びS26の選択処理では、対象読み出しモードが複数の候補読み出しモードの中から選択される。
【0062】
複数の候補読み出しモードには、垂直加算量が水平加算量よりも多い加算読み出しモードMDC1と、水平加算量が垂直加算量よりも多い加算読み出しモードMDC2と、が含まれている。選択部19は、ステップS25においては加算読み出しモードMDC1を対象読み出しモードとして選択し、ステップS26においては加算読み出しモードMDC2を対象読み出しモードとして選択する。モードMDC1における水平加算量及びモードMDC2における垂直加算量はゼロでも良い。従って例えば、モードMDC1において、垂直加算量は1以上であって且つ水平加算量はゼロであっても良く、モードMDC2において、水平加算量は1以上であって且つ垂直加算量はゼロであっても良い。対象読み出しモードの選択後における撮像装置1の動作は、第1実施例で述べたものと同様である。対象読み出しモードが全画素読み出しモードであるときのフレームレートを基準として、対象読み出しモードが加算読み出しモード(例えば、モードMDC1又はMDC2)であるときには、フレームレートを増大させることができる。
【0063】
図14(a)は、被写体像の垂直エッジ(垂直方向に沿ったエッジ)が強い結果、垂直加算量の大きいモードMDC1が対象読み出しモードとして選択されるときの入力画像の例でもある。図14(b)は、被写体像の水平エッジ(水平方向に沿ったエッジ)が強い結果、水平加算量の大きいモードMDC2が対象読み出しモードとして選択されるときの入力画像の様子でもある。
【0064】
垂直方向の信号加算は、垂直方向のローパスフィルタ処理に相当するため、水平エッジ(図12(a)参照)をなまらせるが、垂直エッジ(図12(c)参照)は垂直方向の信号加算を経ても残存する。逆に、水平方向の信号加算は、水平方向のローパスフィルタ処理に相当するため、垂直エッジをなまらせるが、水平エッジは水平方向の信号加算を経ても残存する。これらを考慮して、図17の動作では、水平及び垂直エッジ強度評価値E及びEに基づき、被写体像のエッジ状態に応じた加算読み出しモードを選択し、AF処理を実行する。これにより、第1実施例と同様、AF精度の劣化を抑制しつつ、AF処理時のフレームレートを増大させることができる。結果、必要なAF精度を確保した上でAF高速化を図ることができる。
【0065】
<<第4実施例>>
第4実施例を説明する。第1実施例を第2実施例へと変形するのと同様に、第3実施例を以下のように変形することもできる。
【0066】
例として、複数の候補読み出しモードの中に、互いに異なる5つの加算読み出しモードMDD1、MDD2、MDD3、MDD4及びMDD5を含めておく場合を考える(図18参照)。この際、図17のステップS11〜S13を経た後、読み出しモード選択部19は、ステップS14において評価値E及びEを比較し、その比較結果に基づいて加算読み出しモードMDD1、MDD2、MDD3、MDD4及びMDD5の何れかを対象読み出しモードとして選択する。対象読み出しモードの選択後における撮像装置1の動作は、第1実施例で述べたものと同様である。
【0067】
具体的には例えば、選択部19は、図18に示す如く、第1、第2、第3、第4、第5ケースにおいて、夫々、加算読み出しモードMDD1、MDD2、MDD3、MDD4、MDD5を対象読み出しモードとして選択する。第1〜第5ケースの意義は、第2実施例で述べた通りである。
【0068】
モードMDD1及びMDD2では、図14(a)のモードMDA1と類似して、垂直加算量が水平加算量よりも多い。第1及び第2ケースの比較において、第1ケースの方が強い垂直エッジの存在が見込まれるため、モードMDD1における垂直加算量をモードMDD2における垂直加算量よりも多くすることができる。これにより、第1ケースでは、AF精度を損なうことなく、第2ケースよりもAF処理を更に高速化する(AF処理でのフレームレートを更に増大させる)ことが可能となる。実際に、モードMDD1が対象読み出しモードとして選択されたとき、AF用入力画像の撮影時におけるフレームレートを、モードMDD2が対象読み出しモードとして選択されたときよりも高めると良い。
【0069】
モードMDD4及びMDD5では、図14(b)のモードMDA2と類似して、水平加算量が垂直加算量よりも多い。第4及び第5ケースの比較において、第5ケースの方が強い水平エッジの存在が見込まれるため、モードMDD5における水平加算量をモードMDD4における水平加算量よりも多くすることができる。これにより、第5ケースでは、AF精度を損なうことなく、第4ケースよりもAF処理を更に高速化する(AF処理でのフレームレートを更に増大させる)ことが可能となる。実際に、モードMDD5が対象読み出しモードとして選択されたとき、AF用入力画像の撮影時におけるフレームレートを、モードMDD4が対象読み出しモードとして選択されたときよりも高めると良い。
【0070】
第3ケースでは、入力画像内に水平及び垂直エッジが同程度存在すると考えられる。従って、第3ケースに対応するモードMDD3では、垂直加算量と水平加算量を均等(全く同じ又は略同じ)にしておくと良い。尚、第3ケースでは、AF精度を優先して、全画素読み出しモードを対象読み出しモードとして選択するようにしても良い。
【0071】
<<変形等>>
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈1〜注釈3を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【0072】
[注釈1]
撮像装置1は、任意の機器(携帯電話機などの携帯端末)に搭載されるものであっても良い。
【0073】
[注釈2]
上述のAF処理(フォーカス処理)では、撮像素子33を固定した上でフォーカスレンズ31を順次移動させ、その移動過程で得た複数の入力画像の画像信号に基づき合焦レンズ位置を検出している。周知の如く、このようなAF処理は、フォーカスレンズ31の代わりに撮像素子33を移動させても実現可能である。即ち、AF処理(フォーカス処理)では、フォーカスレンズ31を固定した上で撮像素子33を順次移動させ、その移動過程で得た複数の入力画像の画像信号に基づき合焦素子位置を検出するようにしても良い。この場合において第2操作が成されると(図9等参照)、撮像素子33を合焦素子位置に配置した状態で対象画像が全画素読み出しモードにより取得される。移動対象が相違する点を除き、合焦素子位置の検出方法は、上述した合焦レンズ位置の検出方法と同様である。
【0074】
合焦レンズ位置は、被写体像を撮像素子33上で結像(合焦)させるためのフォーカスレンズ位置であって、撮像素子33の位置を基準とした位置である。これに対し、合焦素子位置は、被写体像を撮像素子33上で結像(合焦)させるための撮像素子33の位置であって、フィーカスレンズ31の位置を基準とした位置である。合焦レンズ位置も合焦素子位置も、被写体像を撮像素子33上で結像(合焦)させるための、フォーカスレンズ31及び撮像素子33間の相対位置関係を表しているため、AF処理(フォーカス処理)は、その相対位置関係を検出する処理であると言える。当該相対位置関係を求める際、フォーカスレンズ31及び撮像素子33の双方を移動させるようにしても構わない。当該相対位置関係の検出後、当該相対位置関係が定める合焦レンズ位置又は合焦素子位置にフォーカスレンズ31又は撮像素子33を移動させる処理も、AF処理に含まれていると考えても良い。
【0075】
[注釈3]
図1の撮像装置1を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置1を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置(例えばコンピュータ)上で実行することによって、その機能を実現するようにしてもよい。
【0076】
具体的には例えば、主制御部13にCPU(Central Processing Unit)を設けておき、図示されないフラッシュメモリに格納されたプログラムを当該CPUに実行させることで、上述の各機能を実現することができる。図1の構成においては、例えば、上記CPUと、撮像部11、AFE12、内部メモリ14、表示画面15、記録媒体16及び操作部17とをハードウェアにて構成し、読み出し制御部18、読み出しモード選択部19及びフォーカス制御部20をソフトウェアにて構成することができる。但し、読み出し制御部18、読み出しモード選択部19及びフォーカス制御部20の全部又は一部をハードウェアにて構成しても構わない。
【符号の説明】
【0077】
1 撮像装置
11 撮像部
18 読み出し制御部
19 読み出しモード選択部
20 フォーカス制御部
31 フォーカスレンズ
33 撮像素子
35 光学系

【特許請求の範囲】
【請求項1】
フォーカスレンズを介して入射した被写体像の画像信号を生成する撮像素子と、
前記撮像素子から前記画像信号を読み出すための複数の読み出しモードの中から選択された読み出しモードにて前記画像信号を読み出す読み出し制御部と、
前記読み出し制御部によって読み出された前記画像信号に基づき、前記被写体像を合焦させるための、前記フォーカスレンズ及び前記撮像素子間の相対位置関係を検出するフォーカス処理を実行するフォーカス制御部と、
前記撮像素子から読み出された前記画像信号に基づいて、前記フォーカス処理を実行するための読み出しモードを選択する読み出しモード選択部と、を備えた
ことを特徴とする撮像装置。
【請求項2】
前記読み出しモード選択部は、前記撮像素子から読み出された前記画像信号の空間周波数成分に基づき、前記読み出しモードを選択する
ことを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記読み出しモード選択部は、前記撮像素子から読み出された前記画像信号の空間周波数成分を水平及び垂直方向において個別に評価し、その評価結果に基づき前記読み出しモードを選択する
ことを特徴とする請求項2に記載の撮像装置。
【請求項4】
前記複数の読み出しモードは、前記画像信号の間引き読み出しを行うための第1及び第2間引き読み出しモードを含み、
前記第1間引き読み出しモードにおいて、垂直方向の間引き量は水平方向の間引き量よりも多く、
前記第2間引き読み出しモードにおいて、水平方向の間引き量は垂直方向の間引き量よりも多く、
前記読み出しモード選択部は、前記評価結果に基づき、前記第1又は第2間引き読み出しモードを選択する
ことを特徴とする請求項3に記載の撮像装置。
【請求項5】
前記読み出しモード選択部は、
前記撮像素子から読み出された前記画像信号より、前記水平方向の空間周波数成分に応じた第1エッジ強度及び前記垂直方向の空間周波数成分に応じた第2エッジ強度を求め、
前記第1エッジ強度が前記第2エッジ強度よりも大きいとき、前記第1間引き読み出しモードを選択する一方、
前記第2エッジ強度が前記第1エッジ強度よりも大きいとき、前記第2間引き読み出しモードを選択する
ことを特徴とする請求項4に記載の撮像装置。
【請求項6】
前記複数の読み出しモードは、前記撮像素子に設けられた複数の受光画素の信号の加算結果を前記画像信号に含めて読み出す第1及び第2加算読み出しモードを含み、
前記第1加算読み出しモードにおいて、足し合わされる信号の個数は垂直方向の方が水平方向よりも大きく、
前記第2加算読み出しモードにおいて、前記個数は水平方向の方が垂直方向よりも大きく、
前記読み出しモード選択部は、前記評価結果に基づき、前記第1又は第2加算読み出しモードを選択する
ことを特徴とする請求項3に記載の撮像装置。
【請求項7】
前記読み出しモード選択部は、
前記撮像素子から読み出された前記画像信号より、前記水平方向の空間周波数成分に応じた第1エッジ強度及び前記垂直方向の空間周波数成分に応じた第2エッジ強度を求め、
前記第1エッジ強度が前記第2エッジ強度よりも大きいとき、前記第1加算読み出しモードを選択する一方、
前記第2エッジ強度が前記第1エッジ強度よりも大きいとき、前記第2加算読み出しモードを選択する
ことを特徴とする請求項6に記載の撮像装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate


【公開番号】特開2013−72923(P2013−72923A)
【公開日】平成25年4月22日(2013.4.22)
【国際特許分類】
【出願番号】特願2011−210282(P2011−210282)
【出願日】平成23年9月27日(2011.9.27)
【出願人】(000001889)三洋電機株式会社 (18,308)
【Fターム(参考)】