説明

撮像装置および評価値生成装置

【課題】固体撮像装置の画素信号の出力形式が異なっても、精度が低下することなく評価値を生成することができる撮像装置および評価値生成装置を提供する。
【解決手段】行列状に配置された複数の画素を有する固体撮像装置の画素信号に応じた複数の撮像信号を出力する撮像部と、撮像信号に基づいた評価値を生成する評価値生成部とを備え、評価値生成部は、信号を行方向に間引く水平方向間引き部と、信号を列方向に間引く垂直方向間引き部と、信号の列方向の成分を抽出する垂直方向フィルタ部を具備し列方向の評価値を生成する垂直方向評価値生成部と、信号の行方向の成分を抽出する水平方向フィルタ部を具備し行方向の評価値を生成する水平方向評価値生成部とを有し、撮像信号に応じた信号を水平方向間引き部と垂直方向間引き部とに入力し、水平方向間引き部の出力を垂直方向評価値生成部に入力し、垂直方向間引き部の出力を水平方向評価値生成部に入力する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置および評価値生成装置に関する。
【背景技術】
【0002】
近年、デジタルカメラなどの撮像装置の高速化に伴って、複数の画素の信号(以下、「画素信号」という)を同時に出力する固体撮像装置(以下、「イメージャ」という)を撮像装置の撮像部に搭載するケースが多くなっている。複数の画素信号を同時に出力するイメージャの出力形式には、例えば、水平方向に隣接する2画素の画素信号を同時に出力する形式や、垂直方向に隣接する2画素の画素信号を同時に出力する形式などがある。
【0003】
また、今後のさらなる撮像装置の性能向上に応じて、イメージャからの画素信号の出力形式は、様々な構成となることが考えられる。しかし、イメージャから出力される画素信号の出力形式が異なっている場合でも、画素信号を処理する後段の撮像処理部(いわゆる、撮像サブシステム)は、同一の構成で、多様な出力形式のイメージャに対応できることが望ましい。
【0004】
このようなことから、画素信号の出力形式が異なるイメージャに対応するための技術として、例えば、特許文献1に示すような技術が開示されている。図8は、特許文献1で開示されたような、従来の撮像装置の概略構成を示したブロック図である。従来の撮像装置では、撮像部から出力される画像データのチャンネル数(図8においては、2チャンネル)分の画像処理部(第1画像処理部および第2画像処理部)を搭載することによって、複数の画素信号を同時に出力するイメージャに対応している。
【0005】
また、従来の撮像装置では、出力する画像データのチャンネル数が1チャンネル(1ch)である撮像部に対応した評価値演算部(AE評価値演算部およびAF評価値演算部)のそれぞれに間引部を追加することによって、複数の画素信号を同時に出力するイメージャの出力形式に対応している。評価値演算部による評価値の生成においては、評価値演算部のそれぞれに備えた間引部で、複数個(図8においては、2個)同時に入力される画像データを選択する(間引く)処理を行った後に、それぞれの評価値を生成する。
【0006】
図9は、従来の撮像装置における評価値演算部の内部の概略構成を示したブロック図である。図9では、撮像装置に備えた評価値演算部の内、AF評価値演算部に係る構成を示している。AF評価値の生成においては、最初に、第1間引部が、撮像部から出力された画像データの間引き処理を行う。より具体的には、撮像装置に、水平方向に隣接する2画素の画素信号を同時に出力する形式のイメージャを搭載している場合、第1間引部は、水平方向の画像データの間引き処理を行う。一方、撮像装置に、垂直方向に隣接する2画素の画素信号を同時に出力する形式のイメージャを搭載している場合、第1間引部は、垂直方向の画像データの間引き処理を行う。
【0007】
その後、AF評価値演算部が、間引き処理された画像データに応じたAF評価値を演算(生成)する。より具体的には、まず、AF評価値演算部に備えたY生成部が、間引き処理された画像データに基づいて、輝度信号(Y信号)を生成する。続いて、AF評価値演算部に備えた垂直AF評価値生成部が、Y生成部が生成した輝度信号に対して垂直方向のフィルタ処理を行い、フィルタ処理した後の輝度信号を累積した垂直AF評価値を生成する。また、同時に、AF評価値演算部に備えた水平AF評価値生成部が、Y生成部が生成した輝度信号に対して水平方向のフィルタ処理を行い、フィルタ処理した後の輝度信号を累積した水平AF評価値を生成する。
【0008】
このような構成にすることによって、従来の撮像装置では、複数の画素の画素信号に応じた画像データが同時に評価値演算部に入力された場合でも、評価値演算部の回路規模を増大させることなく、AF評価値やAE評価値を演算(生成)することができる。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開2008−5048号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかしながら、特許文献1で開示されたような従来の撮像装置に備えた評価値演算部では、間引き処理を行った後に、それぞれの評価値を演算しているため、間引き処理の方法によっては、生成した評価値の精度が低下してしまう場合があるという問題がある。
【0011】
特に、図9に示したようなAF評価値演算部では、画像データに含まれる垂直方向や水平方向の周波数成分に基づいてそれぞれの評価値を演算しているため、同時に生成される垂直AF評価値と水平AF評価値とで、評価値の精度が異なってしまう場合がある。より具体的には、撮像装置に、水平方向に隣接する2画素の画素信号を同時に出力する形式のイメージャを搭載している場合、第1間引部が水平方向の画像データの間引き処理を行う。このため、垂直方向の周波数成分に基づいて演算される垂直AF評価値の精度は低下しないが、水平方向の周波数成分に基づいて演算される水平AF評価値の精度が低下してしまう。
【0012】
一方、撮像装置に、垂直方向に隣接する2画素の画素信号を同時に出力する形式のイメージャを搭載している場合、第1間引部が垂直方向の画像データの間引き処理を行う。このため、水平方向の周波数成分に基づいて演算される水平AF評価値の精度は低下しないが、垂直方向の周波数成分に基づいて演算される垂直AF評価値の精度が低下してしまう。
【0013】
このように、一定の方法で画像データの間引き処理を行う従来の方法では、撮像装置に搭載するイメージャが出力する画素信号の出力形式によって、評価値の精度が低下してしまう場合がある。このような評価値の精度の低下は、撮像装置の性能が低下してしまう要因でもあるため、評価値の精度は低下しないことが望ましい。
【0014】
このような評価値の精度の低下をなくす方法として、間引き処理を行わずに評価値を演算する方法が考えられる。しかし、この方法では、従来の方法に比べて、評価値の精度を向上することができるが、評価値の演算に要する時間が長くなる。そこで、さらに、評価値演算部の動作速度を上げて、評価値の演算に要する時間を同等にすることも考えられる。しかし、この方法では、評価値演算部の動作速度を上げることにより、評価値演算部の消費電力が増大してしまう。このため、評価値演算部の動作速度を上げて、間引き処理を行わずに評価値を演算する方法は、評価値の精度の低下をなくすために必ずしも最適な方法であるとはいえない。
【0015】
本発明は、上記の課題認識に基づいてなされたものであり、固体撮像装置から出力される画素信号の出力形式が異なっている場合でも、精度が低下することなく評価値を生成することができる撮像装置および評価値生成装置を提供することを目的としている。
【課題を解決するための手段】
【0016】
上記の課題を解決するため、本発明の撮像装置は、行列状に配置された複数の画素を有する固体撮像装置を具備し、該固体撮像装置から出力された複数の画素信号のそれぞれに応じた複数の撮像信号を順次出力する撮像部と、前記撮像部から出力された前記複数の撮像信号が順次入力され、該入力された前記撮像信号に基づいた評価値を生成する評価値生成部と、を備え、前記評価値生成部は、順次入力された信号を、前記固体撮像装置に配置された前記画素の行方向に間引いて順次出力する水平方向間引き部と、順次入力された信号を、前記固体撮像装置に配置された前記画素の列方向に間引いて順次出力する垂直方向間引き部と、順次入力された信号から、前記固体撮像装置に配置された前記画素の列方向の成分を抽出する垂直方向フィルタ部を具備し、該垂直方向フィルタ部によってフィルタ処理された信号に基づいて、前記列方向の評価値を生成する垂直方向評価値生成部と、順次入力された信号から、前記固体撮像装置に配置された前記画素の行方向の成分を抽出する水平方向フィルタ部を具備し、該水平方向フィルタ部によってフィルタ処理された信号に基づいて、前記行方向の評価値を生成する水平方向評価値生成部と、を有し、前記撮像部から順次出力された前記複数の撮像信号に応じた信号を、前記水平方向間引き部と前記垂直方向間引き部との入力信号として順次入力し、前記水平方向間引き部によって前記行方向に間引かれた撮像信号を、前記垂直方向評価値生成部の入力信号として順次入力し、前記垂直方向間引き部によって前記列方向に間引かれた撮像信号を、前記水平方向評価値生成部の入力信号として順次入力する、ことを特徴とする。
【0017】
また、本発明の前記評価値生成部は、順次入力された画像信号に対して信号処理を行い、該信号処理によって生成した信号を順次出力する信号処理部、をさらに備え、前記撮像部から順次出力された前記複数の撮像信号を、前記信号処理部に入力する画像信号として順次入力し、前記信号処理部によって信号処理された信号を、前記水平方向間引き部と前記垂直方向間引き部との入力信号として順次入力する、ことを特徴とする。
【0018】
また、本発明の前記信号処理部は、入力された前記複数の撮像信号から輝度信号を生成する信号処理を行い、前記評価値生成部は、前記信号処理部によって生成された輝度信号を、前記水平方向間引き部と前記垂直方向間引き部との入力信号として順次入力する、ことを特徴とする。
【0019】
また、本発明の前記評価値生成部は、前記撮像部から順次出力された前記複数の撮像信号を、前記水平方向間引き部と前記垂直方向間引き部との入力信号として順次入力する、ことを特徴とする。
【0020】
また、本発明の撮像装置は、前記撮像部が、前記固体撮像装置に配置された前記画素の行方向に隣接する2つの画素の前記画素信号に応じた行方向の2画素の撮像信号を同時に、対応するそれぞれの出力端子から順次出力し、前記評価値生成部に、前記撮像部から同時に出力された前記行方向の2画素の撮像信号が、対応するそれぞれの入力端子に順次入力され、入力された前記行方向の2画素の撮像信号に基づいた評価値を生成する場合、前記水平方向間引き部は、前記入力端子のそれぞれに対応する端子から入力された信号の内、いずれか一方の前記端子から入力された信号を、前記行方向に間引いた信号として出力し、前記垂直方向間引き部は、入力された信号を間引く行では、前記入力端子のそれぞれに対応する端子から入力された全ての信号を出力せず、入力された信号を間引かない行では、前記入力端子のそれぞれに対応する端子から入力された全ての信号を交互に並べ替えた信号を、前記列方向に間引いた信号として出力する、ことを特徴とする。
【0021】
また、本発明の撮像装置は、前記撮像部が、前記固体撮像装置に配置された前記画素の列方向に隣接する2つの画素の前記画素信号に応じた列方向の2画素の撮像信号を同時に、対応するそれぞれの出力端子から順次出力し、前記評価値生成部に、前記撮像部から同時に出力された前記列方向の2画素の撮像信号が、対応するそれぞれの入力端子に順次入力され、入力された前記列方向の2画素の撮像信号に基づいた評価値を生成する場合、前記水平方向間引き部は、前記入力端子のそれぞれに対応する端子から入力された、間引く列の信号を出力せず、前記入力端子のそれぞれに対応する端子から入力された、間引かない列の信号を、前記端子の順番で、順次、前記行方向に間引いた信号として出力し、前記垂直方向間引き部は、前記入力端子のそれぞれに対応する端子から入力された信号の内、いずれか一方の前記端子から入力された信号を、前記列方向に間引いた信号として出力する、ことを特徴とする。
【0022】
また、本発明の評価値生成装置は、行列状に配置された複数の画素を有する固体撮像装置を具備し、該固体撮像装置から出力された複数の画素信号のそれぞれに応じた複数の撮像信号を順次出力する撮像部から、順次入力された前記撮像信号に基づいた評価値を生成する評価値生成装置であって、当該評価値生成装置は、順次入力された信号を、前記固体撮像装置に配置された前記画素の行方向に間引いて順次出力する水平方向間引き部と、順次入力された信号を、前記固体撮像装置に配置された前記画素の列方向に間引いて順次出力する垂直方向間引き部と、順次入力された信号から、前記固体撮像装置に配置された前記画素の列方向の成分を抽出する垂直方向フィルタ部を具備し、該垂直方向フィルタ部によってフィルタ処理された信号に基づいて、前記列方向の評価値を生成する垂直方向評価値生成部と、順次入力された信号から、前記固体撮像装置に配置された前記画素の行方向の成分を抽出する水平方向フィルタ部を具備し、該水平方向フィルタ部によってフィルタ処理された信号に基づいて、前記行方向の評価値を生成する水平方向評価値生成部と、を備え、前記撮像部から順次出力された前記複数の撮像信号に応じた信号を、前記水平方向間引き部と前記垂直方向間引き部との入力信号として順次入力し、前記水平方向間引き部によって前記行方向に間引かれた撮像信号を、前記垂直方向評価値生成部の入力信号として順次入力し、前記垂直方向間引き部によって前記列方向に間引かれた撮像信号を、前記水平方向評価値生成部の入力信号として順次入力する、ことを特徴とする。
【発明の効果】
【0023】
本発明によれば、固体撮像装置から出力される画素信号の出力形式が異なっている場合でも、精度が低下することなく評価値を生成することができるという効果が得られる。
【図面の簡単な説明】
【0024】
【図1】本発明の第1の実施形態における撮像装置の概略構成を示したブロック図である。
【図2】本第1の実施形態の撮像装置に備えた固体撮像装置の画素配列の一例を示した図である。
【図3】本第1の実施形態の撮像装置に備えたAF評価値演算部内のY生成部による輝度信号の生成方法を説明する図である。
【図4】本第1の実施形態の撮像装置における各処理段階のデータ配列の一例を模式的に示した図である。
【図5】本第1の実施形態の撮像装置に備えたAF評価値演算部の構成を示したブロック図である。
【図6】本第1の実施形態の撮像装置に備えたAF評価値演算部の処理タイミングの一例を示したタイミングチャートである。
【図7】本第2の実施形態の撮像装置に備えたAF評価値演算部の処理タイミングの一例を示したタイミングチャートである。
【図8】従来の撮像装置の概略構成を示したブロック図である。
【図9】従来の撮像装置における評価値演算部の内部の概略構成を示したブロック図である。
【発明を実施するための形態】
【0025】
<第1の実施形態>
以下、本発明の実施形態について、図面を参照して説明する。図1は、本第1の実施形態における撮像装置の概略構成を示したブロック図である。図1に示した撮像装置100は、撮像部10と、画像処理部20と、AF評価値演算部30と、間引き部401と、AE評価値生成部402と、を備えている。撮像装置100では、間引き部401と、AE評価値生成部402とで、AE評価値演算部40を構成している。
【0026】
撮像部10は、レンズや固体撮像装置(イメージャ)などから構成され、図示しない制御部からの制御に応じて、レンズを介してイメージャに結像された被写体の光学像を露光する。そして、撮像部10は、イメージャが露光した被写体の光学像に応じた画素信号(アナログ信号)を、デジタル値に変換して画像処理部20、AF評価値演算部30、およびAE評価値演算部40内の間引き部401のそれぞれに出力する。
【0027】
本第1の実施形態の撮像装置100においては、水平方向(行方向)に隣接する2画素の画素信号を同時に出力する、図2に示したようなベイヤー配列のイメージャが撮像部10に備えられている。図2は、6行8列に画素が配置されたイメージャの一例を示している。図2に示したイメージャが水平方向(行方向)に隣接する2画素の画素信号を同時に出力する場合、まず、R画素の画素信号が一方のチャンネルから出力され、R画素に水平方向(行方向)に隣接するGr画素の画素信号が他方のチャンネルからそれぞれ同時に出力される。続いて、次の出力タイミングでは、Gb画素の画素信号が一方のチャンネルから出力され、Gb画素に水平方向(行方向)に隣接するB画素の画素信号が他方のチャンネルからそれぞれ同時に出力される。このように、撮像部10に備えたイメージャは、水平方向(行方向)に隣接する2画素の画素信号を同時に、順次出力する。そして、撮像部10は、イメージャのそれぞれのチャンネルから出力された画素信号に応じた撮像信号のデジタル値(以下、「画像データ」という)を、それぞれ対応する2つの出力チャンネル(ch1およびch2)から、順次出力する。
【0028】
また、撮像部10は、画像データの出力タイミングを表す信号(不図示)を、画像処理部20、AF評価値演算部30、および間引き部401のそれぞれに出力する。なお、撮像部10に備えたイメージャが出力する画素信号に応じた画像データの出力タイミングに関しては、後述する。
【0029】
なお、撮像部10は、イメージャから出力された画素信号に含まれるノイズ成分を抑圧するCDS(Correlated Double Sampling:相関二重サンプリング)処理など、予め定められた信号処理(前処理)を行う前処理部を、さらに備えた構成であってもよい。
【0030】
画像処理部20は、図示しない制御部からの制御に応じて、撮像部10から入力された画像データに対して、撮像装置100における種々の画像処理を行う。そして、画像処理部20は、画像処理によって得られたデータを、撮像装置100内の対応する構成要素に出力する。例えば、DMAIF(Direct Memory Access インターフェース)部を介して、撮像装置100に備えたDRAM(Dynamic Random Access Memory)に書き込む。なお、画像処理部20は、水平方向(行方向)に隣接する2画素の画素信号を同時に、順次出力する形式のイメージャに対応した、従来の画像処理部と同様であるため、詳細な説明は省略する。
【0031】
AE評価値演算部40は、図示しない制御部からの制御に応じて、撮像部10から入力された画像データを色(図2に示したベイヤー配列のイメージャでは、R,Gr,Gb,B)毎に積算したAE評価値を演算(生成)する。そして、AE評価値演算部40は、生成したAE評価値を、例えば、DMAIF部を介して、撮像装置100に備えたDRAMに書き込む。なお、AE評価値演算部40内の間引き部401およびAE評価値生成部402は、従来のAE評価値演算部(例えば、図9に示した第2間引き部およびAE評価値生成部)と同様であるため、詳細な説明は省略する。
【0032】
AF評価値演算部30は、図示しない制御部からの制御に応じて、撮像部10から入力された画像データから輝度信号(Y信号)を生成し、生成したY信号に基づいてAF評価値を演算(生成)する。そして、AF評価値演算部30は、生成したAF評価値を、例えば、DMAIF部を介して、撮像装置100に備えたDRAMに書き込む。AF評価値演算部30は、Y生成部301と、間引き部310と、垂直AF評価値生成部311と、間引き部320と、水平AF評価値生成部321と、を備えている。
【0033】
Y生成部301は、撮像部10から入力された画像データから、輝度信号(Y信号)を生成する。ここで、Y生成部301によるY信号の生成方法について説明する。図3は、本第1の実施形態の撮像装置100に備えたAF評価値演算部30内のY生成部301による輝度信号(Y信号)の生成方法を説明する図である。
【0034】
図3(a)には、図2に示したベイヤー配列のイメージャの画素と、Y生成部301がY信号を生成する際に用いる画素との位置関係を示している。また、図3(b)には、Y生成部301がY信号を生成する際の演算内容の一例を示している。なお、図3では、イメージャの各画素の配置を区別するため、各画素の色の後に行番号と列番号とを併記して表している。例えば、2行5列目のGb画素は、「G25」と表している。
【0035】
Y生成部301は、図3(a)において丸で囲んだ範囲内の各画素のように、イメージャ内に配置された近隣の4画素を用いて、1つのY信号を生成する。より具体的には、Y生成部301は、図3(a)に示した丸で囲んだ範囲内のR画素と、Gr画素と、Gb画素と、B画素との画像データを加算することによって、Y信号のデジタル値(以下、「Y信号データ」という)を生成する。例えば、図3(b)に示したように、Y11=R11+G12+G21+B22,Y12=G12+R13+B22+G23というように、図3(a)に示した丸で囲んだ範囲内の各画素の画像データをそれぞれ加算することによって、それぞれのY信号データを生成する。
【0036】
図3では、生成したY信号データのそれぞれを区別するため、Y信号データの生成に用いられる各色の画像データの内、最初の画素の行番号と列番号とを併記して表している。例えば、上述したY信号Y11は、1行1列目のR画素R11と、1行2列目のGr画素G12と、2行1列目のGb画素G21と、2行3列目のB画素B22との画像データを用いて生成されるため、最初のR画素R11の行番号と列番号とを併記、すなわち、「11」を併記して、「Y11」と表している。
【0037】
なお、Y生成部301によるY信号の生成方法は、説明を容易にするため、上述したようなイメージャ内の各画素(R画素,Gr画素,Gb画素,B画素)の画像データを加算する方法について説明した。しかし、Y生成部301によるY信号の生成方法は、上述した方法のみに限定されるものではない。例えば、図3(a)において丸で囲んだ範囲内の各色の画像データに、例えば、Y=0.299R+0.587G+0.114Bなどの一般的に用いられる変換式を適用することによって、それぞれのY信号を生成することもできる。ここで、上述した一般的な変換式の“G”は、例えば、“G12”と“G21”との加算平均のデータである。
【0038】
Y生成部301は、撮像部10から入力された画像データから生成したそれぞれのY信号データを、間引き部310と間引き部320とに出力する。なお、Y生成部301におけるY信号データの生成の処理タイミングに関しては、後述する。
【0039】
間引き部310は、Y生成部301から入力されたY信号データを、入力された画像データとして、水平方向(イメージャの行方向)に間引き、間引いた後のY信号データ(以下、「水平間引きY信号データ」という)を、出力する画像データとして、垂直AF評価値生成部311に出力する。
間引き部320は、Y生成部301から入力されたY信号データを、入力された画像データとして、垂直方向(イメージャの列方向)に間引き、間引いた後のY信号データ(以下、「垂直間引きY信号データ」という)を、出力する画像データとして、水平AF評価値生成部321に出力する。
【0040】
ここで、間引き部310および間引き部320によるY信号データの間引き方法について説明する。図4は、本第1の実施形態の撮像装置100における各処理段階のデータ配列の一例を模式的に示した図である。図4(a)には、撮像部10からAF評価値演算部30内のY生成部301に入力される画像データ、図4(b)には、Y生成部301によって生成されたY信号データ、図4(c)には、間引き部310によって水平方向に間引き処理された水平間引きY信号データ、図4(d)には、間引き部320によって垂直方向に間引き処理された垂直間引きY信号データを、それぞれ示している。
【0041】
間引き部310は、Y生成部301から入力されたY信号データの内、水平方向に連続するY信号データを間引く間引き処理を行い、間引き処理した後の水平間引きY信号データを垂直AF評価値生成部311に出力する。図4(c)では、入力されたY信号データ(図4(b)参照)の内、水平方向に偶数番目のY信号データを間引く間引き処理を行い、奇数番目のY信号データを水平間引きY信号データとして出力する場合を示している。すなわち、間引き部310からは、図4(b)に示したY信号データの内、偶数列のY信号データが間引かれ、奇数列のY信号データのみとなった水平間引きY信号データが、垂直AF評価値生成部311に出力される。なお、間引き部310における間引き処理の処理タイミングに関しては、後述する。
【0042】
間引き部320は、Y生成部301から入力されたY信号データの内、垂直方向に連続するY信号データを間引く間引き処理を行い、間引き処理した後の垂直間引きY信号データを水平AF評価値生成部321に出力する。図4(d)では、入力されたY信号データ(図4(b)参照)の内、垂直方向に偶数番目のY信号データを間引く間引き処理を行い、奇数番目のY信号データを垂直間引きY信号データとして出力する場合を示している。すなわち、間引き部320からは、図4(b)に示したY信号データの内、偶数行のY信号データが間引かれ、奇数行のY信号データのみとなった垂直間引きY信号データが、水平AF評価値生成部321に出力される。なお、間引き部320における間引き処理の処理タイミングに関しては、後述する。
【0043】
垂直AF評価値生成部311は、間引き部310から入力された水平間引きY信号データに含まれる垂直方向の周波数成分に基づいたAF評価値(以下、「垂直AF評価値」という)を演算(生成)する。そして、垂直AF評価値生成部311は、生成した垂直AF評価値を、例えば、DMAIF部を介して、撮像装置100に備えたDRAMに書き込む。
【0044】
垂直AF評価値生成部311は、水平間引きY信号データに含まれる垂直方向の周波数成分を抽出するフィルタ処理を行う垂直フィルタ部3111と、垂直フィルタ部3111によって垂直方向のフィルタ処理が行われた水平間引きY信号データ、すなわち、水平間引きY信号データに含まれる垂直方向の周波数成分を累積(積算)した垂直AF評価値を生成する評価値累積部3112と、を備えている。なお、垂直AF評価値生成部311内の垂直フィルタ部3111および評価値累積部3112は、例えば、図9に示した従来のAF評価値演算部に備えた垂直フィルタ部および評価値累積部と同様であるため、詳細な説明は省略する。
【0045】
水平AF評価値生成部321は、間引き部320から入力された垂直間引きY信号データに含まれる水平方向の周波数成分に基づいたAF評価値(以下、「水平AF評価値」という)を演算(生成)する。そして、水平AF評価値生成部321は、生成した水平AF評価値を、例えば、DMAIF部を介して、撮像装置100に備えたDRAMに書き込む。
【0046】
水平AF評価値生成部321は、垂直間引きY信号データに含まれる水平方向の周波数成分を抽出するフィルタ処理を行う水平フィルタ部3211と、水平フィルタ部3211によって水平方向のフィルタ処理が行われた垂直間引きY信号データ、すなわち、垂直間引きY信号データに含まれる水平方向の周波数成分を累積(積算)した水平AF評価値を生成する評価値累積部3212と、を備えている。なお、水平AF評価値生成部321内の水平フィルタ部3211および評価値累積部3212は、例えば、図9に示した従来のAF評価値演算部に備えた水平フィルタ部および評価値累積部と同様であるため、詳細な説明は省略する。
【0047】
次に、本第1の実施形態の撮像装置100に備えたAF評価値演算部30の構成および処理タイミングについて、より詳細に説明する。まず、AF評価値演算部30の構成について説明する。図5は、本第1の実施形態の撮像装置100に備えたAF評価値演算部30の構成を示したブロック図である。上記に述べたように、AF評価値演算部30は、撮像部10から入力された画像データからY信号データを生成し、生成したY信号データに基づいてそれぞれのAF評価値を演算(生成)する。
【0048】
本第1の実施形態においては、水平方向(行方向)に隣接する2画素の画素信号を同時に出力するベイヤー配列のイメージャに対応している。そのため、撮像部10は、画像データの出力タイミングを表す1回の撮像同期信号HD(不図示)で、イメージャ内の1行(ライン)に含まれる水平方向(行方向)に隣接する2画素分の画像データを同時に、Y生成部301に出力する。図5では、撮像部10の2つの信号線(IN_AおよびIN_B)に同時に、2画素分の画像データが出力される。Y生成部301は、SRAM3011と、加算部3012と、を備えている。
【0049】
SRAM3011は、撮像部10の信号線IN_AおよびIN_Bから入力された画像データを、それぞれ1ライン分、すなわち、次の撮像同期信号HDのタイミングまで遅延させるメモリである。SRAM3011は、1ライン分遅延させた画像データを、2つの信号線(SO_AおよびSO_B)から同時に、加算部3012に出力する。なお、SRAM3011が遅延させる画像データのタイミングに関しては、Y生成部301におけるY信号データの生成の処理タイミングとして後述する。
【0050】
加算部3012は、SRAM3011の信号線SO_AおよびSO_Bから入力された1ライン分遅延した画像データと、撮像部10の信号線IN_AおよびIN_Bから入力された現在の画像データとに基づいて、図3(b)に示したように、イメージャ内の近隣の4画素の画像データを加算したY信号データを生成する。そして、加算部3012は、生成したY信号データを、2つの信号線(Y_AおよびY_B)から同時に、間引き部310および間引き部320に出力する。なお、加算部3012におけるY信号データの生成の処理タイミングに関しては、Y生成部301におけるY信号データの生成の処理タイミングとして後述する。
【0051】
間引き部310は、Y生成部301内の加算部3012の信号線Y_AおよびY_Bから入力されたY信号データに対して水平方向の間引き処理を行った水平間引きY信号データを生成する。そして、間引き部310は、生成した水平間引きY信号データを、信号線YM_Hから垂直AF評価値生成部311に出力する。
【0052】
間引き部320は、Y生成部301内の加算部3012の信号線Y_AおよびY_Bから入力されたY信号データに対して垂直方向の間引き処理を行った垂直間引きY信号データを生成する。そして、間引き部320は、生成した垂直間引きY信号データを、信号線YM_Vから水平AF評価値生成部321に出力する。
【0053】
垂直AF評価値生成部311は、間引き部310の信号線YM_Hから入力された水平間引きY信号データに対して垂直方向のフィルタ処理を行い、水平間引きY信号データに含まれる垂直方向の周波数成分を積算した垂直AF評価値を生成する。
水平AF評価値生成部321は、間引き部320の信号線YM_Vから入力された垂直間引きY信号データに対して水平方向のフィルタ処理を行い、垂直間引きY信号データに含まれる水平方向の周波数成分を積算した水平AF評価値を生成する。
【0054】
次に、AF評価値演算部30の処理タイミングについて説明する。図6は、本第1の実施形態の撮像装置100に備えたAF評価値演算部30の処理タイミングの一例を示したタイミングチャートである。図6では、図2に示したイメージャが水平方向(行方向)に隣接する2画素の画素信号を同時に出力する形式で、AF評価値演算部30に画像データが入力された場合における、AF評価値演算部30内の処理タイミングおよび各信号線のデータを示している。
【0055】
最初に、撮像部10から出力される画像データに基づいたY信号データの生成動作について説明する。まず、1回目の撮像同期信号HDの期間で、撮像部10が、イメージャに配置された1ライン目のR画素の画像データ(R11,R13,R15,R17)を信号線IN_Aに順次出力する。これにより、Y生成部301に、R画素の画像データR11、R13、R15、およびR17が順次入力される。また、同時に、撮像部10が、イメージャに配置された1ライン目のGr画素の画像データ(G12,G14,G16,G18)を信号線IN_Bに順次出力する。これにより、Y生成部301に、Gr画素の画像データG12、G14、G16、およびG18が順次入力される。
【0056】
このとき、Y生成部301内のSRAM3011は、信号線IN_Aおよび信号線IN_Bから順次入力された、それぞれの画像データ(R画素の画像データR11、R13、R15、R17、およびGr画素の画像データG12、G14、G16、G18)を保持する。なお、1回目の撮像同期信号HDの期間では、Y生成部301内の加算部3012によるY信号データの生成を行わない。
【0057】
続いて、2回目の撮像同期信号HDの期間で、撮像部10が、イメージャに配置された2ライン目のGb画素の画像データ(G21,G23,G25,G27)を信号線IN_Aに順次出力する。これにより、Y生成部301に、Gb画素の画像データG21、G23、G25、およびG27が順次入力される。また、同時に、撮像部10が、イメージャに配置された2ライン目のB画素の画像データ(B22,B24,B26,B28)を信号線IN_Bに順次出力する。これにより、Y生成部301に、B画素の画像データB22、B24、B26、およびB28が順次入力される。
【0058】
このとき、Y生成部301内のSRAM3011は、1回目の撮像同期信号HDの期間で保持したそれぞれの画像データ(R画素の画像データR11、R13、R15、R17、およびGr画素の画像データG12、G14、G16、G18)を、信号線SO_AおよびSO_Bに出力する。また同時に、SRAM3011は、信号線IN_Aおよび信号線IN_Bから順次入力された、それぞれの画像データ(Gb画素の画像データG21、G23、G25、G27、およびB画素の画像データB22、B24、B26、B28)を保持する。これにより、図6を見てわかるように、Y生成部301内の加算部3012に、Y信号を生成するための2ライン分の画像データが、順次入力される。
【0059】
また、Y生成部301内の加算部3012は、信号線SO_AおよびSO_Bから入力された1回目の撮像同期信号HDの期間の画像データと、信号線IN_AおよびIN_Bから入力された2回目の撮像同期信号HDの期間の画像データとの内、近隣の4画素の画像データを加算したY信号データを生成する(図3(b)参照)。そして、加算部3012は、生成したY信号データY11、Y13、Y15、およびY17を信号線Y_Aから、Y信号データY12、Y14、およびY16を信号線Y_Bから、それぞれ出力する。これにより、間引き部310および間引き部320に、加算部3012が生成したY信号データが、順次入力される。
【0060】
続いて、3回目の撮像同期信号HDの期間で、撮像部10が、イメージャに配置された3ライン目のR画素の画像データ(R31,R33,R35,R37)を信号線IN_Aに順次出力する。これにより、Y生成部301に、R画素の画像データR31、R33、R35、およびR37が順次入力される。また、同時に、撮像部10が、イメージャに配置された3ライン目のGr画素の画像データ(G32,G34,G36,G38)を信号線IN_Bに順次出力する。これにより、Y生成部301に、Gr画素の画像データG32、G34、G36、およびG38が順次入力される。
【0061】
このとき、Y生成部301内のSRAM3011は、2回目の撮像同期信号HDの期間で保持したそれぞれの画像データ(Gb画素の画像データG21、G23、G25、G27、およびB画素の画像データB22、B24、B26、B28)を、信号線SO_AおよびSO_Bに出力する。また同時に、SRAM3011は、信号線IN_Aおよび信号線IN_Bから順次入力された、それぞれの画像データ(R画素の画像データR31、R33、R35、R37、およびGr画素の画像データG32、G34、G36、G38)を保持する。これにより、図6を見てわかるように、Y生成部301内の加算部3012に、Y信号を生成するための、次の2ライン分の画像データが、順次入力される。
【0062】
また、Y生成部301内の加算部3012は、信号線SO_AおよびSO_Bから入力された2回目の撮像同期信号HDの期間の画像データと、信号線IN_AおよびIN_Bから入力された3回目の撮像同期信号HDの期間の画像データとの内、近隣の4画素の画像データを加算したY信号データを生成する(図3(b)参照)。そして、加算部3012は、生成したY信号データY21、Y23、Y25、およびY27を信号線Y_Aから、Y信号データY22、Y24、およびY26を信号線Y_Bから、それぞれ出力する。これにより、間引き部310および間引き部320に、加算部3012が生成したY信号データが、順次入力される。
【0063】
以降、同様に、撮像同期信号HD毎に撮像部10が、イメージャに配置された画像データの信号線IN_AおよびIN_Bへの出力を繰り返す。そして、Y生成部301は、前回の撮像同期信号HDの期間で保持したそれぞれの画像データと、今回の撮像同期信号HDの期間で入力された画像データとに基づいたY信号データの生成および出力を繰り返す。
【0064】
このように、撮像部10が、イメージャの出力形式で画像データを順次出力し、Y生成部301が、撮像部10から入力された画像データに基づいて、Y信号データを順次生成する。
【0065】
次に、Y生成部301から出力されたY信号データに対する水平方向の間引き処理の動作について説明する。間引き部310は、2回目の撮像同期信号HDの期間でY生成部301からのY信号データが信号線Y_AおよびY_Bに入力されると、水平方向の間引き処理を開始する。
【0066】
間引き部310による水平方向の間引き処理では、図4(c)に示したように、入力されたY信号データの内、水平方向に偶数番目のY信号データを間引き、奇数番目のY信号データのみを残す。そして、奇数番目のY信号データを、水平間引きY信号データとして信号線YM_Hから順次出力する。図6を見てわかるように、間引き部310には、2回目の撮像同期信号HDの期間で、奇数番目のY信号データY11、Y13、Y15、およびY17を信号線Y_Aから、偶数番目のY信号データY12、Y14、およびY16を信号線Y_Bから、それぞれ入力されている。このため、間引き部310は、信号線Y_Aから入力された奇数番目のY信号データY11、Y13、Y15、およびY17のみを、水平間引きY信号データとして、信号線YM_Hから順次出力する。
【0067】
これにより、垂直AF評価値生成部311に、間引き部310が水平方向の間引き処理を行った水平間引きY信号データが、順次入力される。そして、垂直AF評価値生成部311は、水平間引きY信号データに基づいて、垂直AF評価値を生成する。
【0068】
以降、同様に、間引き部310は、信号線Y_Aから入力された水平方向に奇数番目のY信号データのみを水平間引きY信号データとして、信号線YM_Hへの出力を繰り返す。これにより、垂直AF評価値生成部311による垂直AF評価値の生成が繰り返される。
【0069】
次に、Y生成部301から出力されたY信号データに対する垂直方向の間引き処理の動作について説明する。間引き部320は、2回目の撮像同期信号HDの期間でY生成部301からのY信号データが信号線Y_AおよびY_Bに入力されると、垂直方向の間引き処理を開始する。
【0070】
間引き部320による垂直方向の間引き処理では、図4(d)に示したように、入力されたY信号データの内、垂直方向に偶数番目のY信号データを間引き、奇数番目のY信号データのみを残す。そして、奇数番目のY信号データを、垂直間引きY信号データとして信号線YM_Vから順次出力する。図6を見てわかるように、間引き部320には、2回目の撮像同期信号HDの期間で、垂直方向に奇数番目のY信号データが、信号線Y_AおよびY_Bから入力されている。このため、間引き部320は、信号線Y_Aから入力されたY信号データと、信号線Y_Bから入力されたY信号データとを交互に、垂直間引きY信号データとして、信号線YM_Vから順次出力する。すなわち、間引き部320は、信号線Y_Aから入力されたY信号データY11、Y13、Y15、およびY17と、信号線Y_Bから入力されたY信号データY12、Y14、およびY16とを交互に出力することによって、Y信号データの順番を並び替えた垂直間引きY信号データを、信号線YM_Vから順次出力する。
【0071】
また、図6を見てわかるように、間引き部320には、3回目の撮像同期信号HDの期間でも、Y生成部301からのY信号データが信号線Y_AおよびY_Bから入力されている。しかし、3回目の撮像同期信号HDの期間で入力されたY信号データは、垂直方向に偶数番目のY信号データであり、間引き部320が間引くY信号データである。このため、間引き部320は、3回目の撮像同期信号HDの期間で入力されたY信号データを、信号線YM_Vから出力しない。
【0072】
これにより、水平AF評価値生成部321に、間引き部320が垂直方向の間引き処理を行った垂直間引きY信号データが、順次入力される。そして、水平AF評価値生成部321は、垂直間引きY信号データに基づいて、水平AF評価値を生成する。
【0073】
以降、同様に、間引き部320は、信号線Y_AおよびY_Bから入力された垂直方向に奇数番目のY信号データを垂直間引きY信号データとして、信号線YM_Vへの出力を繰り返す。これにより、水平AF評価値生成部321による水平AF評価値の生成が繰り返される。
【0074】
上記に述べたとおり、本第1の実施形態によれば、間引き部310が、入力されたY信号データに対して水平方向の間引き処理を行う。そして、垂直AF評価値生成部311が、水平方向の間引き処理がされた水平間引きY信号データに含まれる垂直方向の周波数成分に基づいた垂直AF評価値を生成する。また、本第1の実施形態によれば、間引き部320が、入力されたY信号データに対して垂直方向の間引き処理を行う。そして、水平AF評価値生成部321が、垂直方向の間引き処理がされた垂直間引きY信号データに含まれる水平方向の周波数成分に基づいた水平AF評価値を生成する。このように、本第1の実施形態では、後段のAF評価値生成部の特性に応じて、Y信号データの間引き方法を変える。これにより、後段のAF評価値生成部が、精度を低下させることなくAF評価値を生成することができる。
【0075】
より具体的には、垂直AF評価値生成部311では、垂直フィルタ部3111によって、垂直方向の周波数成分を抽出する。また、水平AF評価値生成部321では、水平フィルタ部3211によって、水平方向の周波数成分を抽出する。このため、撮像装置100に、水平方向(行方向)に隣接する2画素の画素信号を同時に出力する形式のイメージャが搭載されている場合、図9に示した従来の撮像装置の第1間引部のように、入力された画像データに対して水平方向の間引き処理を行ってしまうと、水平方向の周波数成分を抽出する水平AF評価値生成部321が生成する水平AF評価値の精度が低下してしまう。
【0076】
本第1の実施形態では、水平AF評価値生成部321に入力するY信号データは、垂直方向の間引き処理がされた垂直間引きY信号データであるため、水平方向の周波数成分は間引かれていない。すなわち、本第1の実施形態において、間引き部320が行っている垂直方向の間引き処理は、水平AF評価値生成部321が生成する水平AF評価値の精度に影響が少ない方向の間引き処理である。従って、水平AF評価値生成部321は、精度が低下していない水平AF評価値を生成することができる。
【0077】
なお、本第1の実施形態では、垂直AF評価値生成部311に入力するY信号データは、水平方向の間引き処理がされた水平間引きY信号データである、すなわち、垂直AF評価値の精度に影響が少ない方向の間引き処理を行ったY信号データであるため、垂直AF評価値生成部311でも、精度が低下していない垂直AF評価値を生成することができる。
【0078】
このように、本第1の実施形態では、AF評価値生成部が生成するAF評価値の精度に影響が少ない方向の間引き処理をしたY信号データを、それぞれのAF評価値生成部に入力する。これにより、それぞれのAF評価値生成部は、精度に差がないAF評価値を、それぞれ生成することができる。また、本第1の実施形態では、入力された画像データに対して水平方向または垂直方向のいずれかの間引き処理を行っているため、AF評価値生成部の動作速度を上げる必要がなく、消費電力の増大も抑えることができる。
【0079】
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。本第2の実施形態の撮像装置は、撮像部内に備えるイメージャの出力形式と、画像処理部と、AF評価値演算部と、AE評価値演算部が対応するイメージャの形式とが、第1の実施形態の撮像装置100と異なるが、その構成は、第1の実施形態の撮像装置100と同様である。従って、以下の説明においては、本第2の実施形態の撮像装置の概略構成を示したブロック図を省略し、図1に示した第1の実施形態における撮像装置100を用いて説明する。そして、図1に示した撮像装置100に備えたそれぞれの構成要素と異なる機能および動作を、本第2の実施形態の撮像装置に備えたそれぞれの構成要素の機能および動作として説明する。
【0080】
本第2の実施形態の撮像装置100においては、垂直方向(列方向)に隣接する2画素の画素信号を同時に出力する、図2に示したようなベイヤー配列のイメージャが撮像部10に備えられている。すなわち、第1の実施形態の撮像装置100の撮像部10では、水平方向(行方向)に隣接する2画素の画素信号を同時に出力するベイヤー配列のイメージャを備えていたのに対して、本第2の実施形態の撮像部10では、垂直方向(列方向)に隣接する2画素の画素信号を同時に出力するベイヤー配列のイメージャを備えている。この構成に伴って、本第2の実施形態の撮像装置100内のそれぞれの構成要素は、垂直方向(列方向)に隣接する2画素の画素信号が同時に出力されるベイヤー配列のイメージャに対応している。
【0081】
図2に示したイメージャが垂直方向(列方向)に隣接する2画素の画素信号を同時に出力する場合、まず、R画素の画素信号が一方のチャンネルから出力され、R画素に垂直方向(列方向)に隣接するGb画素の画素信号が他方のチャンネルからそれぞれ同時に出力される。続いて、次の出力タイミングでは、Gr画素の画素信号が一方のチャンネルから出力され、Gr画素に垂直方向(列方向)に隣接するB画素の画素信号が他方のチャンネルからそれぞれ同時に出力される。このように、撮像部10に備えたイメージャは、垂直方向(列方向)に隣接する2画素の画素信号を同時に、順次出力する。そして、撮像部10は、イメージャが露光した被写体の光学像に応じた画素信号(アナログ信号)を、デジタル値に変換した画像データを、それぞれ対応する2つの出力チャンネル(ch1およびch2)から、順次出力する。
【0082】
また、撮像部10は、画像データの出力タイミングを表す信号(不図示)を、画像処理部20、AF評価値演算部30、および間引き部401のそれぞれに出力する。なお、撮像部10に備えたイメージャが出力する画素信号に応じた画像データの出力タイミングに関しては、後述する。
【0083】
なお、撮像部10は、第1の実施形態の撮像部10と同様に、CDS処理など、予め定められた信号処理(前処理)を行う前処理部を、さらに備えた構成であってもよい。
【0084】
画像処理部20は、第1の実施形態の画像処理部20と同様に、図示しない制御部からの制御に応じて、撮像部10から入力された画像データに対して、撮像装置100における種々の画像処理を行い、得られたデータを、撮像装置100内の対応する構成要素に出力する。なお、画像処理部20は、垂直方向(列方向)に隣接する2画素の画素信号を同時に、順次出力する形式のイメージャに対応した、従来の画像処理部と同様であるため、詳細な説明は省略する。
【0085】
AE評価値演算部40は、第1の実施形態のAE評価値演算部40と同様に、図示しない制御部からの制御に応じて、撮像部10から入力された画像データを色(図2に示したベイヤー配列のイメージャでは、R,Gr,Gb,B)毎に積算したAE評価値を演算(生成)し、撮像装置100内の対応する構成要素に出力する。なお、AE評価値演算部40内の間引き部401およびAE評価値生成部402は、従来のAE評価値演算部(例えば、図9に示した第2間引き部およびAE評価値生成部)と同様であるため、詳細な説明は省略する。
【0086】
AF評価値演算部30は、第1の実施形態のAF評価値演算部30と同様に、図示しない制御部からの制御に応じて、撮像部10から入力された画像データから輝度信号(Y信号)を生成し、生成したY信号に基づいてAF評価値を演算(生成)し、撮像装置100内の対応する構成要素に出力する。AF評価値演算部30は、第1の実施形態のAF評価値演算部30と同様に、Y生成部301と、間引き部310と、垂直AF評価値生成部311と、間引き部320と、水平AF評価値生成部321と、を備えている。なお、第2の実施形態のAF評価値演算部30内の各構成要素の機能は、第1の実施形態のAF評価値演算部30内の各構成要素の機能と同様であるため、詳細な説明は省略する。
【0087】
次に、本第2の実施形態の撮像装置100に備えたAF評価値演算部30の動作を説明するため、AF評価値演算部30の処理タイミングについて説明する。図7は、本第2の実施形態の撮像装置100に備えたAF評価値演算部30の処理タイミングの一例を示したタイミングチャートである。図7では、図2に示したイメージャが垂直方向(列方向)に隣接する2画素の画素信号を同時に出力する形式で、AF評価値演算部30に画像データが入力された場合における、AF評価値演算部30内の処理タイミングおよび各信号線のデータを示している。
【0088】
最初に、撮像部10から出力される画像データに基づいたY信号データの生成動作について説明する。まず、1回目の撮像同期信号HDの期間で、撮像部10が、イメージャに配置された1ライン目のR画素とGr画素との画像データ(R11,G12,R13,G14,R15,G16,R17,G18)を信号線IN_Aに順次出力する。これにより、Y生成部301に、R画素とGr画素との画像データR11、G12、R13、G14、R15、G16、R17、およびG18が順次入力される。また、同時に、撮像部10が、イメージャに配置された2ライン目のGr画素とB画素との画像データ(G21,B22,G23,B24,G25,B26,G27,B28)を信号線IN_Bに順次出力する。これにより、Y生成部301に、Gr画素とB画素との画像データG21、B22、G23、B24、G25、B26、G27、およびB28が順次入力される。
【0089】
このとき、Y生成部301内のSRAM3011は、信号線IN_Bから順次入力された、それぞれの画像データ(Gr画素とB画素との画像データG21、B22、G23、B24、G25、B26、G27、およびB28)を保持する。なお、本第2の実施形態の撮像装置100では、Y生成部301内の加算部3012によるY信号データの生成において、前回の撮像同期信号HDの期間で信号線IN_Aから出力されたR画素とGr画素との画像データを用いない。このため、本第2の実施形態のY生成部301内のSRAM3011は、信号線IN_Bから順次入力されたGr画素とB画素との画像データのみを保持し、保持した画像データを、信号線SO_Aに出力する構成である。
【0090】
また、Y生成部301内の加算部3012は、信号線IN_AおよびIN_Bから入力された1回目の撮像同期信号HDの期間の画像データの内、近隣の4画素の画像データを加算したY信号データを生成する(図3(b)参照)。そして、加算部3012は、生成したY信号データY11〜Y17を順次、信号線Y_Bから出力する。これにより、間引き部310および間引き部320に、加算部3012が生成したY信号データが、順次入力される。
【0091】
続いて、2回目の撮像同期信号HDの期間で、撮像部10が、イメージャに配置された3ライン目のR画素とGr画素との画像データ(R31,G32,R33,G34,R35,G36,R37,G38)を信号線IN_Aに順次出力する。これにより、Y生成部301に、R画素とGr画素との画像データR31、G32、R33、G34、R35、G36、R37、およびG38が順次入力される。また、同時に、撮像部10が、イメージャに配置された4ライン目のGr画素とB画素との画像データ(G41,B42,G43,B44,G45,B46,G47,B48)を信号線IN_Bに順次出力する。これにより、Y生成部301に、Gr画素とB画素との画像データG41、B42、G43、B44、G45、B46、G47、およびB48が順次入力される。
【0092】
このとき、Y生成部301内のSRAM3011は、1回目の撮像同期信号HDの期間で保持したそれぞれの画像データ(Gr画素とB画素との画像データG21、B22、G23、B24、G25、B26、G27、およびB28)を、信号線SO_Aに出力する。また同時に、SRAM3011は、信号線IN_Bから順次入力された、それぞれの画像データ(Gr画素とB画素との画像データG41、B42、G43、B44、G45、B46、G47、およびB48)を保持する。これにより、図7を見てわかるように、Y生成部301内の加算部3012に、Y信号を生成するための3ライン分の画像データが、順次入力される。
【0093】
また、Y生成部301内の加算部3012は、信号線SO_Aから入力された1回目の撮像同期信号HDの期間の画像データ(Gr画素とB画素との画像データG21、B22、G23、B24、G25、B26、G27、およびB28)と、信号線IN_Aから入力された2回目の撮像同期信号HDの期間の画像データ(R画素とGr画素との画像データR31、G32、R33、G34、R35、G36、R37、およびG38)との内、近隣の4画素の画像データを加算したY信号データを生成する(図3(b)参照)。そして、加算部3012は、生成したY信号データY21〜Y27を順次、信号線Y_Aから出力する。
【0094】
また同時に、Y生成部301内の加算部3012は、信号線IN_AおよびIN_Bから入力された2回目の撮像同期信号HDの期間の画像データの内、近隣の4画素の画像データを加算したY信号データを生成する(図3(b)参照)。そして、加算部3012は、生成したY信号データY31〜Y37を順次、信号線Y_Bから出力する。これにより、間引き部310および間引き部320に、加算部3012が生成したY信号データが、順次入力される。
【0095】
以降、同様に、撮像同期信号HD毎に撮像部10が、イメージャに配置された画像データの信号線IN_AおよびIN_Bへの出力を繰り返す。そして、Y生成部301は、前回の撮像同期信号HDの期間で保持したそれぞれの画像データと、今回の撮像同期信号HDの期間で入力された画像データとに基づいたY信号データの生成および出力と、今回の撮像同期信号HDの期間で入力された2ライン分の画像データに基づいたY信号データの生成および出力とを繰り返す。
【0096】
このように、撮像部10が、イメージャの出力形式で画像データを順次出力し、Y生成部301が、撮像部10から入力された画像データに基づいて、Y信号データを順次生成する。
【0097】
次に、Y生成部301から出力されたY信号データに対する水平方向の間引き処理の動作について説明する。間引き部310は、1回目の撮像同期信号HDの期間でY生成部301からのY信号データが信号線Y_Bに入力されると、水平方向の間引き処理を開始する。
【0098】
間引き部310による水平方向の間引き処理では、図4(c)に示したように、入力されたY信号データの内、水平方向に偶数番目のY信号データを間引き、奇数番目のY信号データのみを残す。そして、奇数番目のY信号データを、水平間引きY信号データとして信号線YM_Hから順次出力する。図7を見てわかるように、間引き部310には、1回目の撮像同期信号HDの期間で、Y信号データY11〜Y17が、信号線Y_Bから入力されている。このため、間引き部310は、信号線Y_Bから入力されたY信号データY11〜Y17の内、奇数番目のY信号データY11、Y13、Y15、およびY17を、水平間引きY信号データとして、信号線YM_Hから順次出力する。
【0099】
これにより、垂直AF評価値生成部311に、間引き部310が水平方向の間引き処理を行った水平間引きY信号データが、順次入力される。そして、垂直AF評価値生成部311は、水平間引きY信号データに基づいて、垂直AF評価値を生成する。
【0100】
また、図7を見てわかるように、間引き部310には、2回目の撮像同期信号HDの期間で、Y信号データY21〜Y27が信号線Y_Aから、Y信号データY31〜Y37が、信号線Y_Bから、それぞれ入力されている。このため、間引き部310は、信号線Y_AおよびY_Bからそれぞれ入力されたY信号データの内、奇数番目のY信号データをそれぞれの水平間引きY信号データとして、信号線Y_Aから入力されたY信号データに応じた水平間引きY信号データ、信号線Y_Bから入力されたY信号データに応じた水平間引きY信号データの順番で、信号線YM_Hから順次出力する。より具体的には、信号線Y_Aから入力されたY信号データY21〜Y27の内、奇数番目のY信号データY21、Y23、Y25、およびY27を、水平間引きY信号データとして信号線YM_Hから順次出力し、続いて、信号線Y_Bから入力されたY信号データY31〜Y37の内、奇数番目のY信号データY31、Y33、Y35、およびY37を、水平間引きY信号データとして、信号線YM_Hから順次出力する。
【0101】
以降、同様に、間引き部310は、信号線Y_Aから入力された水平方向に奇数番目のY信号データに引き続き、信号線Y_Bから入力された水平方向に奇数番目のY信号データを水平間引きY信号データとして、信号線YM_Hへの出力を繰り返す。これにより、垂直AF評価値生成部311による垂直AF評価値の生成が繰り返される。
【0102】
次に、Y生成部301から出力されたY信号データに対する垂直方向の間引き処理の動作について説明する。間引き部320は、1回目の撮像同期信号HDの期間でY生成部301からのY信号データが信号線Y_Bに入力されると、垂直方向の間引き処理を開始する。
【0103】
間引き部320による垂直方向の間引き処理では、図4(d)に示したように、入力されたY信号データの内、垂直方向に偶数番目のY信号データを間引き、奇数番目のY信号データのみを残す。そして、奇数番目のY信号データを、垂直間引きY信号データとして信号線YM_Vから順次出力する。図7を見てわかるように、間引き部320には、1回目の撮像同期信号HDの期間で、垂直方向に奇数番目のY信号データY11〜Y17が、信号線Y_Bから入力されている。このため、間引き部320は、信号線Y_Bから入力された奇数番目のY信号データY11〜Y17を、垂直間引きY信号データとして、信号線YM_Vから順次出力する。
【0104】
これにより、水平AF評価値生成部321に、間引き部320が垂直方向の間引き処理を行った垂直間引きY信号データが、順次入力される。そして、水平AF評価値生成部321は、垂直間引きY信号データに基づいて、水平AF評価値を生成する。
【0105】
また、図7を見てわかるように、間引き部320には、2回目の撮像同期信号HDの期間で、垂直方向に偶数番目のY信号データY21〜Y27が信号線Y_Aから、垂直方向に奇数番目のY信号データY31〜Y37が、信号線Y_Bから、それぞれ入力されている。このため、間引き部320は、信号線Y_Aから入力された偶数番目のY信号データY21〜Y27を出力せず、信号線Y_Bからから入力された奇数番目のY信号データY31〜Y37のみを、垂直間引きY信号データとして、信号線YM_Vから順次出力する。
【0106】
以降、同様に、間引き部320は、信号線Y_Bから入力された垂直方向に奇数番目のY信号データのみを垂直間引きY信号データとして、信号線YM_Vへの出力を繰り返す。これにより、水平AF評価値生成部321による水平AF評価値の生成が繰り返される。
【0107】
上記に述べたとおり、本第2の実施形態によれば、第1の実施形態と同様に、後段のAF評価値生成部の特性に応じて、Y信号データの間引き方法を変える。これにより、本第2の実施形態でも、第1の実施形態と同様に、後段のAF評価値生成部が、精度を低下させることなくAF評価値を生成することができる。
【0108】
より具体的には、垂直AF評価値生成部311では、垂直フィルタ部3111によって、垂直方向の周波数成分を抽出する。また、水平AF評価値生成部321では、水平フィルタ部3211によって、水平方向の周波数成分を抽出する。このため、撮像装置100に、垂直方向(列方向)に隣接する2画素の画素信号を同時に出力する形式のイメージャが搭載されている場合、図9に示した従来の撮像装置の第1間引部のように、入力された画像データに対して垂直方向の間引き処理を行ってしまうと、垂直方向の周波数成分を抽出する垂直AF評価値生成部311が生成する垂直AF評価値の精度が低下してしまう。
【0109】
本第2の実施形態でも、第1の実施形態と同様に、垂直AF評価値生成部311に入力するY信号データは、水平方向の間引き処理がされた水平間引きY信号データであるため、垂直方向の周波数成分は間引かれていない。すなわち、本第2の実施形態において、間引き部310が行っている水平方向の間引き処理は、垂直AF評価値生成部311が生成する垂直AF評価値の精度に影響が少ない方向の間引き処理である。従って、垂直AF評価値生成部311は、精度が低下していない垂直AF評価値を生成することができる。
【0110】
なお、本第2の実施形態では、水平AF評価値生成部321に入力するY信号データは、垂直方向の間引き処理がされた垂直間引きY信号データである、すなわち、水平AF評価値の精度に影響が少ない方向の間引き処理を行ったY信号データであるため、水平AF評価値生成部321でも、精度が低下していない水平AF評価値を生成することができる。
【0111】
このように、本第2の実施形態でも、第1の実施形態と同様に、AF評価値生成部が生成するAF評価値の精度に影響が少ない方向の間引き処理をしたY信号データを、それぞれのAF評価値生成部に入力する。これにより、それぞれのAF評価値生成部は、精度に差がないAF評価値を、それぞれ生成することができる。また、本第2の実施形態でも、第1の実施形態と同様に、入力された画像データに対して水平方向または垂直方向のいずれかの間引き処理を行っているため、AF評価値生成部の動作速度を上げる必要がなく、消費電力の増大も抑えることができる。
【0112】
上記に述べたとおり、本発明を実施するための形態によれば、撮像部から出力された画像データの出力形式に関わらず、後段の評価値生成部の特性に応じて、評価値を生成するために用いるデータの間引き方法を変える。すなわち、撮像部に複数の画素の画像データを同時に出力のイメージャが搭載されている場合において、撮像部(イメージャ)が出力する画像データの出力形式に関わらず、後段の評価値生成部によって生成する評価値の精度に影響が少ない方向の間引き処理にする。
【0113】
より具体的には、垂直方向の成分を抽出した垂直方向の評価値を生成する評価値生成部には、評価値の精度に影響が少ない水平方向の間引き処理を行ったデータを入力し、水平方向の成分を抽出した水平方向の評価値を生成する評価値生成部には、評価値の精度に影響が少ない垂直方向の間引き処理を行ったデータを入力するように、評価値の生成に用いられるデータの間引き方法を変える。これにより、後段の評価値生成部は、撮像部から出力された画像データの出力形式によって、生成した評価値の精度が低下してしまうことがなく、安定した精度の評価値を生成することができる。
【0114】
また、本発明を実施するための形態によれば、評価値の生成に用いるデータを評価値生成部に入力する前に、間引き処理を行っている。このため、評価値の精度の低下をなくすために、間引き処理を行わずに評価値を生成することや、さらに評価値の生成に要する時間を同等にするために、評価値生成部の動作速度を上げるなどを行う必要がなく、評価値生成部の回路規模の増大や消費電力の増大を抑えることができる。
【0115】
なお、本実施形態においては、間引き部310が水平方向に偶数番目のY信号データを間引く間引き処理を行い、間引き部320が垂直方向に偶数番目のY信号データを間引く間引き処理を行う場合について説明した。すなわち、間引き部310が水平方向に奇数番目のY信号データを水平間引きY信号データとして出力し、間引き部320が垂直方向に奇数番目のY信号データを垂直間引きY信号データとして出力する場合について説明した。しかし、間引き部310および間引き部320における間引き処理の方法は、本発明を実施するための形態に限定されるものではない。例えば、間引き部310が水平方向に奇数番目のY信号データを間引く間引き処理を行い、間引き部320が垂直方向に奇数番目のY信号データを間引く間引き処理を行う、すなわち、間引き部310が水平方向に偶数番目のY信号データを水平間引きY信号データとして出力し、間引き部320が垂直方向に偶数番目のY信号データを垂直間引きY信号データとして出力する間引き処理とすることもできる。また、他の間引き処理方法を適用することもできる。
【0116】
また、本実施形態においては、AF評価値演算部30内にY生成部301を備え、撮像部10から入力されたイメージャのそれぞれの画素に対応した画像データからY信号データを生成した後に、間引き部310および間引き部320で間引き処理したY信号データを垂直AF評価値生成部311および水平AF評価値生成部321に入力する場合の例を示した。しかし、間引き処理を行うデータは、本発明を実施するための形態に限定されるものではない。例えば、AF評価値演算部30内にY生成部301を備えず、撮像部10から出力された画像データのまま、間引き部310および間引き部320でそれぞれの間引き処理を行い、間引き処理した画像データに基づいて、垂直AF評価値生成部311および水平AF評価値生成部321がそれぞれ垂直AF評価値および水平AF評価値を生成する構成とすることもできる。この場合、垂直AF評価値生成部311および水平AF評価値生成部321は、例えば、R画素とB画素の画像データ、またはGr画素とGb画素の画像データに基づいて、それぞれ垂直AF評価値および水平AF評価値を生成する構成となる。
【0117】
また、本実施形態においては、評価値生成部または評価値生成装置がAF評価値演算部30であり、AF評価値演算部30に備えた垂直方向評価値生成部である垂直AF評価値生成部311と、水平方向評価値生成部である水平AF評価値生成部321とが、垂直AF評価値と水平AF評価値とを生成する場合について説明した。しかし、本発明が適用される評価値生成部または評価値生成装置は、本発明を実施するための形態に限定されるものではない。すなわち、垂直方向の成分を抽出した評価値と、水平方向の成分を抽出した評価値とを生成する評価値生成部を備えた構成の評価値生成部または評価値生成装置であれば、如何なる評価値を生成する構成であっても、本発明を適用することができ、本実施形態と同様に、精度に差がない評価値をそれぞれ生成することができる。
【0118】
また、本実施形態においては、評価値生成部または評価値生成装置であるAF評価値演算部30内の信号処理部としてY生成部301を備え、生成したY信号に基づいてAF評価値を生成する場合の例を示した。しかし、評価値生成部または評価値生成装置に備える信号処理部は、発明を実施するための形態に限定されるものではない。例えば、信号処理部として色差データを生成する色差生成部を備え、生成した色差データを水平方向と垂直方向とにそれぞれ間引き処理した後に、垂直方向の成分を抽出した垂直方向の評価値と水平方向の成分を抽出した水平方向の評価値とをそれぞれ生成する構成とすることもできる。
【0119】
また、本実施形態においては、イメージャ内に配置した画素の行方向および列方向の数に関して、6行8列である場合を例として説明したが、イメージャ内に配置する画素の行方向および列方向の数は、本発明を実施するための形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において、行方向および列方向に配置する画素の数を変更した場合でも同様に考えることができる。例えば、行方向に4000画素、列方向に3000画素というように、配置されている画素の数が増えたイメージャにおいても、本実施形態と同様に考えることができる。
【0120】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
【符号の説明】
【0121】
100・・・撮像装置
10・・・撮像部
20・・・画像処理部
30・・・AF評価値演算部(評価値生成部,評価値生成装置)
40・・・AE評価値演算部
401・・・間引き部
402・・・AE評価値生成部
301・・・Y生成部(評価値生成部,評価値生成装置,信号処理部)
3011・・・SRAM(評価値生成部,評価値生成装置,信号処理部)
3012・・・加算部(評価値生成部,評価値生成装置,信号処理部)
310・・・間引き部(評価値生成部,評価値生成装置,水平方向間引き部)
311・・・垂直AF評価値生成部(評価値生成部,評価値生成装置,垂直方向評価値生成部)
3111・・・垂直フィルタ部(評価値生成部,評価値生成装置,垂直方向評価値生成部,垂直方向フィルタ部)
3112・・・評価値累積部(評価値生成部,評価値生成装置,垂直方向評価値生成部)
320・・・間引き部(評価値生成部,評価値生成装置,垂直方向間引き部)
321・・・水平AF評価値生成部(評価値生成部,評価値生成装置,水平方向評価値生成部)
3211・・・水平フィルタ部(評価値生成部,評価値生成装置,水平方向評価値生成部,水平方向フィルタ部)
3212・・・評価値累積部(評価値生成部,評価値生成装置,水平方向評価値生成部)

【特許請求の範囲】
【請求項1】
行列状に配置された複数の画素を有する固体撮像装置を具備し、該固体撮像装置から出力された複数の画素信号のそれぞれに応じた複数の撮像信号を順次出力する撮像部と、
前記撮像部から出力された前記複数の撮像信号が順次入力され、該入力された前記撮像信号に基づいた評価値を生成する評価値生成部と、
を備え、
前記評価値生成部は、
順次入力された信号を、前記固体撮像装置に配置された前記画素の行方向に間引いて順次出力する水平方向間引き部と、
順次入力された信号を、前記固体撮像装置に配置された前記画素の列方向に間引いて順次出力する垂直方向間引き部と、
順次入力された信号から、前記固体撮像装置に配置された前記画素の列方向の成分を抽出する垂直方向フィルタ部を具備し、該垂直方向フィルタ部によってフィルタ処理された信号に基づいて、前記列方向の評価値を生成する垂直方向評価値生成部と、
順次入力された信号から、前記固体撮像装置に配置された前記画素の行方向の成分を抽出する水平方向フィルタ部を具備し、該水平方向フィルタ部によってフィルタ処理された信号に基づいて、前記行方向の評価値を生成する水平方向評価値生成部と、
を有し、
前記撮像部から順次出力された前記複数の撮像信号に応じた信号を、前記水平方向間引き部と前記垂直方向間引き部との入力信号として順次入力し、
前記水平方向間引き部によって前記行方向に間引かれた撮像信号を、前記垂直方向評価値生成部の入力信号として順次入力し、
前記垂直方向間引き部によって前記列方向に間引かれた撮像信号を、前記水平方向評価値生成部の入力信号として順次入力する、
ことを特徴とする撮像装置。
【請求項2】
前記評価値生成部は、
順次入力された画像信号に対して信号処理を行い、該信号処理によって生成した信号を順次出力する信号処理部、
をさらに備え、
前記撮像部から順次出力された前記複数の撮像信号を、前記信号処理部に入力する画像信号として順次入力し、
前記信号処理部によって信号処理された信号を、前記水平方向間引き部と前記垂直方向間引き部との入力信号として順次入力する、
ことを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記信号処理部は、
入力された前記複数の撮像信号から輝度信号を生成する信号処理を行い、
前記評価値生成部は、
前記信号処理部によって生成された輝度信号を、前記水平方向間引き部と前記垂直方向間引き部との入力信号として順次入力する、
ことを特徴とする請求項2に記載の撮像装置。
【請求項4】
前記評価値生成部は、
前記撮像部から順次出力された前記複数の撮像信号を、前記水平方向間引き部と前記垂直方向間引き部との入力信号として順次入力する、
ことを特徴とする請求項1に記載の撮像装置。
【請求項5】
前記撮像部が、前記固体撮像装置に配置された前記画素の行方向に隣接する2つの画素の前記画素信号に応じた行方向の2画素の撮像信号を同時に、対応するそれぞれの出力端子から順次出力し、前記評価値生成部に、前記撮像部から同時に出力された前記行方向の2画素の撮像信号が、対応するそれぞれの入力端子に順次入力され、入力された前記行方向の2画素の撮像信号に基づいた評価値を生成する場合、
前記水平方向間引き部は、
前記入力端子のそれぞれに対応する端子から入力された信号の内、いずれか一方の前記端子から入力された信号を、前記行方向に間引いた信号として出力し、
前記垂直方向間引き部は、
入力された信号を間引く行では、前記入力端子のそれぞれに対応する端子から入力された全ての信号を出力せず、
入力された信号を間引かない行では、前記入力端子のそれぞれに対応する端子から入力された全ての信号を交互に並べ替えた信号を、前記列方向に間引いた信号として出力する、
ことを特徴とする請求項3または請求項4に記載の撮像装置。
【請求項6】
前記撮像部が、前記固体撮像装置に配置された前記画素の列方向に隣接する2つの画素の前記画素信号に応じた列方向の2画素の撮像信号を同時に、対応するそれぞれの出力端子から順次出力し、前記評価値生成部に、前記撮像部から同時に出力された前記列方向の2画素の撮像信号が、対応するそれぞれの入力端子に順次入力され、入力された前記列方向の2画素の撮像信号に基づいた評価値を生成する場合、
前記水平方向間引き部は、
前記入力端子のそれぞれに対応する端子から入力された、間引く列の信号を出力せず、
前記入力端子のそれぞれに対応する端子から入力された、間引かない列の信号を、前記端子の順番で、順次、前記行方向に間引いた信号として出力し、
前記垂直方向間引き部は、
前記入力端子のそれぞれに対応する端子から入力された信号の内、いずれか一方の前記端子から入力された信号を、前記列方向に間引いた信号として出力する、
ことを特徴とする請求項3または請求項4に記載の撮像装置。
【請求項7】
行列状に配置された複数の画素を有する固体撮像装置を具備し、該固体撮像装置から出力された複数の画素信号のそれぞれに応じた複数の撮像信号を順次出力する撮像部から、順次入力された前記撮像信号に基づいた評価値を生成する評価値生成装置であって、
当該評価値生成装置は、
順次入力された信号を、前記固体撮像装置に配置された前記画素の行方向に間引いて順次出力する水平方向間引き部と、
順次入力された信号を、前記固体撮像装置に配置された前記画素の列方向に間引いて順次出力する垂直方向間引き部と、
順次入力された信号から、前記固体撮像装置に配置された前記画素の列方向の成分を抽出する垂直方向フィルタ部を具備し、該垂直方向フィルタ部によってフィルタ処理された信号に基づいて、前記列方向の評価値を生成する垂直方向評価値生成部と、
順次入力された信号から、前記固体撮像装置に配置された前記画素の行方向の成分を抽出する水平方向フィルタ部を具備し、該水平方向フィルタ部によってフィルタ処理された信号に基づいて、前記行方向の評価値を生成する水平方向評価値生成部と、
を備え、
前記撮像部から順次出力された前記複数の撮像信号に応じた信号を、前記水平方向間引き部と前記垂直方向間引き部との入力信号として順次入力し、
前記水平方向間引き部によって前記行方向に間引かれた撮像信号を、前記垂直方向評価値生成部の入力信号として順次入力し、
前記垂直方向間引き部によって前記列方向に間引かれた撮像信号を、前記水平方向評価値生成部の入力信号として順次入力する、
ことを特徴とする評価値生成装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2013−62726(P2013−62726A)
【公開日】平成25年4月4日(2013.4.4)
【国際特許分類】
【出願番号】特願2011−200665(P2011−200665)
【出願日】平成23年9月14日(2011.9.14)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】