撮像装置及び撮像画像信号の補正方法
【課題】位相差画素の出力信号の補正に要する時間及び演算量を削減することが可能な撮像装置及び撮像画像信号の補正方法を提供する。
【解決手段】位相差を検出するための１対の位相差画素５２を含む３つ以上の画素を有する固体撮像素子５と、位相差画素５２の出力信号を、当該位相差画素５２の周囲の位相差画素５２以外のＧ画素５１の出力信号を用いて補正する位相差画素補正部１８と、位相差画素補正部１８によって補正を実施する位相差画素５２と補正を実施しない位相差画素５２とを、固体撮像素子５に含まれる全ての位相差画素５２への光の入射角に応じて判定する位相差画素補正実施判定部１９とを備え、位相差画素補正部１８は、位相差画素補正実施判定部１９で補正を実施すると判定された位相差画素５２についてのみ、補正を実施するものである。
【解決手段】位相差を検出するための１対の位相差画素５２を含む３つ以上の画素を有する固体撮像素子５と、位相差画素５２の出力信号を、当該位相差画素５２の周囲の位相差画素５２以外のＧ画素５１の出力信号を用いて補正する位相差画素補正部１８と、位相差画素補正部１８によって補正を実施する位相差画素５２と補正を実施しない位相差画素５２とを、固体撮像素子５に含まれる全ての位相差画素５２への光の入射角に応じて判定する位相差画素補正実施判定部１９とを備え、位相差画素補正部１８は、位相差画素補正実施判定部１９で補正を実施すると判定された位相差画素５２についてのみ、補正を実施するものである。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像画像信号の補正方法に関する。
【背景技術】
【０００２】
デジタルカメラ、デジタルビデオカメラ等の撮像装置に搭載される固体撮像素子には、二次元状に配列された多数の光電変換素子（画素）を有し、そのうちの一部（同色カラーフィルタを搭載した隣接する２つの画素）を位相差画素（位相差を検出するための画素）とし、この位相差画素を測距のために使用しているものがある（例えば特許文献１参照）。
【０００３】
この固体撮像素子において、隣接する２つの位相差画素の各々の遮光膜開口は、画素の光学中心に対し異なる方向に偏心して設けられている。
【０００４】
また、この位相差画素は、レンズにより入射される光を瞳分割する必要があるため、遮光膜開口の面積が、その他の画素よりも小さくなっている。
【０００５】
このように、位相差画素は、遮光膜開口の面積が小さくなっているため、その出力信号を撮像画像信号として使用することができない。したがって、従来は、位相差画素の出力信号を、欠陥画素と同様に、その位相差画素の周りの通常の画素の出力信号を用いて補間演算する補間演算処理、その位相差画素の出力信号を増幅する増幅処理、又はこれらの両方等を用いて補正している。
【０００６】
位相差画素を例えば３万個ほど設けた場合、この３万個の位相差画素の出力信号の全てを補間演算処理によって補正すると、２００ｍｓｅｃ〜３００ｍｓｅｃ程度の時間がかかってしまう。また、位相差画素の出力信号を増幅処理によって補正する場合には、位相差画素の位置によって光の入射角が異なり感度の低下度合が異なるため、位相差画素毎にゲインを変えて増幅を行う必要があるが、この場合も、３万個の位相差画素の出力信号でゲインを変えて補正するには時間がかかってしまう。近年の固体撮像素子は１０００万画素以上が普通になっているため、位相差画素の数も増える傾向にあり、位相差画素の出力信号の補正に要する時間も長くなる傾向にある。
【０００７】
特許文献２には、位相差画素を構成する１対の画素のうちの一方を通常の画素で代用することで、補正対象となる位相差画素の数を半分に減らした撮像装置が開示されている。しかし、この撮像装置であっても、例えば３万個の位相差画素を設ける固体撮像素子であれば、その半分の１万５千個の位相差画素に対しては常に補正を行う必要がある。このため、位相差画素の出力信号の補正には依然として時間がかかる。
【０００８】
特許文献３には、複数の光電変換部を有する撮像素子からの信号の欠陥を補正する画像処理装置が開示されている。しかし、この画像処理装置は、位相差画素の出力信号の欠陥を補正することを目的にしておらず、位相差画素の欠陥補正処理に適用できるものではない。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０００−１５６８２３号公報
【特許文献２】特開２００９−２４４８５４号公報
【特許文献３】特開２００２−９４８８４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、上記事情に鑑みてなされたものであり、位相差画素の出力信号の補正に要する時間及び演算量を削減することが可能な撮像装置及び撮像画像信号の補正方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の撮像装置は、撮像用画素及び測距用画素を含む固体撮像素子と、前記測距用画素の出力信号を当該測距用画素の周囲の前記撮像用画素の出力信号を用いて補間する第一の処理及び前記測距用画素の出力信号を増幅する第二の処理の少なくとも一方を行って前記測距用画素の出力信号を補正する補正部と、前記測距用画素の前記補正部による補正の要否を、少なくとも前記測距用画素への光の入射角に応じて判定する判定部とを備えるものである。
【００１２】
本発明の撮像画像信号の補正方法は、撮像用画素及び測距用画素を含む固体撮像素子から出力される撮像画像信号の補正方法であって、前記測距用画素の出力信号を当該測距用画素の周囲の前記撮像用画素の出力信号を用いて補間する第一の処理及び前記測距用画素の出力信号を増幅する第二の処理の少なくとも一方を行って前記測距用画素の出力信号を補正する補正する補正ステップと、前記測距用画素の前記補正ステップでの補正の要否を、少なくとも前記測距用画素への光の入射角に応じて判定する判定ステップとを備えるものである。
【発明の効果】
【００１３】
本発明によれば、位相差画素の出力信号の補正に要する時間及び演算量を削減することが可能な撮像装置及び撮像画像信号の補正方法を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第一実施形態を説明するための撮像装置の概略構成を示す図
【図２】図１に示したデジタルカメラにおける固体撮像素子５の概略構成を示す部分平面模式図
【図３】図２に示した固体撮像素子５における位相差画素５２とこれに隣接するＧ画素５１の各々の入射角依存特性を示した図
【図４】図２に示した固体撮像素子５における位相差画素５２とこれに隣接するＧ画素５１の各々の入射角依存特性を示した図
【図５】図２に示した固体撮像素子５における位相差画素５２とこれに隣接するＧ画素５１の各々の入射角依存特性を示した図
【図６】図２に示した固体撮像素子５における位相差画素５２とこれに隣接するＧ画素５１の各々の入射角依存特性を示した図
【図７】図１に示すデジタルカメラの撮像動作を説明するためのフローチャート
【図８】本発明の第二実施形態のデジタルカメラの固体撮像素子の画素領域に設定される分割エリアの例を示す図
【図９】本発明の第二実施形態のデジタルカメラの撮像動作を説明するためのフローチャート
【図１０】本発明の第三実施形態のデジタルカメラに記憶される閾値Ｎのテーブルの一例を示す図
【図１１】本発明の第三実施形態のデジタルカメラの撮像動作を説明するためのフローチャート
【図１２】本発明の第三実施形態のデジタルカメラで用いられるプログラム線図の一例を示す図
【図１３】本発明の第三実施形態のデジタルカメラで用いられるプログラム線図の一例を示す図
【図１４】ガンマ補正処理を説明するための図
【図１５】本発明の第五実施形態のデジタルカメラの撮像動作を説明するためのフローチャート
【図１６】本発明の第六実施形態のデジタルカメラの撮像動作を説明するためのフローチャート
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について図面を参照して説明する。
【００１６】
（第一実施形態）
図１は、本発明の第一実施形態を説明するための撮像装置の概略構成を示す図である。撮像装置としては、デジタルカメラ及びデジタルビデオカメラ等の撮像装置、電子内視鏡及びカメラ付携帯電話機等に搭載される撮像モジュール、等があり、ここではデジタルカメラを例にして説明する。
【００１７】
図示するデジタルカメラの撮像系は、フォーカスレンズ、ズームレンズ等を含む撮影光学系１と、固体撮像素子５と、この両者の間に設けられた絞り２、赤外線カットフィルタ３、及び光学ローパスフィルタ４とを備える。
【００１８】
固体撮像素子５は、詳細は後述するが、平面視において二次元状に配置された３つ以上の光電変換素子（画素）を有し、そのうちの一部を、測距用の画素である位相差画素にし、残りを撮像用の画素である通常画素にした構成となっている。
【００１９】
デジタルカメラの電気制御系全体を統括制御するシステム制御部１１は、レンズ駆動部８を制御してフォーカスレンズをフォーカス位置に移動させて焦点距離を調整したり、ズームレンズを移動させてズーム調整を行ったりし、絞り駆動部９を介し絞り２の開口量を制御して露光量調整を行う。撮像時のフォーカスレンズのフォーカス位置、絞り２の絞り値、及びズームレンズのズーム位置等の撮像条件に応じて、固体撮像素子５の各画素に入射する光の入射角は変化する。
【００２０】
システム制御部１１は、撮像素子駆動部１０を介して固体撮像素子５を駆動し、撮影光学系１を通して撮像した被写体像を撮像画像信号として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。
【００２１】
デジタルカメラの電気制御系は、更に、固体撮像素子５の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、このアナログ信号処理部６から出力された撮像画像信号をデジタル信号に変換するＡ／Ｄ変換回路７とを備え、これらはシステム制御部１１によって制御される。
【００２２】
更に、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、Ａ／Ｄ変換回路７から出力された撮像画像信号に含まれる位相差画素の出力信号を補正する位相差画素補正部１８と、位相差画素補正部１８で補正後の撮像画像信号に対し、所定のデジタル信号処理を行って撮像画像データを生成するデジタル信号処理部１７と、固体撮像素子５に含まれる位相差画素毎に、当該位相差画素の出力信号の補正を実施するか否かを判定する位相差画素補正実施判定部１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された液晶表示部２３が接続される表示制御部２２とを備える。
【００２３】
メモリ制御部１５、デジタル信号処理部１７、位相差画素補正部１８、位相差画素補正実施判定部１９、外部メモリ制御部２０、及び表示制御部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。
【００２４】
図２は、図１に示したデジタルカメラにおける固体撮像素子５の概略構成を示す部分平面模式図である。
【００２５】
図２に示すように、固体撮像素子５は、平面視において行方向Ｘとこれに直交する列方向Ｙに二次元状に配置された３つ以上の光電変換素子（画素）を有する。
【００２６】
３つ以上の画素は、その奇数行が偶数行に対して各行の画素配列ピッチの略１／２だけ行方向Ｘにずれて配置されている。
【００２７】
各画素の上方には原色のカラーフィルタが設けられている。図２では、赤色（Ｒ）のカラーフィルタが搭載された画素に“Ｒ”を付し、緑色（Ｇ）のカラーフィルタが搭載された画素（以下、Ｇ画素ともいう）に“Ｇ”を付し、青色（Ｂ）のカラーフィルタが搭載された画素に“Ｂ”を付してある。
【００２８】
３つ以上の画素のうちの奇数行の画素の上方にある原色のカラーフィルタは全体としてベイヤ配列となっており、偶数行の画素の上方にある原色のカラーフィルタも全体としてベイヤ配列となっている。
【００２９】
この３つ以上の画素は、少なくとも１つの通常画素５１と少なくとも２つの位相差画素５２とを含む。
【００３０】
図２の例では、斜め方向で隣接する同色カラーフィルタを搭載する１対の位相差画素５２をペアとして、このペアが、３つ以上の画素が配置される画素領域に所定間隔で配置されている。
【００３１】
通常画素５１の上方には遮光膜開口５１ａが設けられ、位相差画素５２の上方には遮光膜開口５１ａよりも小さい遮光膜開口５２ａが設けられている。
【００３２】
遮光膜開口５１ａは、通常画素５１の上方に設けられるマイクロレンズによる光学中心とその中心が一致している。
【００３３】
これに対し、遮光膜開口５２ａは、位相差画素５２の上方に設けられるマイクロレンズによる光学中心から、その中心がずれている。隣接する１対の位相差画素５２のそれぞれの遮光膜開口５２ａの中心は、互いに近づく方向に光学中心からずれている。
【００３４】
なお、１対の位相差画素５２の遮光膜開口の構成は一例であり、周知のどのような構成であってもよい。また、３つ以上の画素の配列は図２に示したものに限らず、正方格子配列等の周知の配列を採用することができる。また、カラーフィルタの配列もベイヤ配列に限らず、周知の配列を採用することができる。また、カラーフィルタも原色に限らず、補色のものを用いることもできる。
【００３５】
このように、通常画素５１と位相差画素５２とでは、遮光膜開口の大きさが異なるため、感度に差が生じる。また、位相差画素５２の遮光膜開口の中心は光学中心に対して偏心しているため、位相差画素５２の感度は、遮光膜開口５２ａに入射してくる光の入射角に依存してその値が変化する。通常画素５１の感度も、遮光膜開口５１ａに入射してくる光の入射角に依存してその値が変化するが、その変化の度合いは、位相差画素５２よりは小さい。
【００３６】
図３は、図２に示した固体撮像素子５における位相差画素５２とこれに隣接するＧ画素５１の各々の入射角依存特性を示した図である。図３に示した左側の縦軸は画素の感度を示し、横軸は画素の遮光膜開口に入射してくる光の入射角を示している。また、図３には、右側の縦軸を感度比（（位相差画素５２の感度）÷（Ｇ画素５１の感度））とし、各入射角における感度比も併せて図示した。なお、図３に示した特性は、固体撮像素子５を、入射角がそれほどきつくならないチップ中央部と入射角がきつくなるチップ周辺部とに分けたときに、チップ中央部でかつチップ中心（撮影光学系１の光軸と固体撮像素子５とが交わる位置）よりも左側の領域にある位相差画素５２のペアのうち、遮光膜開口が光学中心に対して右側（チップ中心に向かう側）にある位相差画素５２のものを示した。
【００３７】
図３に示すように、Ｇ画素５１と位相差画素５２では、入射角が０°の場合（遮光膜開口に垂直に光が入射した場合）、遮光膜の大きさの違いによる感度差が生じる。そして、Ｇ画素５１と位相差画素５２の感度は、入射角が大きくなるにしたがって低下していくが、位相差画素５２の方が感度の低下率は大きく、入射角依存が大きい。この結果、感度比も、入射角が大きくなるにしたがって小さくなっている。
【００３８】
図１に示したデジタルカメラでは、デジタル信号処理部１７が、位相差画素５２の出力信号を補正した後の撮像画像信号に対し、ノイズリダクション処理を実施する。
【００３９】
図３に示した感度比が、あるレベルＴｈ以上になっているときには、位相差画素５２のキズレベル（Ｇ画素５１の出力信号のレベルから位相差画素５２の出力信号のレベルを減算した値）が小さくなり、ノイズリダクション補正処理によって、このキズレベルを十分に目立たなくすることが可能になる。一方、図３に示した感度比がレベルＴｈ未満のときには、ノイズリダクション処理だけではキズレベルを目立たなくすることが難しい。
【００４０】
そこで、このデジタルカメラでは、位相差画素補正実施判定部１９が、図３に示した入射角依存特性を持つ位相差画素５２については、感度比がレベルＴｈ以上になる入射角θ（θ≦閾値Ｎ）のときには、位相差画素補正部１８による補正を実施しないと判定し、感度比がレベルＴｈ未満になる入射角θ（閾値Ｎ＜θ）のときには、位相差画素補正部１８による補正を実施すると判定する。
【００４１】
なお、図３に示した入射角依存特性は、固体撮像素子５に含まれる位相差画素５２及びこれに隣接するＧ画素５１のペア毎に異なり、上記の“閾値Ｎ”の値も、位相差画素５２の固体撮像素子５の画素領域における配置位置及び遮光膜開口の偏心方向によって異なる。
【００４２】
図４は、チップ中央部でかつチップ中心よりも左側の領域にある位相差画素５２のペアのうち、遮光膜開口が光学中心に対して左側（チップ中心から離れる側）にある位相差画素５２とこれに隣接するＧ画素５１の各々の入射角依存特性を示した図である。
【００４３】
図４に示すように、隣接する位相差画素５２であっても、遮光膜開口が左に偏心している位相差画素５２では、遮光膜開口が右に偏心している位相差画素５２よりも入射角がきつくなるため、感度が低下する。この結果、感度比も低下するため、閾値Ｎの値も、図３に示した場合より小さくなる。
【００４４】
なお、チップ中央部でかつチップ中心よりも右側の領域にある位相差画素５２のペアについての入射角依存特性は、遮光膜開口が左に偏心しているものが図３に示した特性となり、遮光膜開口が右に偏心しているものが図４に示した特性となる。
【００４５】
図５は、チップ周辺部でかつチップ中心よりも左側の領域にある位相差画素５２のペアのうち、遮光膜開口が光学中心に対して右側にある位相差画素５２とこれに隣接するＧ画素５１の各々の入射角依存特性を示した図である。図６は、チップ周辺部でかつチップ中心よりも左側の領域にある位相差画素５２のペアのうち、遮光膜開口が光学中心に対して左側にある位相差画素５２とこれに隣接するＧ画素５１の各々の入射角依存特性を示した図である。
【００４６】
図５、６に示すように、チップ周辺部にある位相差画素５２及びＧ画素５１は、チップ中央部にあるものよりも感度が低下するため、感度比もチップ中央部と比較して低下する。このため、遮光膜開口の偏心方向が同じ位相差画素５２同士であっても、閾値Ｎの値は、チップ周辺部にあるものの方が小さくなる。
【００４７】
なお、チップ周辺部でかつチップ中心よりも右側の領域にある位相差画素５２のペアについての入射角依存特性は、遮光膜開口が左に偏心しているものが図５に示した特性となり、遮光膜開口が右に偏心しているものが図６に示した特性となる。
【００４８】
このように、閾値Ｎの値は、位相差画素５２の遮光膜開口の偏心方向及び位相差画素５２の固体撮像素子５のチップ上での位置によって異なる。そこで、このデジタルカメラでは、メインメモリ１６が、固体撮像素子５に含まれる全ての位相差画素５２毎に閾値Ｎの値を対応付けたテーブルを記憶している。
【００４９】
そして、位相差画素補正実施判定部１９は、撮像条件の情報から、固体撮像素子５に含まれる全ての位相差画素５２毎に、そこに入射する光の入射角を算出し、算出した入射角と上記テーブルとに基づいて、当該位相差画素５２毎に、位相差画素補正部１８による補正を実施するか否かを判定する。
【００５０】
位相差画素補正部１８は、固体撮像素子５に含まれる位相差画素５２のうち、位相差画素補正実施判定部１９により補正を実施すると判定された位相差画素５２のみを補正実施対象とする。位相差画素補正部１８は、補正実施対象とした位相差画素５２の出力信号を、その周囲の当該位相差画素５２と同色のカラーフィルタが搭載される通常画素５１の出力信号を用いて補正する。
【００５１】
例えば、図２に示す２つの位相差画素のうちの右下の位相差画素５２を補正実施対象とした場合には、当該位相差画素５２の出力信号が配置されるメモリ位置に、図２に示した４隅にある４つのＧ画素５１の出力信号を用いて信号を補間生成し、当該位相差画素５２の出力信号を、補間生成した信号に置き換える補間処理を実施することで、当該位相差画素５２の出力信号の補正を行う。
【００５２】
以上のように構成されたデジタルカメラの撮像動作について説明する。
【００５３】
図７は、図１に示すデジタルカメラの撮像動作を説明するためのフローチャートである。
【００５４】
操作部１４に含まれるシャッタボタンが半押しされると（ステップＳ４１）、システム制御部１１は、固体撮像素子５から出力される撮像画像信号に基づいてＡＥ（自動露出）制御を実行する（ステップＳ４２）。このＡＥ制御により、絞り２が所定の絞り値に設定され、シャッタスピードが所定の値に設定される。
【００５５】
次に、システム制御部１１は、ＡＦ制御を実行し（ステップＳ４３）、固体撮像素子５の位相差画素５２からの出力信号に基づいて、撮影光学系１に含まれるフォーカスレンズをフォーカス位置に移動させる。
【００５６】
次に、位相差画素補正実施判定部１９が、現時点でのズームレンズの位置、絞り２の絞り値、及びフォーカスレンズのフォーカス位置等の撮像条件の情報をシステム制御部１１から取得する（ステップＳ４４）。
【００５７】
次に、シャッタボタンが全押しされると（ステップＳ４５）、システム制御部１１が、撮像素子駆動部１０を制御して固体撮像素子５により撮像を実施する（ステップＳ４６）。
【００５８】
撮像が終了すると、位相差画素補正実施判定部１９が、ステップＳ４４で取得した情報に基づいて、固体撮像素子５に含まれる全ての位相差画素５２毎に、遮光膜開口５２ａ中心に入射する光の入射角θを算出する（ステップＳ４７）。
【００５９】
次に、位相差画素補正実施判定部１９が、位相差画素５２に対応する閾値Ｎと、当該位相差画素５２に対して算出した入射角θとを比較し、θ≦閾値Ｎであった場合には、当該位相差画素５２に対しては位相差画素補正部１８による補正を実施しないと判定し、閾値Ｎ＜θであった場合には、当該位相差画素５２に対しては位相差画素補正部１８による補正を実施すると判定する（ステップＳ４８）。位相差画素補正実施判定部１９は、このような判定処理を、全ての位相差画素５２に対して行う。
【００６０】
次に、位相差画素補正部１８が、ステップＳ４８で補正を実施すると判定された位相差画素５２の出力信号に対してのみ、補正を実施する（ステップＳ４９）。
【００６１】
位相差画素５２の出力信号の補正が終了すると、デジタル信号処理部１７が、補正後の撮像画像信号に対し、ノイズリダクション処理、同時化処理、ガンマ補正処理、ホワイトバランス調整処理、ＲＧＢ／ＹＣ変換処理等のデジタル信号処理を施して撮像画像データを生成する（ステップＳ５０）。
【００６２】
生成された撮像画像データは圧縮された後、記録媒体２１に記録されて（ステップＳ５１）、撮像動作が終了する。
【００６３】
以上のように、図１に示したデジタルカメラによれば、固体撮像素子５に含まれる全ての位相差画素５２のうち、撮像時の入射角θが閾値Ｎ以下になるものについては、周囲の通常画素５１を用いた補正を行わないため、位相差画素５２の出力信号の補正にかかる時間を大幅に短縮することができる。この結果、次の撮像が可能になるまでの時間を早めることができ、シャッタチャンスを逃してしまう確率を減らすことができる。また、連写撮像を行う場合には高速な連写が可能となる。
【００６４】
また、図１に示したデジタルカメラによれば、全ての位相差画素５２の出力信号を補正しなくてすむため、補正のための演算で消費する電力も削減することができ、バッテリを長持ちさせることが可能となる。
【００６５】
なお、位相差画素補正部１８は、補間処理の代わりに、補正実施対象とした位相差画素５２の出力信号の補正を、その位相差画素５２への光の入射角に応じたゲインを当該出力信号にかけて増幅する増幅処理によって行ってもよい。または、位相差画素補正部１８は、補間処理と増幅処理を組み合わせて実施して、補正実施対象とした位相差画素５２の出力信号の補正を行ってもよい。
【００６６】
増幅処理を行って補正する場合でも、撮像時の入射角θが閾値Ｎ以下になるものについては、補正を行わなくてすむため、位相差画素５２の出力信号の補正にかかる時間を大幅に短縮することができる。
【００６７】
（第二実施形態）
第二実施形態のデジタルカメラは、メインメモリ１６に記憶するテーブルの内容と、位相差画素補正実施判定部１９の機能の一部とが異なる点を除いては、第一実施形態のデジタルカメラと同じ構成である。
【００６８】
第二実施形態のデジタルカメラでは、図８のＦＩＧ８Ａに示したように、固体撮像素子５の画素領域５０を複数（ＦＩＧ８Ａの例では５つ）のエリア（ａ、ｂ、ｃ、ｄ、ｅ）に分割し、固体撮像素子５に含まれる全ての位相差画素５２のうち遮光膜開口が右に偏心している位相差画素５２を、その配置位置（配置エリア）によって、複数（ここでは５つ）のグループ（エリアａに配置されるグループ（以下、グループａとする）、エリアｂに配置されるグループ（以下、グループｂとする）、エリアｃに配置されるグループ（以下、グループｃとする）、エリアｄに配置されるグループ（以下、グループｄとする）、エリアｅに配置されるグループ（以下、グループｅとする））に分けている。そして、これらグループａ〜ｅ毎に閾値Ｎの値を対応付けたテーブルをメインメモリ１６に記憶している。
【００６９】
また、図８のＦＩＧ８Ｂに示したように、固体撮像素子５の画素領域５０を複数（ＦＩＧ８Ｂの例では５つ）のエリア（ａ’、ｂ’、ｃ’、ｄ’、ｅ’）に分割し、固体撮像素子５に含まれる全ての位相差画素５２のうち遮光膜開口が左に偏心している位相差画素５２を、その配置位置（配置エリア）によって、複数（ここでは５つ）のグループ（エリアａ’に配置されるグループ（以下、グループａ’とする）、エリアｂ’に配置されるグループ（以下、グループｂ’とする）、エリアｃ’に配置されるグループ（以下、グループｃ’とする）、エリアｄ’に配置されるグループ（以下、グループｄ’とする）、エリアｅ’に配置されるグループ（以下、グループｅ’とする））に分けている。そして、これらグループａ’〜ｅ’毎に閾値Ｎの値を対応付けたテーブルをメインメモリ１６に記憶している。
【００７０】
なお、ＦＩＧ８Ｂに示したエリアは、ＦＩＧ８Ａに示した全てのエリアを一律に右側にシフトさせたものとなっており、そのシフト量は、画素領域５０の中央部分において、エリアａとエリアａ’が重なりを持つ程度とすることが好ましい。
【００７１】
各グループａ〜ｅに対応する閾値Ｎは、当該各グループａ〜ｅに含まれる遮光膜開口が右に偏心している位相差画素５２に対して決まる閾値Ｎの平均値である。また、各グループａ’〜ｅ’に対応する閾値Ｎは、当該各グループａ’〜ｅ’に含まれる遮光膜開口が左に偏心している位相差画素５２に対して決まる閾値Ｎの平均値である。
【００７２】
第二実施形態のデジタルカメラの位相差画素補正実施判定部１９は、撮像条件の情報から、グループａ〜ｅ,ａ’〜ｅ’毎に、そこに入射する光の入射角を算出する。そして、算出した入射角とメインメモリ１６に記憶されているテーブルとに基づいて、当該グループａ〜ｅ,ａ’〜ｅ’毎に位相差画素補正部１８による補正を実施するか否かを判定する。
【００７３】
第二実施形態のデジタルカメラの位相差画素補正部１８は、位相差画素補正実施判定部１９により補正を実施すると判定されたグループの位相差画素５２のみを補正実施対象とする。位相差画素補正部１８は、補正実施対象とした位相差画素５２の出力信号を、その周囲の当該位相差画素５２と同色のカラーフィルタが搭載される通常画素５１の出力信号を用いて補正する。
【００７４】
次に、第二実施形態のデジタルカメラの撮像動作について説明する。
【００７５】
図９は、本発明の第二実施形態のデジタルカメラの撮像動作を説明するためのフローチャートである。図９において、図７と同じ処理には同一符号を付して説明を省略する。
【００７６】
ステップＳ４６で撮像が終了すると、位相差画素補正実施判定部１９が、ステップＳ４４で取得した情報に基づいて、グループａ〜ｅ,ａ’〜ｅ’毎に、そこに入射する光の入射角θを算出する（ステップＳ６１）。
【００７７】
各グループａ〜ｅ,ａ’〜ｅ’の入射角は、例えば、グループの全ての位相差画素５２の入射角の平均値とする。
【００７８】
次に、位相差画素補正実施判定部１９が、グループａに対応する閾値Ｎと、当該グループａに対して算出した入射角θとを比較し、θ≦閾値Ｎであった場合には、そのグループａの位相差画素５２に対しては位相差画素補正部１８による補正を実施しないと判定し、閾値Ｎ＜θであった場合には、そのグループａの位相差画素５２に対しては位相差画素補正部１８による補正を実施すると判定する（ステップＳ６２）。位相差画素補正実施判定部１９は、このような判定処理を、他のグループｂ〜ｅ,ａ’〜ｅ’に対しても行う。
【００７９】
次に、位相差画素補正部１８が、ステップＳ６２で補正を実施すると判定されたグループの位相差画素５２の出力信号に対してのみ、補正を実施する（ステップＳ６３）。ステップＳ６３の後は、ステップＳ５０以降の処理を行う。
【００８０】
以上のように、第二実施形態のデジタルカメラによれば、位相差画素５２のグループａ〜ｅ,ａ’〜ｅ’毎に、位相差画素補正部１８による補正を実施するか否かを判定しているため、この判定の回数を、第一実施形態のデジタルカメラよりも大幅に減らすことができる。この結果、演算量を削減して更なる高速処理が可能になると共に、更なる消費電力の低減が可能となる。
【００８１】
また、第二実施形態のデジタルカメラによれば、メインメモリ１６に記憶するテーブルのデータ量を、第一実施形態のデジタルカメラよりも削減することができる。このため、メモリコストを削減して低価格化を実現することができる。
【００８２】
なお、この実施形態においても、位相差画素補正部１８は、補間処理の代わりに増幅処理によって位相差画素５２の出力信号の補正を行ってもよい。または、位相差画素補正部１８は、補間処理と増幅処理を組み合わせて実施して、補正実施対象とした位相差画素５２の出力信号の補正を行ってもよい。
【００８３】
増幅処理によって補正を行う場合には、補正実施対象とした位相差画素５２に対し、その位相差画素５２が属するグループに対して算出した入射角θに応じたゲインを設定し、その位相差画素５２の出力信号に当該ゲインをかけることで補正を行えばよい。
【００８４】
（第三実施形態）
第三実施形態のデジタルカメラは、メインメモリ１６に記憶するテーブルを変更した点と、位相差画素補正実施判定部１９の機能を一部変更した点を除いては、第二実施形態のデジタルカメラと同じ構成である。
【００８５】
第三実施形態のデジタルカメラのメインメモリ１６は、図１０に示したように、グループａ〜ｅ,ａ’〜ｅ’毎の閾値Ｎのデータ群を、デジタルカメラに設定可能なＩＳＯ感度毎に記憶したテーブルを記憶している。
【００８６】
第三実施形態のデジタルカメラは、例えばＩＳＯ１００，２００，４００，８００，１６００が設定可能となっており、これらＩＳＯ感度毎に、グループａ〜ｅ,ａ’〜ｅ’毎の閾値Ｎのデータ群が記憶されている。
【００８７】
第三実施形態のデジタルカメラのデジタル信号処理部１７では、設定されるＩＳＯ感度が高くなるほど、ランダムノイズが増えるため、ノイズリダクション処理を強くかける制御を行う。
【００８８】
ＩＳＯ感度が高くなっても、Ｇ画素５１と位相差画素５２はそれぞれ均一に出力信号が増幅されるため、図３〜６に示した感度比は変化しない。このため、ＩＳＯ感度が高くなっていくと、ランダムノイズ＞位相差画素５２のキズレベル（Ｇ画素５１の出力信号のレベルから位相差画素５２の出力信号のレベルを減算した値）の関係になる。
【００８９】
上述したように、ランダムノイズは、ノイズリダクション処理の強度を上げることで目立たなくすることができる。このため、「ランダムノイズ＞位相差画素５２のキズレベル」の関係になっている場合は、当該位相差画素５２のキズレベルも、ノイズリダクション処理によって十分に目立たなくすることができる。
【００９０】
つまり、図３〜６で説明した閾値Ｎの値は、ＩＳＯ感度（ノイズリダクション処理の強度）に依存して変化する。そこで、第三実施形態のデジタルカメラでは、図１０に示したように、グループａ〜ｅ,ａ’〜ｅ’毎の閾値Ｎのデータ群をＩＳＯ感度毎に記憶したテーブルをメインメモリ１６に記憶している。
【００９１】
次に、第三実施形態のデジタルカメラの撮像動作について説明する。
【００９２】
図１１は、本発明の第三実施形態のデジタルカメラの撮像動作を説明するためのフローチャートである。図１１において、図９と同じ処理には同一符号を付して説明を省略する。
【００９３】
ステップＳ４３でＡＦ制御が実行された後、位相差画素補正実施判定部１９が、現時点でのズームレンズの位置、絞り２の絞り値、フォーカスレンズのフォーカス位置、及びＩＳＯ感度等の撮像条件の情報をシステム制御部１１から取得する（ステップＳ８１）。ステップＳ８１の後は、ステップＳ４５の処理に移行する。
【００９４】
ステップＳ４６で撮像が終了すると、位相差画素補正実施判定部１９が、ステップＳ８１で取得した情報に基づいて、グループａ〜ｅ,ａ’〜ｅ’毎に、そこに入射する光の入射角θを算出する（ステップＳ８２）。
【００９５】
各グループａ〜ｅ,ａ’〜ｅ’の入射角は、例えば、グループの全ての位相差画素５２の入射角の平均値とする。
【００９６】
次に、位相差画素補正実施判定部１９が、ステップＳ８１で取得したＩＳＯ感度の情報に対応するグループａの閾値Ｎと、当該グループａに対して算出した入射角θとを比較し、θ≦閾値Ｎであった場合には、そのグループａの位相差画素５２に対しては位相差画素補正部１８による補正を実施しないと判定し、閾値Ｎ＜θであった場合には、そのグループａの位相差画素５２に対しては位相差画素補正部１８による補正を実施すると判定する（ステップＳ８３）。位相差画素補正実施判定部１９は、このような判定処理を、他のグループｂ〜ｅ,ａ’〜ｅ’に対しても行う。
【００９７】
次に、位相差画素補正部１８が、ステップＳ８３で補正を実施すると判定されたグループの位相差画素５２の出力信号に対してのみ、補正を実施する（ステップＳ８４）。ステップＳ８４の後は、ステップＳ５０以降の処理を行う。
【００９８】
以上のように、第三実施形態のデジタルカメラによれば、位相差画素５２のグループａ〜ｅ,ａ’〜ｅ’毎の入射角だけでなく、カメラに設定されるＩＳＯ感度も考慮して、位相差画素補正部１８による補正を実施するか否かを判定することができる。
【００９９】
同じグループであっても、ＩＳＯ感度が高いときには、閾値Ｎの値が大きくなる。このため、ＩＳＯ感度が高いときには、補正実施対象となる位相差画素５２の数を、ＩＳＯ感度が低い場合よりも減らすことができる。したがって、ＩＳＯ感度に関わらず閾値Ｎを一定にしている場合と比べて、演算量を効率的に削減して更なる高速処理が可能になると共に、更なる消費電力の低減が可能となる。
【０１００】
なお、第三実施形態は、第一実施形態と組み合わせてもよい。例えば、第一実施形態のデジタルカメラにおいて、メインメモリ１６には、位相差画素５２毎の閾値Ｎのデータ群を、ＩＳＯ感度毎に記憶しておく。そして、位相差画素補正実施判定部１９が、図７のステップＳ４４でＩＳＯ感度の情報も取得し、図７のステップＳ４８において、ＩＳＯ感度と入射角θに応じて、位相差画素５２毎に補正を実施するか否かを判定すればよい。また、補正の方法は、補間処理による方法に限らず、増幅処理による方法や補間処理と増幅処理の併用による方法を採用してもよい。
【０１０１】
（第四実施形態）
第四実施形態のデジタルカメラは、システム制御部１１によるＡＥ制御の内容が異なる点を除いては、第三実施形態のデジタルカメラと同じ構成である。
【０１０２】
第四実施形態のデジタルカメラは、システム制御部１１に内蔵するメモリに、図１２に例示されるような、低ＩＳＯ感度を優先的に設定するプログラム線図と、図１３に例示されるような、高ＩＳＯ感度を優先的に設定するプログラム線図との２種類を記憶している。
【０１０３】
高ＩＳＯ感度を優先的に設定するプログラム線図を用いてＡＥ制御を行うと、ＩＳＯ感度が高い側に設定されやすくなる。前述したように、ＩＳＯ感度が高いときには、補正実施対象となる位相差画素５２の数が減る傾向にあるため、補正に要する演算量が削減される。つまり、高ＩＳＯ感度を優先的に設定するプログラム線図は、消費電力を減らしたり、高速処理を実現したりしたいときに適したプログラム線図である。
【０１０４】
一方、低ＩＳＯ感度を優先的に設定するプログラム線図を用いてＡＥ制御を行うと、ＩＳＯ感度が低い側に設定されやすくなるため、高Ｓ／Ｎで撮影が可能になる。つまり、低ＩＳＯ感度を優先的に設定するプログラム線図は、画質を優先したいときに適したプログラム線図である。
【０１０５】
第四実施形態のデジタルカメラのシステム制御部１１は、この２種類のプログラム線図のいずれかを、デジタルカメラの動作状態に応じて選択し、選択したプログラム線図を用いてＡＥ制御を行う。
【０１０６】
例えば、システム制御部１１は、デジタルカメラの電池残量を定期的にモニタし、電池残量が閾値を下回っていたときには、高ＩＳＯ感度を優先的に設定するプログラム線図を用いてＡＥ制御を行う。一方、電池残量が閾値以上のときには、低ＩＳＯ感度を優先的に設定するプログラム線図を用いてＡＥ制御を行う。
【０１０７】
また、システム制御部１１は、動画撮像モード、連写撮像モード等の高速処理が要求される撮像モードのときには、高ＩＳＯ感度を優先的に設定するプログラム線図を用いてＡＥ制御を行う。一方、高速処理が要求される撮像モード以外の撮像モードのときには、低ＩＳＯ感度を優先的に設定するプログラム線図を用いてＡＥ制御を行う。
【０１０８】
以上のように、第四実施形態のデジタルカメラによれば、デジタルカメラの動作状態に対応した最適な処理が可能となる。
【０１０９】
（第五実施形態）
第五実施形態のデジタルカメラは、位相差画素補正実施判定部１９の機能が一部異なる点を除いては、第三実施形態のデジタルカメラと同じ構成である。
【０１１０】
図３〜６に示したように、入射角が同じであれば、Ｇ画素５１と位相差画素５２の感度比は一定値になる。このため、Ｇ画素５１及び位相差画素５２の出力信号のレベルが高いほど、位相差画素５２のキズレベルは高くなる。逆に、Ｇ画素５１及び位相差画素５２の出力信号のレベルが低いほど、位相差画素５２のキズレベルも低くなる。
【０１１１】
また、第五実施形態のデジタルカメラのデジタル信号処理部１７は、撮像画像信号（ＲＡＷデータ）からＪＰＥＧ形式の撮像画像データを生成する際にガンマ補正処理を行う。
【０１１２】
図１４は、ガンマ補正処理を説明するための図である。ここでは、ＲＡＷデータに含まれる位相差画素５２の出力信号を位相差画素補正部１８によって１つも補正しなかった場合を例にして説明する。
【０１１３】
この場合、図１４に示すように、レベルの大きいＲＡＷデータの部分では、データが圧縮されるため、この部分に位相差画素５２の出力信号が存在していたとしても、ＪＰＥＧデータではその位相差画素５２のキズレベルは目立たなくなる。
【０１１４】
また、レベルが小さいＲＡＷデータの部分では、データが大きなゲインで増幅されるが、この部分では位相差画素５２のキズレベルがもともと小さいため、ＪＰＥＧデータではそのキズレベルは目立たない。
【０１１５】
このように、位相差画素５２の出力信号は、そのレベルが所定範囲外（高いレベル範囲、低いレベル範囲）にあるときは、位相差画素補正部１８による補正を行わなくても、キズレベルは目立たない。
【０１１６】
そこで、第五実施形態のデジタルカメラの位相差画素補正実施判定部１９は、ＩＳＯ感度と入射角θに応じてグループａ〜ｅ,ａ’〜ｅ’毎に位相差画素補正部１８による補正を実施するか否かを判定した後、更に、補正を実施すると判定したグループの位相差画素５２については、その出力信号のレベルに応じて、位相差画素補正部１８による補正を実施するか否かを再判定する。
【０１１７】
第五実施形態のデジタルカメラの位相差画素補正部１８は、位相差画素補正実施判定部１９による再判定の結果、補正を実施すると判定された位相差画素５２を補正実施対象とする。
【０１１８】
次に、第五実施形態のデジタルカメラの撮像動作について説明する。
【０１１９】
図１５は、本発明の第五実施形態のデジタルカメラの撮像動作を説明するためのフローチャートである。図１５において、図１１と同じ処理には同一符号を付して説明を省略する。
【０１２０】
ステップＳ８３の後、位相差画素補正実施判定部１９は、補正を実施すると判定したグループの位相差画素５２の出力信号のレベルが、所定範囲に入るか否かを判定する。そして、出力信号のレベルが所定範囲に入る位相差画素５２については、位相差画素補正部１８による補正を実施すると判定し、出力信号のレベルが所定範囲に入らない位相差画素５２については、位相差画素補正部１８による補正を実施しないと判定する（ステップＳ１２１）。
【０１２１】
次に、位相差画素補正部１８が、ステップＳ１２１で補正を実施すると判定された位相差画素５２の出力信号に対してのみ、補正を実施する（ステップＳ１２２）。ステップＳ１２２の後は、ステップＳ５０以降の処理を行う。
【０１２２】
なお、第五実施形態は、第二実施形態と組み合わせてもよい。例えば、図９のステップＳ６２においてグループａ〜ｅ,ａ’〜ｅ’毎に補正するしないを判定した後、補正すると判定したグループの位相差画素５２に対し、出力信号のレベルに応じて補正するしないを再判定すればよい。また、補正の方法は、補間処理による方法に限らず、増幅処理による方法や補間処理と増幅処理の併用による方法を採用してもよい。
【０１２３】
（第六実施形態）
第六実施形態のデジタルカメラは、位相差画素補正実施判定部１９の機能が一部異なる点を除いては、第二実施形態のデジタルカメラと同じ構成である。
【０１２４】
第六実施形態のデジタルカメラは、固体撮像素子５の駆動モードとして、同色カラーフィルタを搭載する画素同士の電荷を固体撮像素子５内で混合して、撮像画像信号の１つの出力信号あたりの感度を上げる混合駆動モードと、電荷を混合せずに撮像画像信号を得る通常駆動モードがある。混合駆動モードには、電荷の混合数によって複数パターンが含まれる。
【０１２５】
撮像素子駆動部１０は、混合駆動モード時、固体撮像素子５に含まれる全ての位相差画素５２の電荷については、これに当該位相差画素５２の周囲にあるＧ画素５１の電荷を混合する駆動を行って、全ての位相差画素５２から出力信号を得る。
【０１２６】
この場合、各位相差画素５２の出力信号は、通常駆動モードのときの出力信号よりも、キズレベルが減少する。このキズレベルは、位相差画素５２の電荷に混合するＧ画素５１の電荷の数が増えるほど減少する。キズレベルが減少すると、閾値Ｎの値は大きくなる。
【０１２７】
つまり、グループａ〜ｅ,ａ’〜ｅ’毎の閾値Ｎの値は、固体撮像素子５の駆動モードに依存する。
【０１２８】
そこで、第六実施形態のデジタルカメラでは、メインメモリ１６が、グループａ〜ｅ,ａ’〜ｅ’毎の閾値Ｎのテーブルを、固体撮像素子５の駆動モード毎に記憶している。
【０１２９】
例えば、駆動モードが、通常駆動モードと、電荷混合数の異なる複数の電荷混合モードとを含む場合は、メインメモリ１６には、通常駆動モード用と各電荷混合モード用とでテーブルが記憶される。
【０１３０】
次に、第六実施形態のデジタルカメラの撮像動作について説明する。
【０１３１】
図１６は、本発明の第六実施形態のデジタルカメラの撮像動作を説明するためのフローチャートである。図１６において、図９と同じ処理には同一符号を付して説明を省略する。
【０１３２】
ステップＳ４１の後、位相差画素補正実施判定部１９は、固体撮像素子５の駆動モードの情報を取得する（ステップＳ１３１）。ステップＳ１３１の後は、ステップＳ４２以降の処理を行う。
【０１３３】
ステップＳ６１の後、位相差画素補正実施判定部１９は、ステップＳ１３１で取得した駆動モードの情報から、当該駆動モードに対応するテーブルのグループａの閾値Ｎを抽出し、この閾値Ｎと、グループａに対して算出した入射角θとを比較する。
【０１３４】
比較の結果、θ≦閾値Ｎであった場合には、そのグループａの位相差画素５２に対しては位相差画素補正部１８による補正を実施しないと判定し、閾値Ｎ＜θであった場合には、そのグループａの位相差画素５２に対しては位相差画素補正部１８による補正を実施すると判定する（ステップＳ１３２）。位相差画素補正実施判定部１９は、このような判定処理を、他のグループｂ〜ｅ,ａ’〜ｅ’に対しても行う。
【０１３５】
次に、位相差画素補正部１８が、ステップＳ１３２で補正を実施すると判定されたグループの位相差画素５２の出力信号に対してのみ、補正を実施する（ステップＳ１３３）。ステップＳ１３３の後は、ステップＳ５０以降の処理を行う。
【０１３６】
以上のように、第六実施形態のデジタルカメラによれば、グループａ〜ｅ,ａ’〜ｅ’毎の入射角だけでなく、固体撮像素子５の駆動モードも考慮して、位相差画素補正部１８による補正を実施するか否かを判定することができる。
【０１３７】
同じグループであっても、駆動モードが混合駆動モードのときには、閾値Ｎの値が大きくなる。このため、混合駆動モードのときには、補正実施対象となる位相差画素５２の数を、通常駆動モードのときよりも減らすことができる。したがって、駆動モードに関わらず閾値Ｎを一定にしている場合と比べて、演算量を効率的に削減して更なる高速処理が可能になると共に、更なる消費電力の低減が可能となる。
【０１３８】
なお、第六実施形態は、第三実施形態と組み合わせてもよい。例えば、メインメモリ１６には、図１０に示したテーブルを駆動モード毎に記憶しておく。そして、位相差画素補正実施判定部１９が、図１１のステップＳ４１の後に駆動モードの情報を取得し、図１１のステップＳ８３において、駆動モードとＩＳＯ感度と入射角θに応じて、グループａ〜ｅ,ａ’〜ｅ’毎に補正を実施するか否かを判定すればよい。
【０１３９】
また、第六実施形態は、第一実施形態と組み合わせてもよい。例えば、メインメモリ１６には、位相差画素５２毎の閾値Ｎのデータ群を、駆動モード毎に記憶しておく。そして、位相差画素補正実施判定部１９が、図７のステップＳ４１の後に駆動モードの情報を取得し、図７のステップＳ４８において、駆動モードと入射角θに応じて、位相差画素５２毎に補正を実施するか否かを判定すればよい。
【０１４０】
また、第六実施形態は、第五実施形態と組み合わせてもよい。例えば、図１６のステップＳ１３３の後に、ステップＳ１３３で補正すると判定したグループの位相差画素５２の出力信号のレベルに応じて、当該位相差画素５２の出力信号の補正を行うか否かを再判定すればよい。また、補正の方法は、補間処理による方法に限らず、増幅処理による方法や補間処理と増幅処理の併用による方法を採用してもよい。
【０１４１】
なお、これまでの説明では、固体撮像素子５に含まれる全ての画素の上方にカラーフィルタを設けるものとしたが、カラーフィルタはなくてもよい。この場合、位相差画素補正部１８は、補正実施対象となる位相差画素５２の出力信号を、その位相差画素５２の周囲にある通常画素５１の出力信号を用いて補正すればよい。
【０１４２】
また、第一実施形態〜第六実施形態は、上述した以外にも、矛盾のない範囲で適宜組み合わせることが可能である。
【０１４３】
以上説明してきたように、本明細書には次の事項が開示されている。
【０１４４】
開示された撮像装置は、撮像用画素及び測距用画素を含む固体撮像素子と、前記測距用画素の出力信号を当該測距用画素の周囲の前記撮像用画素の出力信号を用いて補間する第一の処理及び前記測距用画素の出力信号を増幅する第二の処理の少なくとも一方を行って前記測距用画素の出力信号を補正する補正部と、前記測距用画素の前記補正部による補正の要否を、少なくとも前記測距用画素への光の入射角に応じて判定する判定部とを備えるものである。
【０１４５】
開示された撮像装置は、前記測距用画素が、遮光膜開口が所定方向に偏心した第一の測距用画素と、遮光膜開口が前記所定方向と反対方向に偏心した第二の測距用画素とを含み、前記固体撮像素子に含まれる前記第一の測距用画素と前記第二の測距用画素とが、それぞれ、その配置位置に応じて複数のグループに分けられ、
前記判定部が、前記複数のグループ毎に、当該グループの前記測距用画素への光の入射角に応じて前記補正の要否を判定するものである。
【０１４６】
開示された撮像装置は、前記判定部が、前記補正を実施すると判定した前記グループの各測距用画素に対しては、当該各測距用画素の出力信号のレベルに応じて、前記補正の要否を再判定するものである。
【０１４７】
開示された撮像装置は、前記判定部が、前記入射角と前記測距用画素毎に記憶された前記入射角の閾値との比較により、前記補正の要否を判定するものである。
【０１４８】
開示された撮像装置は、前記測距用画素が、遮光膜開口が前記測距用画素の光学中心に対して互いに異なる方向に偏心した２種類の測距用画素を含み、互いに隣接する前記２種類の測距用画素の各々に対する前記閾値が異なるものである。
【０１４９】
開示された撮像装置は、互いに隣接する前記２種類の測距用画素の各々に対する前記閾値が、当該測距用画素の配置位置に応じて異なるものである。
【０１５０】
開示された撮像装置は、前記判定部が、更にＩＳＯ感度に応じて前記判定を行うものである。
【０１５１】
開示された撮像装置は、高ＩＳＯ感度を優先的に設定するプログラム線図と低ＩＳＯ感度を優先的に設定するプログラム線図の中から前記撮像装置の動作状態に応じて選択した一方のプログラム線図にしたがって自動露出制御を行う制御部を備えるものである。
【０１５２】
開示された撮像装置は、前記動作状態が前記撮像装置の電池残量であるものである。
【０１５３】
開示された撮像装置は、前記動作状態が前記撮像装置の撮像モードであるものである。
【０１５４】
開示された撮像装置は、前記判定部が、更に前記固体撮像素子の駆動モードに応じて前記判定を行うものである。
【０１５５】
開示された撮像画像信号の補正方法は、撮像用画素及び測距用画素を含む固体撮像素子から出力される撮像画像信号の補正方法であって、前記測距用画素の出力信号を当該測距用画素の周囲の前記撮像用画素の出力信号を用いて補間する第一の処理及び前記測距用画素の出力信号を増幅する第二の処理の少なくとも一方を行って前記測距用画素の出力信号を補正する補正ステップと、前記測距用画素の前記補正ステップでの補正の要否を、少なくとも前記測距用画素への光の入射角に応じて判定する判定ステップとを備えるものである。
【０１５６】
開示された撮像画像信号の補正方法は、前記測距用画素が、遮光膜開口が所定方向に偏心した第一の測距用画素と、遮光膜開口が前記所定方向と反対方向に偏心した第二の測距用画素とを含み、前記固体撮像素子に含まれる前記第一の測距用画素と前記第二の測距用画素とが、それぞれ、その配置位置に応じて複数のグループに分けられ、
前記判定ステップでは、前記複数のグループ毎に、当該グループの前記測距用画素への光の入射角に応じて前記補正の要否を判定するものである。
【０１５７】
開示された撮像画像信号の補正方法は、前記判定ステップでは、前記補正を実施すると判定した前記グループの各測距用画素に対しては、当該各測距用画素の出力信号のレベルに応じて、前記補正の要否を再判定するものである。
【０１５８】
開示された撮像画像信号の補正方法は、前記判定ステップでは、前記入射角と前記測距用画素毎に記憶された前記入射角の閾値との比較により、前記補正の要否を判定するものである。
【０１５９】
開示された撮像画像信号の補正方法は、前記測距用画素が、遮光膜開口が前記測距用画素の光学中心に対して互いに異なる方向に偏心した２種類の測距用画素を含み、
互いに隣接する前記２種類の測距用画素の各々に対する前記閾値が異なるものである。
【０１６０】
開示された撮像画像信号の補正方法は、互いに隣接する前記２種類の測距用画素の各々に対する前記閾値が、当該測距用画素の配置位置に応じて異なるものである。
【０１６１】
開示された撮像画像信号の補正方法は、前記判定ステップでは、更にＩＳＯ感度に応じて前記判定を行うものである。
【０１６２】
開示された撮像画像信号の補正方法は、前記判定ステップでは、更に前記固体撮像素子の駆動モードに応じて前記判定を行うものである。
【符号の説明】
【０１６３】
５ 固体撮像素子
１８ 位相差画素補正部
１９ 位相差画素補正実施判定部
５１ 通常画素
５２ 位相差画素
【技術分野】
【０００１】
本発明は、撮像装置及び撮像画像信号の補正方法に関する。
【背景技術】
【０００２】
デジタルカメラ、デジタルビデオカメラ等の撮像装置に搭載される固体撮像素子には、二次元状に配列された多数の光電変換素子（画素）を有し、そのうちの一部（同色カラーフィルタを搭載した隣接する２つの画素）を位相差画素（位相差を検出するための画素）とし、この位相差画素を測距のために使用しているものがある（例えば特許文献１参照）。
【０００３】
この固体撮像素子において、隣接する２つの位相差画素の各々の遮光膜開口は、画素の光学中心に対し異なる方向に偏心して設けられている。
【０００４】
また、この位相差画素は、レンズにより入射される光を瞳分割する必要があるため、遮光膜開口の面積が、その他の画素よりも小さくなっている。
【０００５】
このように、位相差画素は、遮光膜開口の面積が小さくなっているため、その出力信号を撮像画像信号として使用することができない。したがって、従来は、位相差画素の出力信号を、欠陥画素と同様に、その位相差画素の周りの通常の画素の出力信号を用いて補間演算する補間演算処理、その位相差画素の出力信号を増幅する増幅処理、又はこれらの両方等を用いて補正している。
【０００６】
位相差画素を例えば３万個ほど設けた場合、この３万個の位相差画素の出力信号の全てを補間演算処理によって補正すると、２００ｍｓｅｃ〜３００ｍｓｅｃ程度の時間がかかってしまう。また、位相差画素の出力信号を増幅処理によって補正する場合には、位相差画素の位置によって光の入射角が異なり感度の低下度合が異なるため、位相差画素毎にゲインを変えて増幅を行う必要があるが、この場合も、３万個の位相差画素の出力信号でゲインを変えて補正するには時間がかかってしまう。近年の固体撮像素子は１０００万画素以上が普通になっているため、位相差画素の数も増える傾向にあり、位相差画素の出力信号の補正に要する時間も長くなる傾向にある。
【０００７】
特許文献２には、位相差画素を構成する１対の画素のうちの一方を通常の画素で代用することで、補正対象となる位相差画素の数を半分に減らした撮像装置が開示されている。しかし、この撮像装置であっても、例えば３万個の位相差画素を設ける固体撮像素子であれば、その半分の１万５千個の位相差画素に対しては常に補正を行う必要がある。このため、位相差画素の出力信号の補正には依然として時間がかかる。
【０００８】
特許文献３には、複数の光電変換部を有する撮像素子からの信号の欠陥を補正する画像処理装置が開示されている。しかし、この画像処理装置は、位相差画素の出力信号の欠陥を補正することを目的にしておらず、位相差画素の欠陥補正処理に適用できるものではない。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０００−１５６８２３号公報
【特許文献２】特開２００９−２４４８５４号公報
【特許文献３】特開２００２−９４８８４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、上記事情に鑑みてなされたものであり、位相差画素の出力信号の補正に要する時間及び演算量を削減することが可能な撮像装置及び撮像画像信号の補正方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の撮像装置は、撮像用画素及び測距用画素を含む固体撮像素子と、前記測距用画素の出力信号を当該測距用画素の周囲の前記撮像用画素の出力信号を用いて補間する第一の処理及び前記測距用画素の出力信号を増幅する第二の処理の少なくとも一方を行って前記測距用画素の出力信号を補正する補正部と、前記測距用画素の前記補正部による補正の要否を、少なくとも前記測距用画素への光の入射角に応じて判定する判定部とを備えるものである。
【００１２】
本発明の撮像画像信号の補正方法は、撮像用画素及び測距用画素を含む固体撮像素子から出力される撮像画像信号の補正方法であって、前記測距用画素の出力信号を当該測距用画素の周囲の前記撮像用画素の出力信号を用いて補間する第一の処理及び前記測距用画素の出力信号を増幅する第二の処理の少なくとも一方を行って前記測距用画素の出力信号を補正する補正する補正ステップと、前記測距用画素の前記補正ステップでの補正の要否を、少なくとも前記測距用画素への光の入射角に応じて判定する判定ステップとを備えるものである。
【発明の効果】
【００１３】
本発明によれば、位相差画素の出力信号の補正に要する時間及び演算量を削減することが可能な撮像装置及び撮像画像信号の補正方法を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第一実施形態を説明するための撮像装置の概略構成を示す図
【図２】図１に示したデジタルカメラにおける固体撮像素子５の概略構成を示す部分平面模式図
【図３】図２に示した固体撮像素子５における位相差画素５２とこれに隣接するＧ画素５１の各々の入射角依存特性を示した図
【図４】図２に示した固体撮像素子５における位相差画素５２とこれに隣接するＧ画素５１の各々の入射角依存特性を示した図
【図５】図２に示した固体撮像素子５における位相差画素５２とこれに隣接するＧ画素５１の各々の入射角依存特性を示した図
【図６】図２に示した固体撮像素子５における位相差画素５２とこれに隣接するＧ画素５１の各々の入射角依存特性を示した図
【図７】図１に示すデジタルカメラの撮像動作を説明するためのフローチャート
【図８】本発明の第二実施形態のデジタルカメラの固体撮像素子の画素領域に設定される分割エリアの例を示す図
【図９】本発明の第二実施形態のデジタルカメラの撮像動作を説明するためのフローチャート
【図１０】本発明の第三実施形態のデジタルカメラに記憶される閾値Ｎのテーブルの一例を示す図
【図１１】本発明の第三実施形態のデジタルカメラの撮像動作を説明するためのフローチャート
【図１２】本発明の第三実施形態のデジタルカメラで用いられるプログラム線図の一例を示す図
【図１３】本発明の第三実施形態のデジタルカメラで用いられるプログラム線図の一例を示す図
【図１４】ガンマ補正処理を説明するための図
【図１５】本発明の第五実施形態のデジタルカメラの撮像動作を説明するためのフローチャート
【図１６】本発明の第六実施形態のデジタルカメラの撮像動作を説明するためのフローチャート
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について図面を参照して説明する。
【００１６】
（第一実施形態）
図１は、本発明の第一実施形態を説明するための撮像装置の概略構成を示す図である。撮像装置としては、デジタルカメラ及びデジタルビデオカメラ等の撮像装置、電子内視鏡及びカメラ付携帯電話機等に搭載される撮像モジュール、等があり、ここではデジタルカメラを例にして説明する。
【００１７】
図示するデジタルカメラの撮像系は、フォーカスレンズ、ズームレンズ等を含む撮影光学系１と、固体撮像素子５と、この両者の間に設けられた絞り２、赤外線カットフィルタ３、及び光学ローパスフィルタ４とを備える。
【００１８】
固体撮像素子５は、詳細は後述するが、平面視において二次元状に配置された３つ以上の光電変換素子（画素）を有し、そのうちの一部を、測距用の画素である位相差画素にし、残りを撮像用の画素である通常画素にした構成となっている。
【００１９】
デジタルカメラの電気制御系全体を統括制御するシステム制御部１１は、レンズ駆動部８を制御してフォーカスレンズをフォーカス位置に移動させて焦点距離を調整したり、ズームレンズを移動させてズーム調整を行ったりし、絞り駆動部９を介し絞り２の開口量を制御して露光量調整を行う。撮像時のフォーカスレンズのフォーカス位置、絞り２の絞り値、及びズームレンズのズーム位置等の撮像条件に応じて、固体撮像素子５の各画素に入射する光の入射角は変化する。
【００２０】
システム制御部１１は、撮像素子駆動部１０を介して固体撮像素子５を駆動し、撮影光学系１を通して撮像した被写体像を撮像画像信号として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。
【００２１】
デジタルカメラの電気制御系は、更に、固体撮像素子５の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、このアナログ信号処理部６から出力された撮像画像信号をデジタル信号に変換するＡ／Ｄ変換回路７とを備え、これらはシステム制御部１１によって制御される。
【００２２】
更に、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、Ａ／Ｄ変換回路７から出力された撮像画像信号に含まれる位相差画素の出力信号を補正する位相差画素補正部１８と、位相差画素補正部１８で補正後の撮像画像信号に対し、所定のデジタル信号処理を行って撮像画像データを生成するデジタル信号処理部１７と、固体撮像素子５に含まれる位相差画素毎に、当該位相差画素の出力信号の補正を実施するか否かを判定する位相差画素補正実施判定部１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された液晶表示部２３が接続される表示制御部２２とを備える。
【００２３】
メモリ制御部１５、デジタル信号処理部１７、位相差画素補正部１８、位相差画素補正実施判定部１９、外部メモリ制御部２０、及び表示制御部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。
【００２４】
図２は、図１に示したデジタルカメラにおける固体撮像素子５の概略構成を示す部分平面模式図である。
【００２５】
図２に示すように、固体撮像素子５は、平面視において行方向Ｘとこれに直交する列方向Ｙに二次元状に配置された３つ以上の光電変換素子（画素）を有する。
【００２６】
３つ以上の画素は、その奇数行が偶数行に対して各行の画素配列ピッチの略１／２だけ行方向Ｘにずれて配置されている。
【００２７】
各画素の上方には原色のカラーフィルタが設けられている。図２では、赤色（Ｒ）のカラーフィルタが搭載された画素に“Ｒ”を付し、緑色（Ｇ）のカラーフィルタが搭載された画素（以下、Ｇ画素ともいう）に“Ｇ”を付し、青色（Ｂ）のカラーフィルタが搭載された画素に“Ｂ”を付してある。
【００２８】
３つ以上の画素のうちの奇数行の画素の上方にある原色のカラーフィルタは全体としてベイヤ配列となっており、偶数行の画素の上方にある原色のカラーフィルタも全体としてベイヤ配列となっている。
【００２９】
この３つ以上の画素は、少なくとも１つの通常画素５１と少なくとも２つの位相差画素５２とを含む。
【００３０】
図２の例では、斜め方向で隣接する同色カラーフィルタを搭載する１対の位相差画素５２をペアとして、このペアが、３つ以上の画素が配置される画素領域に所定間隔で配置されている。
【００３１】
通常画素５１の上方には遮光膜開口５１ａが設けられ、位相差画素５２の上方には遮光膜開口５１ａよりも小さい遮光膜開口５２ａが設けられている。
【００３２】
遮光膜開口５１ａは、通常画素５１の上方に設けられるマイクロレンズによる光学中心とその中心が一致している。
【００３３】
これに対し、遮光膜開口５２ａは、位相差画素５２の上方に設けられるマイクロレンズによる光学中心から、その中心がずれている。隣接する１対の位相差画素５２のそれぞれの遮光膜開口５２ａの中心は、互いに近づく方向に光学中心からずれている。
【００３４】
なお、１対の位相差画素５２の遮光膜開口の構成は一例であり、周知のどのような構成であってもよい。また、３つ以上の画素の配列は図２に示したものに限らず、正方格子配列等の周知の配列を採用することができる。また、カラーフィルタの配列もベイヤ配列に限らず、周知の配列を採用することができる。また、カラーフィルタも原色に限らず、補色のものを用いることもできる。
【００３５】
このように、通常画素５１と位相差画素５２とでは、遮光膜開口の大きさが異なるため、感度に差が生じる。また、位相差画素５２の遮光膜開口の中心は光学中心に対して偏心しているため、位相差画素５２の感度は、遮光膜開口５２ａに入射してくる光の入射角に依存してその値が変化する。通常画素５１の感度も、遮光膜開口５１ａに入射してくる光の入射角に依存してその値が変化するが、その変化の度合いは、位相差画素５２よりは小さい。
【００３６】
図３は、図２に示した固体撮像素子５における位相差画素５２とこれに隣接するＧ画素５１の各々の入射角依存特性を示した図である。図３に示した左側の縦軸は画素の感度を示し、横軸は画素の遮光膜開口に入射してくる光の入射角を示している。また、図３には、右側の縦軸を感度比（（位相差画素５２の感度）÷（Ｇ画素５１の感度））とし、各入射角における感度比も併せて図示した。なお、図３に示した特性は、固体撮像素子５を、入射角がそれほどきつくならないチップ中央部と入射角がきつくなるチップ周辺部とに分けたときに、チップ中央部でかつチップ中心（撮影光学系１の光軸と固体撮像素子５とが交わる位置）よりも左側の領域にある位相差画素５２のペアのうち、遮光膜開口が光学中心に対して右側（チップ中心に向かう側）にある位相差画素５２のものを示した。
【００３７】
図３に示すように、Ｇ画素５１と位相差画素５２では、入射角が０°の場合（遮光膜開口に垂直に光が入射した場合）、遮光膜の大きさの違いによる感度差が生じる。そして、Ｇ画素５１と位相差画素５２の感度は、入射角が大きくなるにしたがって低下していくが、位相差画素５２の方が感度の低下率は大きく、入射角依存が大きい。この結果、感度比も、入射角が大きくなるにしたがって小さくなっている。
【００３８】
図１に示したデジタルカメラでは、デジタル信号処理部１７が、位相差画素５２の出力信号を補正した後の撮像画像信号に対し、ノイズリダクション処理を実施する。
【００３９】
図３に示した感度比が、あるレベルＴｈ以上になっているときには、位相差画素５２のキズレベル（Ｇ画素５１の出力信号のレベルから位相差画素５２の出力信号のレベルを減算した値）が小さくなり、ノイズリダクション補正処理によって、このキズレベルを十分に目立たなくすることが可能になる。一方、図３に示した感度比がレベルＴｈ未満のときには、ノイズリダクション処理だけではキズレベルを目立たなくすることが難しい。
【００４０】
そこで、このデジタルカメラでは、位相差画素補正実施判定部１９が、図３に示した入射角依存特性を持つ位相差画素５２については、感度比がレベルＴｈ以上になる入射角θ（θ≦閾値Ｎ）のときには、位相差画素補正部１８による補正を実施しないと判定し、感度比がレベルＴｈ未満になる入射角θ（閾値Ｎ＜θ）のときには、位相差画素補正部１８による補正を実施すると判定する。
【００４１】
なお、図３に示した入射角依存特性は、固体撮像素子５に含まれる位相差画素５２及びこれに隣接するＧ画素５１のペア毎に異なり、上記の“閾値Ｎ”の値も、位相差画素５２の固体撮像素子５の画素領域における配置位置及び遮光膜開口の偏心方向によって異なる。
【００４２】
図４は、チップ中央部でかつチップ中心よりも左側の領域にある位相差画素５２のペアのうち、遮光膜開口が光学中心に対して左側（チップ中心から離れる側）にある位相差画素５２とこれに隣接するＧ画素５１の各々の入射角依存特性を示した図である。
【００４３】
図４に示すように、隣接する位相差画素５２であっても、遮光膜開口が左に偏心している位相差画素５２では、遮光膜開口が右に偏心している位相差画素５２よりも入射角がきつくなるため、感度が低下する。この結果、感度比も低下するため、閾値Ｎの値も、図３に示した場合より小さくなる。
【００４４】
なお、チップ中央部でかつチップ中心よりも右側の領域にある位相差画素５２のペアについての入射角依存特性は、遮光膜開口が左に偏心しているものが図３に示した特性となり、遮光膜開口が右に偏心しているものが図４に示した特性となる。
【００４５】
図５は、チップ周辺部でかつチップ中心よりも左側の領域にある位相差画素５２のペアのうち、遮光膜開口が光学中心に対して右側にある位相差画素５２とこれに隣接するＧ画素５１の各々の入射角依存特性を示した図である。図６は、チップ周辺部でかつチップ中心よりも左側の領域にある位相差画素５２のペアのうち、遮光膜開口が光学中心に対して左側にある位相差画素５２とこれに隣接するＧ画素５１の各々の入射角依存特性を示した図である。
【００４６】
図５、６に示すように、チップ周辺部にある位相差画素５２及びＧ画素５１は、チップ中央部にあるものよりも感度が低下するため、感度比もチップ中央部と比較して低下する。このため、遮光膜開口の偏心方向が同じ位相差画素５２同士であっても、閾値Ｎの値は、チップ周辺部にあるものの方が小さくなる。
【００４７】
なお、チップ周辺部でかつチップ中心よりも右側の領域にある位相差画素５２のペアについての入射角依存特性は、遮光膜開口が左に偏心しているものが図５に示した特性となり、遮光膜開口が右に偏心しているものが図６に示した特性となる。
【００４８】
このように、閾値Ｎの値は、位相差画素５２の遮光膜開口の偏心方向及び位相差画素５２の固体撮像素子５のチップ上での位置によって異なる。そこで、このデジタルカメラでは、メインメモリ１６が、固体撮像素子５に含まれる全ての位相差画素５２毎に閾値Ｎの値を対応付けたテーブルを記憶している。
【００４９】
そして、位相差画素補正実施判定部１９は、撮像条件の情報から、固体撮像素子５に含まれる全ての位相差画素５２毎に、そこに入射する光の入射角を算出し、算出した入射角と上記テーブルとに基づいて、当該位相差画素５２毎に、位相差画素補正部１８による補正を実施するか否かを判定する。
【００５０】
位相差画素補正部１８は、固体撮像素子５に含まれる位相差画素５２のうち、位相差画素補正実施判定部１９により補正を実施すると判定された位相差画素５２のみを補正実施対象とする。位相差画素補正部１８は、補正実施対象とした位相差画素５２の出力信号を、その周囲の当該位相差画素５２と同色のカラーフィルタが搭載される通常画素５１の出力信号を用いて補正する。
【００５１】
例えば、図２に示す２つの位相差画素のうちの右下の位相差画素５２を補正実施対象とした場合には、当該位相差画素５２の出力信号が配置されるメモリ位置に、図２に示した４隅にある４つのＧ画素５１の出力信号を用いて信号を補間生成し、当該位相差画素５２の出力信号を、補間生成した信号に置き換える補間処理を実施することで、当該位相差画素５２の出力信号の補正を行う。
【００５２】
以上のように構成されたデジタルカメラの撮像動作について説明する。
【００５３】
図７は、図１に示すデジタルカメラの撮像動作を説明するためのフローチャートである。
【００５４】
操作部１４に含まれるシャッタボタンが半押しされると（ステップＳ４１）、システム制御部１１は、固体撮像素子５から出力される撮像画像信号に基づいてＡＥ（自動露出）制御を実行する（ステップＳ４２）。このＡＥ制御により、絞り２が所定の絞り値に設定され、シャッタスピードが所定の値に設定される。
【００５５】
次に、システム制御部１１は、ＡＦ制御を実行し（ステップＳ４３）、固体撮像素子５の位相差画素５２からの出力信号に基づいて、撮影光学系１に含まれるフォーカスレンズをフォーカス位置に移動させる。
【００５６】
次に、位相差画素補正実施判定部１９が、現時点でのズームレンズの位置、絞り２の絞り値、及びフォーカスレンズのフォーカス位置等の撮像条件の情報をシステム制御部１１から取得する（ステップＳ４４）。
【００５７】
次に、シャッタボタンが全押しされると（ステップＳ４５）、システム制御部１１が、撮像素子駆動部１０を制御して固体撮像素子５により撮像を実施する（ステップＳ４６）。
【００５８】
撮像が終了すると、位相差画素補正実施判定部１９が、ステップＳ４４で取得した情報に基づいて、固体撮像素子５に含まれる全ての位相差画素５２毎に、遮光膜開口５２ａ中心に入射する光の入射角θを算出する（ステップＳ４７）。
【００５９】
次に、位相差画素補正実施判定部１９が、位相差画素５２に対応する閾値Ｎと、当該位相差画素５２に対して算出した入射角θとを比較し、θ≦閾値Ｎであった場合には、当該位相差画素５２に対しては位相差画素補正部１８による補正を実施しないと判定し、閾値Ｎ＜θであった場合には、当該位相差画素５２に対しては位相差画素補正部１８による補正を実施すると判定する（ステップＳ４８）。位相差画素補正実施判定部１９は、このような判定処理を、全ての位相差画素５２に対して行う。
【００６０】
次に、位相差画素補正部１８が、ステップＳ４８で補正を実施すると判定された位相差画素５２の出力信号に対してのみ、補正を実施する（ステップＳ４９）。
【００６１】
位相差画素５２の出力信号の補正が終了すると、デジタル信号処理部１７が、補正後の撮像画像信号に対し、ノイズリダクション処理、同時化処理、ガンマ補正処理、ホワイトバランス調整処理、ＲＧＢ／ＹＣ変換処理等のデジタル信号処理を施して撮像画像データを生成する（ステップＳ５０）。
【００６２】
生成された撮像画像データは圧縮された後、記録媒体２１に記録されて（ステップＳ５１）、撮像動作が終了する。
【００６３】
以上のように、図１に示したデジタルカメラによれば、固体撮像素子５に含まれる全ての位相差画素５２のうち、撮像時の入射角θが閾値Ｎ以下になるものについては、周囲の通常画素５１を用いた補正を行わないため、位相差画素５２の出力信号の補正にかかる時間を大幅に短縮することができる。この結果、次の撮像が可能になるまでの時間を早めることができ、シャッタチャンスを逃してしまう確率を減らすことができる。また、連写撮像を行う場合には高速な連写が可能となる。
【００６４】
また、図１に示したデジタルカメラによれば、全ての位相差画素５２の出力信号を補正しなくてすむため、補正のための演算で消費する電力も削減することができ、バッテリを長持ちさせることが可能となる。
【００６５】
なお、位相差画素補正部１８は、補間処理の代わりに、補正実施対象とした位相差画素５２の出力信号の補正を、その位相差画素５２への光の入射角に応じたゲインを当該出力信号にかけて増幅する増幅処理によって行ってもよい。または、位相差画素補正部１８は、補間処理と増幅処理を組み合わせて実施して、補正実施対象とした位相差画素５２の出力信号の補正を行ってもよい。
【００６６】
増幅処理を行って補正する場合でも、撮像時の入射角θが閾値Ｎ以下になるものについては、補正を行わなくてすむため、位相差画素５２の出力信号の補正にかかる時間を大幅に短縮することができる。
【００６７】
（第二実施形態）
第二実施形態のデジタルカメラは、メインメモリ１６に記憶するテーブルの内容と、位相差画素補正実施判定部１９の機能の一部とが異なる点を除いては、第一実施形態のデジタルカメラと同じ構成である。
【００６８】
第二実施形態のデジタルカメラでは、図８のＦＩＧ８Ａに示したように、固体撮像素子５の画素領域５０を複数（ＦＩＧ８Ａの例では５つ）のエリア（ａ、ｂ、ｃ、ｄ、ｅ）に分割し、固体撮像素子５に含まれる全ての位相差画素５２のうち遮光膜開口が右に偏心している位相差画素５２を、その配置位置（配置エリア）によって、複数（ここでは５つ）のグループ（エリアａに配置されるグループ（以下、グループａとする）、エリアｂに配置されるグループ（以下、グループｂとする）、エリアｃに配置されるグループ（以下、グループｃとする）、エリアｄに配置されるグループ（以下、グループｄとする）、エリアｅに配置されるグループ（以下、グループｅとする））に分けている。そして、これらグループａ〜ｅ毎に閾値Ｎの値を対応付けたテーブルをメインメモリ１６に記憶している。
【００６９】
また、図８のＦＩＧ８Ｂに示したように、固体撮像素子５の画素領域５０を複数（ＦＩＧ８Ｂの例では５つ）のエリア（ａ’、ｂ’、ｃ’、ｄ’、ｅ’）に分割し、固体撮像素子５に含まれる全ての位相差画素５２のうち遮光膜開口が左に偏心している位相差画素５２を、その配置位置（配置エリア）によって、複数（ここでは５つ）のグループ（エリアａ’に配置されるグループ（以下、グループａ’とする）、エリアｂ’に配置されるグループ（以下、グループｂ’とする）、エリアｃ’に配置されるグループ（以下、グループｃ’とする）、エリアｄ’に配置されるグループ（以下、グループｄ’とする）、エリアｅ’に配置されるグループ（以下、グループｅ’とする））に分けている。そして、これらグループａ’〜ｅ’毎に閾値Ｎの値を対応付けたテーブルをメインメモリ１６に記憶している。
【００７０】
なお、ＦＩＧ８Ｂに示したエリアは、ＦＩＧ８Ａに示した全てのエリアを一律に右側にシフトさせたものとなっており、そのシフト量は、画素領域５０の中央部分において、エリアａとエリアａ’が重なりを持つ程度とすることが好ましい。
【００７１】
各グループａ〜ｅに対応する閾値Ｎは、当該各グループａ〜ｅに含まれる遮光膜開口が右に偏心している位相差画素５２に対して決まる閾値Ｎの平均値である。また、各グループａ’〜ｅ’に対応する閾値Ｎは、当該各グループａ’〜ｅ’に含まれる遮光膜開口が左に偏心している位相差画素５２に対して決まる閾値Ｎの平均値である。
【００７２】
第二実施形態のデジタルカメラの位相差画素補正実施判定部１９は、撮像条件の情報から、グループａ〜ｅ,ａ’〜ｅ’毎に、そこに入射する光の入射角を算出する。そして、算出した入射角とメインメモリ１６に記憶されているテーブルとに基づいて、当該グループａ〜ｅ,ａ’〜ｅ’毎に位相差画素補正部１８による補正を実施するか否かを判定する。
【００７３】
第二実施形態のデジタルカメラの位相差画素補正部１８は、位相差画素補正実施判定部１９により補正を実施すると判定されたグループの位相差画素５２のみを補正実施対象とする。位相差画素補正部１８は、補正実施対象とした位相差画素５２の出力信号を、その周囲の当該位相差画素５２と同色のカラーフィルタが搭載される通常画素５１の出力信号を用いて補正する。
【００７４】
次に、第二実施形態のデジタルカメラの撮像動作について説明する。
【００７５】
図９は、本発明の第二実施形態のデジタルカメラの撮像動作を説明するためのフローチャートである。図９において、図７と同じ処理には同一符号を付して説明を省略する。
【００７６】
ステップＳ４６で撮像が終了すると、位相差画素補正実施判定部１９が、ステップＳ４４で取得した情報に基づいて、グループａ〜ｅ,ａ’〜ｅ’毎に、そこに入射する光の入射角θを算出する（ステップＳ６１）。
【００７７】
各グループａ〜ｅ,ａ’〜ｅ’の入射角は、例えば、グループの全ての位相差画素５２の入射角の平均値とする。
【００７８】
次に、位相差画素補正実施判定部１９が、グループａに対応する閾値Ｎと、当該グループａに対して算出した入射角θとを比較し、θ≦閾値Ｎであった場合には、そのグループａの位相差画素５２に対しては位相差画素補正部１８による補正を実施しないと判定し、閾値Ｎ＜θであった場合には、そのグループａの位相差画素５２に対しては位相差画素補正部１８による補正を実施すると判定する（ステップＳ６２）。位相差画素補正実施判定部１９は、このような判定処理を、他のグループｂ〜ｅ,ａ’〜ｅ’に対しても行う。
【００７９】
次に、位相差画素補正部１８が、ステップＳ６２で補正を実施すると判定されたグループの位相差画素５２の出力信号に対してのみ、補正を実施する（ステップＳ６３）。ステップＳ６３の後は、ステップＳ５０以降の処理を行う。
【００８０】
以上のように、第二実施形態のデジタルカメラによれば、位相差画素５２のグループａ〜ｅ,ａ’〜ｅ’毎に、位相差画素補正部１８による補正を実施するか否かを判定しているため、この判定の回数を、第一実施形態のデジタルカメラよりも大幅に減らすことができる。この結果、演算量を削減して更なる高速処理が可能になると共に、更なる消費電力の低減が可能となる。
【００８１】
また、第二実施形態のデジタルカメラによれば、メインメモリ１６に記憶するテーブルのデータ量を、第一実施形態のデジタルカメラよりも削減することができる。このため、メモリコストを削減して低価格化を実現することができる。
【００８２】
なお、この実施形態においても、位相差画素補正部１８は、補間処理の代わりに増幅処理によって位相差画素５２の出力信号の補正を行ってもよい。または、位相差画素補正部１８は、補間処理と増幅処理を組み合わせて実施して、補正実施対象とした位相差画素５２の出力信号の補正を行ってもよい。
【００８３】
増幅処理によって補正を行う場合には、補正実施対象とした位相差画素５２に対し、その位相差画素５２が属するグループに対して算出した入射角θに応じたゲインを設定し、その位相差画素５２の出力信号に当該ゲインをかけることで補正を行えばよい。
【００８４】
（第三実施形態）
第三実施形態のデジタルカメラは、メインメモリ１６に記憶するテーブルを変更した点と、位相差画素補正実施判定部１９の機能を一部変更した点を除いては、第二実施形態のデジタルカメラと同じ構成である。
【００８５】
第三実施形態のデジタルカメラのメインメモリ１６は、図１０に示したように、グループａ〜ｅ,ａ’〜ｅ’毎の閾値Ｎのデータ群を、デジタルカメラに設定可能なＩＳＯ感度毎に記憶したテーブルを記憶している。
【００８６】
第三実施形態のデジタルカメラは、例えばＩＳＯ１００，２００，４００，８００，１６００が設定可能となっており、これらＩＳＯ感度毎に、グループａ〜ｅ,ａ’〜ｅ’毎の閾値Ｎのデータ群が記憶されている。
【００８７】
第三実施形態のデジタルカメラのデジタル信号処理部１７では、設定されるＩＳＯ感度が高くなるほど、ランダムノイズが増えるため、ノイズリダクション処理を強くかける制御を行う。
【００８８】
ＩＳＯ感度が高くなっても、Ｇ画素５１と位相差画素５２はそれぞれ均一に出力信号が増幅されるため、図３〜６に示した感度比は変化しない。このため、ＩＳＯ感度が高くなっていくと、ランダムノイズ＞位相差画素５２のキズレベル（Ｇ画素５１の出力信号のレベルから位相差画素５２の出力信号のレベルを減算した値）の関係になる。
【００８９】
上述したように、ランダムノイズは、ノイズリダクション処理の強度を上げることで目立たなくすることができる。このため、「ランダムノイズ＞位相差画素５２のキズレベル」の関係になっている場合は、当該位相差画素５２のキズレベルも、ノイズリダクション処理によって十分に目立たなくすることができる。
【００９０】
つまり、図３〜６で説明した閾値Ｎの値は、ＩＳＯ感度（ノイズリダクション処理の強度）に依存して変化する。そこで、第三実施形態のデジタルカメラでは、図１０に示したように、グループａ〜ｅ,ａ’〜ｅ’毎の閾値Ｎのデータ群をＩＳＯ感度毎に記憶したテーブルをメインメモリ１６に記憶している。
【００９１】
次に、第三実施形態のデジタルカメラの撮像動作について説明する。
【００９２】
図１１は、本発明の第三実施形態のデジタルカメラの撮像動作を説明するためのフローチャートである。図１１において、図９と同じ処理には同一符号を付して説明を省略する。
【００９３】
ステップＳ４３でＡＦ制御が実行された後、位相差画素補正実施判定部１９が、現時点でのズームレンズの位置、絞り２の絞り値、フォーカスレンズのフォーカス位置、及びＩＳＯ感度等の撮像条件の情報をシステム制御部１１から取得する（ステップＳ８１）。ステップＳ８１の後は、ステップＳ４５の処理に移行する。
【００９４】
ステップＳ４６で撮像が終了すると、位相差画素補正実施判定部１９が、ステップＳ８１で取得した情報に基づいて、グループａ〜ｅ,ａ’〜ｅ’毎に、そこに入射する光の入射角θを算出する（ステップＳ８２）。
【００９５】
各グループａ〜ｅ,ａ’〜ｅ’の入射角は、例えば、グループの全ての位相差画素５２の入射角の平均値とする。
【００９６】
次に、位相差画素補正実施判定部１９が、ステップＳ８１で取得したＩＳＯ感度の情報に対応するグループａの閾値Ｎと、当該グループａに対して算出した入射角θとを比較し、θ≦閾値Ｎであった場合には、そのグループａの位相差画素５２に対しては位相差画素補正部１８による補正を実施しないと判定し、閾値Ｎ＜θであった場合には、そのグループａの位相差画素５２に対しては位相差画素補正部１８による補正を実施すると判定する（ステップＳ８３）。位相差画素補正実施判定部１９は、このような判定処理を、他のグループｂ〜ｅ,ａ’〜ｅ’に対しても行う。
【００９７】
次に、位相差画素補正部１８が、ステップＳ８３で補正を実施すると判定されたグループの位相差画素５２の出力信号に対してのみ、補正を実施する（ステップＳ８４）。ステップＳ８４の後は、ステップＳ５０以降の処理を行う。
【００９８】
以上のように、第三実施形態のデジタルカメラによれば、位相差画素５２のグループａ〜ｅ,ａ’〜ｅ’毎の入射角だけでなく、カメラに設定されるＩＳＯ感度も考慮して、位相差画素補正部１８による補正を実施するか否かを判定することができる。
【００９９】
同じグループであっても、ＩＳＯ感度が高いときには、閾値Ｎの値が大きくなる。このため、ＩＳＯ感度が高いときには、補正実施対象となる位相差画素５２の数を、ＩＳＯ感度が低い場合よりも減らすことができる。したがって、ＩＳＯ感度に関わらず閾値Ｎを一定にしている場合と比べて、演算量を効率的に削減して更なる高速処理が可能になると共に、更なる消費電力の低減が可能となる。
【０１００】
なお、第三実施形態は、第一実施形態と組み合わせてもよい。例えば、第一実施形態のデジタルカメラにおいて、メインメモリ１６には、位相差画素５２毎の閾値Ｎのデータ群を、ＩＳＯ感度毎に記憶しておく。そして、位相差画素補正実施判定部１９が、図７のステップＳ４４でＩＳＯ感度の情報も取得し、図７のステップＳ４８において、ＩＳＯ感度と入射角θに応じて、位相差画素５２毎に補正を実施するか否かを判定すればよい。また、補正の方法は、補間処理による方法に限らず、増幅処理による方法や補間処理と増幅処理の併用による方法を採用してもよい。
【０１０１】
（第四実施形態）
第四実施形態のデジタルカメラは、システム制御部１１によるＡＥ制御の内容が異なる点を除いては、第三実施形態のデジタルカメラと同じ構成である。
【０１０２】
第四実施形態のデジタルカメラは、システム制御部１１に内蔵するメモリに、図１２に例示されるような、低ＩＳＯ感度を優先的に設定するプログラム線図と、図１３に例示されるような、高ＩＳＯ感度を優先的に設定するプログラム線図との２種類を記憶している。
【０１０３】
高ＩＳＯ感度を優先的に設定するプログラム線図を用いてＡＥ制御を行うと、ＩＳＯ感度が高い側に設定されやすくなる。前述したように、ＩＳＯ感度が高いときには、補正実施対象となる位相差画素５２の数が減る傾向にあるため、補正に要する演算量が削減される。つまり、高ＩＳＯ感度を優先的に設定するプログラム線図は、消費電力を減らしたり、高速処理を実現したりしたいときに適したプログラム線図である。
【０１０４】
一方、低ＩＳＯ感度を優先的に設定するプログラム線図を用いてＡＥ制御を行うと、ＩＳＯ感度が低い側に設定されやすくなるため、高Ｓ／Ｎで撮影が可能になる。つまり、低ＩＳＯ感度を優先的に設定するプログラム線図は、画質を優先したいときに適したプログラム線図である。
【０１０５】
第四実施形態のデジタルカメラのシステム制御部１１は、この２種類のプログラム線図のいずれかを、デジタルカメラの動作状態に応じて選択し、選択したプログラム線図を用いてＡＥ制御を行う。
【０１０６】
例えば、システム制御部１１は、デジタルカメラの電池残量を定期的にモニタし、電池残量が閾値を下回っていたときには、高ＩＳＯ感度を優先的に設定するプログラム線図を用いてＡＥ制御を行う。一方、電池残量が閾値以上のときには、低ＩＳＯ感度を優先的に設定するプログラム線図を用いてＡＥ制御を行う。
【０１０７】
また、システム制御部１１は、動画撮像モード、連写撮像モード等の高速処理が要求される撮像モードのときには、高ＩＳＯ感度を優先的に設定するプログラム線図を用いてＡＥ制御を行う。一方、高速処理が要求される撮像モード以外の撮像モードのときには、低ＩＳＯ感度を優先的に設定するプログラム線図を用いてＡＥ制御を行う。
【０１０８】
以上のように、第四実施形態のデジタルカメラによれば、デジタルカメラの動作状態に対応した最適な処理が可能となる。
【０１０９】
（第五実施形態）
第五実施形態のデジタルカメラは、位相差画素補正実施判定部１９の機能が一部異なる点を除いては、第三実施形態のデジタルカメラと同じ構成である。
【０１１０】
図３〜６に示したように、入射角が同じであれば、Ｇ画素５１と位相差画素５２の感度比は一定値になる。このため、Ｇ画素５１及び位相差画素５２の出力信号のレベルが高いほど、位相差画素５２のキズレベルは高くなる。逆に、Ｇ画素５１及び位相差画素５２の出力信号のレベルが低いほど、位相差画素５２のキズレベルも低くなる。
【０１１１】
また、第五実施形態のデジタルカメラのデジタル信号処理部１７は、撮像画像信号（ＲＡＷデータ）からＪＰＥＧ形式の撮像画像データを生成する際にガンマ補正処理を行う。
【０１１２】
図１４は、ガンマ補正処理を説明するための図である。ここでは、ＲＡＷデータに含まれる位相差画素５２の出力信号を位相差画素補正部１８によって１つも補正しなかった場合を例にして説明する。
【０１１３】
この場合、図１４に示すように、レベルの大きいＲＡＷデータの部分では、データが圧縮されるため、この部分に位相差画素５２の出力信号が存在していたとしても、ＪＰＥＧデータではその位相差画素５２のキズレベルは目立たなくなる。
【０１１４】
また、レベルが小さいＲＡＷデータの部分では、データが大きなゲインで増幅されるが、この部分では位相差画素５２のキズレベルがもともと小さいため、ＪＰＥＧデータではそのキズレベルは目立たない。
【０１１５】
このように、位相差画素５２の出力信号は、そのレベルが所定範囲外（高いレベル範囲、低いレベル範囲）にあるときは、位相差画素補正部１８による補正を行わなくても、キズレベルは目立たない。
【０１１６】
そこで、第五実施形態のデジタルカメラの位相差画素補正実施判定部１９は、ＩＳＯ感度と入射角θに応じてグループａ〜ｅ,ａ’〜ｅ’毎に位相差画素補正部１８による補正を実施するか否かを判定した後、更に、補正を実施すると判定したグループの位相差画素５２については、その出力信号のレベルに応じて、位相差画素補正部１８による補正を実施するか否かを再判定する。
【０１１７】
第五実施形態のデジタルカメラの位相差画素補正部１８は、位相差画素補正実施判定部１９による再判定の結果、補正を実施すると判定された位相差画素５２を補正実施対象とする。
【０１１８】
次に、第五実施形態のデジタルカメラの撮像動作について説明する。
【０１１９】
図１５は、本発明の第五実施形態のデジタルカメラの撮像動作を説明するためのフローチャートである。図１５において、図１１と同じ処理には同一符号を付して説明を省略する。
【０１２０】
ステップＳ８３の後、位相差画素補正実施判定部１９は、補正を実施すると判定したグループの位相差画素５２の出力信号のレベルが、所定範囲に入るか否かを判定する。そして、出力信号のレベルが所定範囲に入る位相差画素５２については、位相差画素補正部１８による補正を実施すると判定し、出力信号のレベルが所定範囲に入らない位相差画素５２については、位相差画素補正部１８による補正を実施しないと判定する（ステップＳ１２１）。
【０１２１】
次に、位相差画素補正部１８が、ステップＳ１２１で補正を実施すると判定された位相差画素５２の出力信号に対してのみ、補正を実施する（ステップＳ１２２）。ステップＳ１２２の後は、ステップＳ５０以降の処理を行う。
【０１２２】
なお、第五実施形態は、第二実施形態と組み合わせてもよい。例えば、図９のステップＳ６２においてグループａ〜ｅ,ａ’〜ｅ’毎に補正するしないを判定した後、補正すると判定したグループの位相差画素５２に対し、出力信号のレベルに応じて補正するしないを再判定すればよい。また、補正の方法は、補間処理による方法に限らず、増幅処理による方法や補間処理と増幅処理の併用による方法を採用してもよい。
【０１２３】
（第六実施形態）
第六実施形態のデジタルカメラは、位相差画素補正実施判定部１９の機能が一部異なる点を除いては、第二実施形態のデジタルカメラと同じ構成である。
【０１２４】
第六実施形態のデジタルカメラは、固体撮像素子５の駆動モードとして、同色カラーフィルタを搭載する画素同士の電荷を固体撮像素子５内で混合して、撮像画像信号の１つの出力信号あたりの感度を上げる混合駆動モードと、電荷を混合せずに撮像画像信号を得る通常駆動モードがある。混合駆動モードには、電荷の混合数によって複数パターンが含まれる。
【０１２５】
撮像素子駆動部１０は、混合駆動モード時、固体撮像素子５に含まれる全ての位相差画素５２の電荷については、これに当該位相差画素５２の周囲にあるＧ画素５１の電荷を混合する駆動を行って、全ての位相差画素５２から出力信号を得る。
【０１２６】
この場合、各位相差画素５２の出力信号は、通常駆動モードのときの出力信号よりも、キズレベルが減少する。このキズレベルは、位相差画素５２の電荷に混合するＧ画素５１の電荷の数が増えるほど減少する。キズレベルが減少すると、閾値Ｎの値は大きくなる。
【０１２７】
つまり、グループａ〜ｅ,ａ’〜ｅ’毎の閾値Ｎの値は、固体撮像素子５の駆動モードに依存する。
【０１２８】
そこで、第六実施形態のデジタルカメラでは、メインメモリ１６が、グループａ〜ｅ,ａ’〜ｅ’毎の閾値Ｎのテーブルを、固体撮像素子５の駆動モード毎に記憶している。
【０１２９】
例えば、駆動モードが、通常駆動モードと、電荷混合数の異なる複数の電荷混合モードとを含む場合は、メインメモリ１６には、通常駆動モード用と各電荷混合モード用とでテーブルが記憶される。
【０１３０】
次に、第六実施形態のデジタルカメラの撮像動作について説明する。
【０１３１】
図１６は、本発明の第六実施形態のデジタルカメラの撮像動作を説明するためのフローチャートである。図１６において、図９と同じ処理には同一符号を付して説明を省略する。
【０１３２】
ステップＳ４１の後、位相差画素補正実施判定部１９は、固体撮像素子５の駆動モードの情報を取得する（ステップＳ１３１）。ステップＳ１３１の後は、ステップＳ４２以降の処理を行う。
【０１３３】
ステップＳ６１の後、位相差画素補正実施判定部１９は、ステップＳ１３１で取得した駆動モードの情報から、当該駆動モードに対応するテーブルのグループａの閾値Ｎを抽出し、この閾値Ｎと、グループａに対して算出した入射角θとを比較する。
【０１３４】
比較の結果、θ≦閾値Ｎであった場合には、そのグループａの位相差画素５２に対しては位相差画素補正部１８による補正を実施しないと判定し、閾値Ｎ＜θであった場合には、そのグループａの位相差画素５２に対しては位相差画素補正部１８による補正を実施すると判定する（ステップＳ１３２）。位相差画素補正実施判定部１９は、このような判定処理を、他のグループｂ〜ｅ,ａ’〜ｅ’に対しても行う。
【０１３５】
次に、位相差画素補正部１８が、ステップＳ１３２で補正を実施すると判定されたグループの位相差画素５２の出力信号に対してのみ、補正を実施する（ステップＳ１３３）。ステップＳ１３３の後は、ステップＳ５０以降の処理を行う。
【０１３６】
以上のように、第六実施形態のデジタルカメラによれば、グループａ〜ｅ,ａ’〜ｅ’毎の入射角だけでなく、固体撮像素子５の駆動モードも考慮して、位相差画素補正部１８による補正を実施するか否かを判定することができる。
【０１３７】
同じグループであっても、駆動モードが混合駆動モードのときには、閾値Ｎの値が大きくなる。このため、混合駆動モードのときには、補正実施対象となる位相差画素５２の数を、通常駆動モードのときよりも減らすことができる。したがって、駆動モードに関わらず閾値Ｎを一定にしている場合と比べて、演算量を効率的に削減して更なる高速処理が可能になると共に、更なる消費電力の低減が可能となる。
【０１３８】
なお、第六実施形態は、第三実施形態と組み合わせてもよい。例えば、メインメモリ１６には、図１０に示したテーブルを駆動モード毎に記憶しておく。そして、位相差画素補正実施判定部１９が、図１１のステップＳ４１の後に駆動モードの情報を取得し、図１１のステップＳ８３において、駆動モードとＩＳＯ感度と入射角θに応じて、グループａ〜ｅ,ａ’〜ｅ’毎に補正を実施するか否かを判定すればよい。
【０１３９】
また、第六実施形態は、第一実施形態と組み合わせてもよい。例えば、メインメモリ１６には、位相差画素５２毎の閾値Ｎのデータ群を、駆動モード毎に記憶しておく。そして、位相差画素補正実施判定部１９が、図７のステップＳ４１の後に駆動モードの情報を取得し、図７のステップＳ４８において、駆動モードと入射角θに応じて、位相差画素５２毎に補正を実施するか否かを判定すればよい。
【０１４０】
また、第六実施形態は、第五実施形態と組み合わせてもよい。例えば、図１６のステップＳ１３３の後に、ステップＳ１３３で補正すると判定したグループの位相差画素５２の出力信号のレベルに応じて、当該位相差画素５２の出力信号の補正を行うか否かを再判定すればよい。また、補正の方法は、補間処理による方法に限らず、増幅処理による方法や補間処理と増幅処理の併用による方法を採用してもよい。
【０１４１】
なお、これまでの説明では、固体撮像素子５に含まれる全ての画素の上方にカラーフィルタを設けるものとしたが、カラーフィルタはなくてもよい。この場合、位相差画素補正部１８は、補正実施対象となる位相差画素５２の出力信号を、その位相差画素５２の周囲にある通常画素５１の出力信号を用いて補正すればよい。
【０１４２】
また、第一実施形態〜第六実施形態は、上述した以外にも、矛盾のない範囲で適宜組み合わせることが可能である。
【０１４３】
以上説明してきたように、本明細書には次の事項が開示されている。
【０１４４】
開示された撮像装置は、撮像用画素及び測距用画素を含む固体撮像素子と、前記測距用画素の出力信号を当該測距用画素の周囲の前記撮像用画素の出力信号を用いて補間する第一の処理及び前記測距用画素の出力信号を増幅する第二の処理の少なくとも一方を行って前記測距用画素の出力信号を補正する補正部と、前記測距用画素の前記補正部による補正の要否を、少なくとも前記測距用画素への光の入射角に応じて判定する判定部とを備えるものである。
【０１４５】
開示された撮像装置は、前記測距用画素が、遮光膜開口が所定方向に偏心した第一の測距用画素と、遮光膜開口が前記所定方向と反対方向に偏心した第二の測距用画素とを含み、前記固体撮像素子に含まれる前記第一の測距用画素と前記第二の測距用画素とが、それぞれ、その配置位置に応じて複数のグループに分けられ、
前記判定部が、前記複数のグループ毎に、当該グループの前記測距用画素への光の入射角に応じて前記補正の要否を判定するものである。
【０１４６】
開示された撮像装置は、前記判定部が、前記補正を実施すると判定した前記グループの各測距用画素に対しては、当該各測距用画素の出力信号のレベルに応じて、前記補正の要否を再判定するものである。
【０１４７】
開示された撮像装置は、前記判定部が、前記入射角と前記測距用画素毎に記憶された前記入射角の閾値との比較により、前記補正の要否を判定するものである。
【０１４８】
開示された撮像装置は、前記測距用画素が、遮光膜開口が前記測距用画素の光学中心に対して互いに異なる方向に偏心した２種類の測距用画素を含み、互いに隣接する前記２種類の測距用画素の各々に対する前記閾値が異なるものである。
【０１４９】
開示された撮像装置は、互いに隣接する前記２種類の測距用画素の各々に対する前記閾値が、当該測距用画素の配置位置に応じて異なるものである。
【０１５０】
開示された撮像装置は、前記判定部が、更にＩＳＯ感度に応じて前記判定を行うものである。
【０１５１】
開示された撮像装置は、高ＩＳＯ感度を優先的に設定するプログラム線図と低ＩＳＯ感度を優先的に設定するプログラム線図の中から前記撮像装置の動作状態に応じて選択した一方のプログラム線図にしたがって自動露出制御を行う制御部を備えるものである。
【０１５２】
開示された撮像装置は、前記動作状態が前記撮像装置の電池残量であるものである。
【０１５３】
開示された撮像装置は、前記動作状態が前記撮像装置の撮像モードであるものである。
【０１５４】
開示された撮像装置は、前記判定部が、更に前記固体撮像素子の駆動モードに応じて前記判定を行うものである。
【０１５５】
開示された撮像画像信号の補正方法は、撮像用画素及び測距用画素を含む固体撮像素子から出力される撮像画像信号の補正方法であって、前記測距用画素の出力信号を当該測距用画素の周囲の前記撮像用画素の出力信号を用いて補間する第一の処理及び前記測距用画素の出力信号を増幅する第二の処理の少なくとも一方を行って前記測距用画素の出力信号を補正する補正ステップと、前記測距用画素の前記補正ステップでの補正の要否を、少なくとも前記測距用画素への光の入射角に応じて判定する判定ステップとを備えるものである。
【０１５６】
開示された撮像画像信号の補正方法は、前記測距用画素が、遮光膜開口が所定方向に偏心した第一の測距用画素と、遮光膜開口が前記所定方向と反対方向に偏心した第二の測距用画素とを含み、前記固体撮像素子に含まれる前記第一の測距用画素と前記第二の測距用画素とが、それぞれ、その配置位置に応じて複数のグループに分けられ、
前記判定ステップでは、前記複数のグループ毎に、当該グループの前記測距用画素への光の入射角に応じて前記補正の要否を判定するものである。
【０１５７】
開示された撮像画像信号の補正方法は、前記判定ステップでは、前記補正を実施すると判定した前記グループの各測距用画素に対しては、当該各測距用画素の出力信号のレベルに応じて、前記補正の要否を再判定するものである。
【０１５８】
開示された撮像画像信号の補正方法は、前記判定ステップでは、前記入射角と前記測距用画素毎に記憶された前記入射角の閾値との比較により、前記補正の要否を判定するものである。
【０１５９】
開示された撮像画像信号の補正方法は、前記測距用画素が、遮光膜開口が前記測距用画素の光学中心に対して互いに異なる方向に偏心した２種類の測距用画素を含み、
互いに隣接する前記２種類の測距用画素の各々に対する前記閾値が異なるものである。
【０１６０】
開示された撮像画像信号の補正方法は、互いに隣接する前記２種類の測距用画素の各々に対する前記閾値が、当該測距用画素の配置位置に応じて異なるものである。
【０１６１】
開示された撮像画像信号の補正方法は、前記判定ステップでは、更にＩＳＯ感度に応じて前記判定を行うものである。
【０１６２】
開示された撮像画像信号の補正方法は、前記判定ステップでは、更に前記固体撮像素子の駆動モードに応じて前記判定を行うものである。
【符号の説明】
【０１６３】
５ 固体撮像素子
１８ 位相差画素補正部
１９ 位相差画素補正実施判定部
５１ 通常画素
５２ 位相差画素
【特許請求の範囲】
【請求項１】
撮像用画素及び測距用画素を含む固体撮像素子と、
前記測距用画素の出力信号を当該測距用画素の周囲の前記撮像用画素の出力信号を用いて補間する第一の処理及び前記測距用画素の出力信号を増幅する第二の処理の少なくとも一方を行って前記測距用画素の出力信号を補正する補正部と、
前記測距用画素の前記補正部による補正の要否を、少なくとも前記測距用画素への光の入射角を用いて判定する判定部とを備える撮像装置。
【請求項２】
請求項１記載の撮像装置であって、
前記測距用画素が、遮光膜開口が所定方向に偏心した第一の測距用画素と、遮光膜開口が前記所定方向と反対方向に偏心した第二の測距用画素とを含み、
前記固体撮像素子に含まれる前記第一の測距用画素と前記第二の測距用画素とが、それぞれ、その配置位置に応じて複数のグループに分けられ、
前記判定部が、前記グループ毎に、当該グループの前記測距用画素への光の入射角を用いて前記補正の要否を判定する撮像装置。
【請求項３】
請求項２記載の撮像装置であって、
前記判定部が、前記補正を実施すると判定した前記グループの各測距用画素に対しては、当該各測距用画素の出力信号のレベルに応じて、前記補正の要否を再判定する撮像装置。
【請求項４】
請求項１記載の撮像装置であって、
前記判定部が、前記入射角と前記測距用画素毎に記憶された前記入射角の閾値との比較により、前記補正の要否を判定する撮像装置。
【請求項５】
請求項４記載の撮像装置であって、
前記測距用画素が、遮光膜開口が前記測距用画素の光学中心に対して互いに異なる方向に偏心した２種類の測距用画素を含み、
互いに隣接する前記２種類の測距用画素の各々に対する前記閾値が異なる撮像装置。
【請求項６】
請求項５記載の撮像装置であって、
互いに隣接する前記２種類の測距用画素の各々に対する前記閾値が、当該測距用画素の配置位置に応じて異なる撮像装置。
【請求項７】
請求項１〜６のいずれか１項記載の撮像装置であって、
前記判定部が、更にＩＳＯ感度に応じて前記判定を行う撮像装置。
【請求項８】
請求項７記載の撮像装置であって、
高ＩＳＯ感度を優先的に設定するプログラム線図と低ＩＳＯ感度を優先的に設定するプログラム線図の中から前記撮像装置の動作状態に応じて選択した一方のプログラム線図にしたがって自動露出制御を行う制御部を備える撮像装置。
【請求項９】
請求項８記載の撮像装置であって、
前記動作状態が前記撮像装置の電池残量である撮像装置。
【請求項１０】
請求項８記載の撮像装置であって、
前記動作状態が前記撮像装置の撮像モードである撮像装置。
【請求項１１】
請求項１〜１０のいずれか１項記載の撮像装置であって、
前記判定部が、更に前記固体撮像素子の駆動モードに応じて前記判定を行う撮像装置。
【請求項１２】
撮像用画素及び測距用画素を含む固体撮像素子から出力される撮像画像信号の補正方法であって、
前記測距用画素の出力信号を当該測距用画素の周囲の前記撮像用画素の出力信号を用いて補間する第一の処理及び前記測距用画素の出力信号を増幅する第二の処理の少なくとも一方を行って前記測距用画素の出力信号を補正する補正ステップと、
前記測距用画素の前記補正ステップでの補正の要否を、少なくとも前記測距用画素への光の入射角に応じて判定する判定ステップとを備える撮像画像信号の補正方法。
【請求項１３】
請求項１２記載の撮像画像信号の補正方法であって、
前記測距用画素が、遮光膜開口が所定方向に偏心した第一の測距用画素と、遮光膜開口が前記所定方向と反対方向に偏心した第二の測距用画素とを含み、
前記固体撮像素子に含まれる前記第一の測距用画素と前記第二の測距用画素とが、それぞれ、その配置位置に応じて複数のグループに分けられ、
前記判定ステップでは、前記グループ毎に、当該グループの前記測距用画素への光の入射角に応じて前記補正の要否を判定する撮像画像信号の補正方法。
【請求項１４】
請求項１３記載の撮像画像信号の補正方法であって、
前記判定ステップでは、前記補正を実施すると判定した前記グループの各測距用画素に対しては、当該各測距用画素の出力信号のレベルに応じて、前記補正の要否を再判定する撮像画像信号の補正方法。
【請求項１５】
請求項１２記載の撮像画像信号の補正方法であって、
前記判定ステップでは、前記入射角と前記測距用画素毎に記憶された前記入射角の閾値との比較により、前記補正の要否を判定する撮像画像信号の補正方法。
【請求項１６】
請求項１５記載の撮像画像信号の補正方法であって、
前記測距用画素が、遮光膜開口が前記測距用画素の光学中心に対して互いに異なる方向に偏心した２種類の測距用画素を含み、
互いに隣接する前記２種類の測距用画素の各々に対する前記閾値が異なる撮像画像信号の補正方法。
【請求項１７】
請求項１６記載の撮像画像信号の補正方法であって、
互いに隣接する前記２種類の測距用画素の各々に対する前記閾値が、当該測距用画素の配置位置に応じて異なる撮像画像信号の補正方法。
【請求項１８】
請求項１２〜１７のいずれか１項記載の撮像画像信号の補正方法であって、
前記判定ステップでは、更にＩＳＯ感度に応じて前記判定を行う撮像画像信号の補正方法。
【請求項１９】
請求項１２〜１８のいずれか１項記載の撮像画像信号の補正方法であって、
前記判定ステップでは、更に前記固体撮像素子の駆動モードに応じて前記判定を行う撮像画像信号の補正方法。
【請求項１】
撮像用画素及び測距用画素を含む固体撮像素子と、
前記測距用画素の出力信号を当該測距用画素の周囲の前記撮像用画素の出力信号を用いて補間する第一の処理及び前記測距用画素の出力信号を増幅する第二の処理の少なくとも一方を行って前記測距用画素の出力信号を補正する補正部と、
前記測距用画素の前記補正部による補正の要否を、少なくとも前記測距用画素への光の入射角を用いて判定する判定部とを備える撮像装置。
【請求項２】
請求項１記載の撮像装置であって、
前記測距用画素が、遮光膜開口が所定方向に偏心した第一の測距用画素と、遮光膜開口が前記所定方向と反対方向に偏心した第二の測距用画素とを含み、
前記固体撮像素子に含まれる前記第一の測距用画素と前記第二の測距用画素とが、それぞれ、その配置位置に応じて複数のグループに分けられ、
前記判定部が、前記グループ毎に、当該グループの前記測距用画素への光の入射角を用いて前記補正の要否を判定する撮像装置。
【請求項３】
請求項２記載の撮像装置であって、
前記判定部が、前記補正を実施すると判定した前記グループの各測距用画素に対しては、当該各測距用画素の出力信号のレベルに応じて、前記補正の要否を再判定する撮像装置。
【請求項４】
請求項１記載の撮像装置であって、
前記判定部が、前記入射角と前記測距用画素毎に記憶された前記入射角の閾値との比較により、前記補正の要否を判定する撮像装置。
【請求項５】
請求項４記載の撮像装置であって、
前記測距用画素が、遮光膜開口が前記測距用画素の光学中心に対して互いに異なる方向に偏心した２種類の測距用画素を含み、
互いに隣接する前記２種類の測距用画素の各々に対する前記閾値が異なる撮像装置。
【請求項６】
請求項５記載の撮像装置であって、
互いに隣接する前記２種類の測距用画素の各々に対する前記閾値が、当該測距用画素の配置位置に応じて異なる撮像装置。
【請求項７】
請求項１〜６のいずれか１項記載の撮像装置であって、
前記判定部が、更にＩＳＯ感度に応じて前記判定を行う撮像装置。
【請求項８】
請求項７記載の撮像装置であって、
高ＩＳＯ感度を優先的に設定するプログラム線図と低ＩＳＯ感度を優先的に設定するプログラム線図の中から前記撮像装置の動作状態に応じて選択した一方のプログラム線図にしたがって自動露出制御を行う制御部を備える撮像装置。
【請求項９】
請求項８記載の撮像装置であって、
前記動作状態が前記撮像装置の電池残量である撮像装置。
【請求項１０】
請求項８記載の撮像装置であって、
前記動作状態が前記撮像装置の撮像モードである撮像装置。
【請求項１１】
請求項１〜１０のいずれか１項記載の撮像装置であって、
前記判定部が、更に前記固体撮像素子の駆動モードに応じて前記判定を行う撮像装置。
【請求項１２】
撮像用画素及び測距用画素を含む固体撮像素子から出力される撮像画像信号の補正方法であって、
前記測距用画素の出力信号を当該測距用画素の周囲の前記撮像用画素の出力信号を用いて補間する第一の処理及び前記測距用画素の出力信号を増幅する第二の処理の少なくとも一方を行って前記測距用画素の出力信号を補正する補正ステップと、
前記測距用画素の前記補正ステップでの補正の要否を、少なくとも前記測距用画素への光の入射角に応じて判定する判定ステップとを備える撮像画像信号の補正方法。
【請求項１３】
請求項１２記載の撮像画像信号の補正方法であって、
前記測距用画素が、遮光膜開口が所定方向に偏心した第一の測距用画素と、遮光膜開口が前記所定方向と反対方向に偏心した第二の測距用画素とを含み、
前記固体撮像素子に含まれる前記第一の測距用画素と前記第二の測距用画素とが、それぞれ、その配置位置に応じて複数のグループに分けられ、
前記判定ステップでは、前記グループ毎に、当該グループの前記測距用画素への光の入射角に応じて前記補正の要否を判定する撮像画像信号の補正方法。
【請求項１４】
請求項１３記載の撮像画像信号の補正方法であって、
前記判定ステップでは、前記補正を実施すると判定した前記グループの各測距用画素に対しては、当該各測距用画素の出力信号のレベルに応じて、前記補正の要否を再判定する撮像画像信号の補正方法。
【請求項１５】
請求項１２記載の撮像画像信号の補正方法であって、
前記判定ステップでは、前記入射角と前記測距用画素毎に記憶された前記入射角の閾値との比較により、前記補正の要否を判定する撮像画像信号の補正方法。
【請求項１６】
請求項１５記載の撮像画像信号の補正方法であって、
前記測距用画素が、遮光膜開口が前記測距用画素の光学中心に対して互いに異なる方向に偏心した２種類の測距用画素を含み、
互いに隣接する前記２種類の測距用画素の各々に対する前記閾値が異なる撮像画像信号の補正方法。
【請求項１７】
請求項１６記載の撮像画像信号の補正方法であって、
互いに隣接する前記２種類の測距用画素の各々に対する前記閾値が、当該測距用画素の配置位置に応じて異なる撮像画像信号の補正方法。
【請求項１８】
請求項１２〜１７のいずれか１項記載の撮像画像信号の補正方法であって、
前記判定ステップでは、更にＩＳＯ感度に応じて前記判定を行う撮像画像信号の補正方法。
【請求項１９】
請求項１２〜１８のいずれか１項記載の撮像画像信号の補正方法であって、
前記判定ステップでは、更に前記固体撮像素子の駆動モードに応じて前記判定を行う撮像画像信号の補正方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１１−２４４２８８（Ｐ２０１１−２４４２８８Ａ）
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願番号】特願２０１０−１１５８４０（Ｐ２０１０−１１５８４０）
【出願日】平成２２年５月１９日（２０１０．５．１９）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願日】平成２２年５月１９日（２０１０．５．１９）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]