画像処理装置、撮像装置、および画像処理方法
【課題】イメージエリアに焦点検出画素が配列された撮像素子から得られる画像信号中、焦点検出画素が配設される位置の画素値をより正確に推定可能とする。
【解決手段】撮像部１２０で生成され、アナログ・フロントエンド１２２でデジタル信号化された画像信号はＲＡＭ１６４に一時的に記憶される。デフォーカス量導出部３０４は、焦点検出画素から出力される信号を処理し、撮影光学系１１０によって形成される像のデフォーカス量を導出して画素値推定部３０２に出力する。画素値推定部３０２は、焦点検出画素から出力される焦点検出信号と、撮像素子のイメージエリア内で焦点検出画素の近傍に配設される撮像画素である近傍配設画素から出力される信号とのうち、デフォーカス量導出部３０４で導出されるデフォーカス量の値に応じて、少なくともいずれかの信号の値を用いて推定画素値を生成する。
【解決手段】撮像部１２０で生成され、アナログ・フロントエンド１２２でデジタル信号化された画像信号はＲＡＭ１６４に一時的に記憶される。デフォーカス量導出部３０４は、焦点検出画素から出力される信号を処理し、撮影光学系１１０によって形成される像のデフォーカス量を導出して画素値推定部３０２に出力する。画素値推定部３０２は、焦点検出画素から出力される焦点検出信号と、撮像素子のイメージエリア内で焦点検出画素の近傍に配設される撮像画素である近傍配設画素から出力される信号とのうち、デフォーカス量導出部３０４で導出されるデフォーカス量の値に応じて、少なくともいずれかの信号の値を用いて推定画素値を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージエリアに二次元配列された撮像画素を備えるカラー撮像素子であって、その撮像画素の配列内に焦点検出用の焦点検出画素が配置された、位相差センサ内蔵式の撮像素子から得られる画像信号を処理して画像データを生成する技術に関する。
【背景技術】
【０００２】
多くのデジタルスチルカメラ、デジタルムービーカメラ等の撮像装置には、自動焦点調節装置が備えられる。自動焦点調節を行う方式としてコントラストＡＦや位相差ＡＦが知られている。位相差ＡＦが可能な撮像装置では、撮像素子の受光面と共役な位置に位相差検出用のオートフォーカスモジュールが配置される。オートフォーカスモジュール内には、コンデンサレンズ、複数対のセパレータレンズ、ミラー、複数対のセパレータレンズに対応して設けられた複数対のラインセンサ等が配置される。そして、撮影レンズの異なる瞳位置を透過した被写体光がミラーによって反射され、オートフォーカスモジュールのセンサ内に導かれる。複数対のセパレータレンズにより、複数対のラインセンサ上のそれぞれに像が形成される。一対のラインセンサから出力される信号の相関をとることにより、一対のラインセンサ上での像のずれ量、すなわち位相差を求めることができる。
【０００３】
上記位相差に基づいて撮影レンズのデフォーカス量が導出され、そのデフォーカス量が減じられるように撮影レンズ内のフォーカシングレンズが駆動される。位相差ＡＦの方式によれば、撮影レンズの焦点調節動作を行う前にデフォーカス量を導出することができるので、比較的高速に合焦動作を行うことが可能な反面、オートフォーカスモジュールを配設するためのスペースが撮像装置内に必要となるので撮像装置を小型化することが困難となる。また、オートフォーカスモジュールは構成が複雑で、調整にも工数を要するため、製造コストを増す要因となっている。
【０００４】
位相差ＡＦの上述した問題点を解決するため、撮像画素が二次元配列された撮像素子内に位相差を検出可能な画素（焦点検出画素）を配置したものを用いて、上述したオートフォーカスモジュールを用いることなく位相差ＡＦを可能とする技術が提案されている。以下では、撮像画素の配列中に焦点検出画素が配置された撮像素子を本明細書中では位相差センサ内蔵式の撮像素子と称する。
【０００５】
特許文献１には、位相差センサ内蔵式の撮像素子を用いた撮像装置において、焦点検出用画素対の周辺にある、焦点検出用画素対以外の画素から出力された信号に基づいて、被写体が所定パターンに該当するかどうかを判定し、この判定結果に基づいてフォーカス制御を変える技術が開示される。
【０００６】
ところで、位相差センサ内蔵式の撮像素子から読み出した画像信号を単純に処理して画像データを生成した場合、撮像画素の配列内に焦点検出画素が配列されるため、焦点検出画素の配列される部分の画像情報が欠損する。したがって、位相差センサ内蔵式の撮像素子から得られる画像信号から生成される画像には、偽パターン等を生じる場合がある。この偽パターン等の生成を抑制するものとして、技術特許文献２には、焦点検出画素の周囲に配置される撮像画素の出力に基づいて焦点検出画素の位置における画像の出力構成を演算し、出力構成と焦点検出画素の出力とに基づいて焦点検出画素の位置における画像の出力を推定する技術が開示される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−２１７２５２号公報
【特許文献２】特開２００７−２８２１０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１には、位相差センサ内蔵撮像素子から得られる画像信号を処理して画像データを生成する際に、偽パターン等の生成を抑制することに関しては一切触れられていない。特許文献２には、上述したように焦点検出画素の位置における画像の出力を推定する技術が開示される。
【０００９】
しかし、特許文献２に開示される技術では、焦点検出画素の周辺に位置する撮像画素の出力を単純平均するか、焦点検出画素からの出力と焦点検出画素の周辺に位置する撮像画素の出力とを単純平均するかして、焦点検出画素の位置における画像の出力を求めている。したがって、焦点検出画素の存在する位置にエッジパターンや細線パターンが重畳するような場合には、偽色や偽パターンが発生したり、パターンが消失したりすることがある。何故ならば、上述した単純平均によって生成された画素値は、焦点検出画素が存在する位置に撮像画素が仮に存在していた場合に得られるであろう画素値とは、焦点検出画素の存在する位置にエッジパターンや細線パターンが重畳するような場合に、大きくかけ離れる場合があるからである。
【００１０】
この点、特許文献２には、焦点検出画像のコントラストパターンや、焦点検出画素の周辺に位置する撮像画素から得られる色情報から、焦点検出画素の存在する位置における画素値を推定する技術が開示される。しかし、コントラストパターンは被写体によって様々であるため、常に安定した画素値の推定を行うことは難しい。
【００１１】
本発明は、上記の課題に鑑みてなされたものであり、焦点検出画素の存在する位置における画素値をより正確に推定可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明のある態様によれば、イメージエリア内に二次元配列された複数の撮像画素と、前記複数の撮像画素の配列内に配置されて、撮影光学系の異なる瞳位置からの被写体光を受光可能に構成される複数組の焦点検出画素のペアとを備え、前記撮像画素で生成される画像信号と、前記焦点検出画素のペアで生成される焦点検出信号とを出力可能に構成される位相差センサ内蔵式の撮像素子から出力される前記画像信号および前記焦点検出信号を処理して前記焦点検出画素の配列される位置に対応する画素値を推定して生成する画像処理装置が、
前記焦点検出画素のペアのそれぞれから出力される前記焦点検出信号をもとに生成される第１および第２の焦点検出信号列の相関を求めて位相差を検出し、検出された位相差に基づいて前記撮影光学系のデフォーカス量を導出するデフォーカス量導出部と、
前記イメージエリア内における、前記焦点検出画素の配列される位置に対応する画素値を推定処理して推定画素値を生成する画素値推定部であって、当該位置の焦点検出画素から出力される焦点検出信号と、当該位置の焦点検出画素の近傍に配設される撮像画素である近傍配設画素からの信号とのうち、前記デフォーカス量導出部によって導出される前記デフォーカス量の値に応じて、少なくともいずれかの信号の値を用いて前記推定画素値を生成する画素値推定部と
を備える。
【００１３】
本発明のある態様によれば、撮像装置が、
イメージエリア内に二次元配列された複数の撮像画素と、前記複数の撮像画素の配列内に配置されて、撮影光学系の異なる瞳位置からの被写体光を受光可能に構成される複数組の焦点検出画素のペアとを備え、前記撮像画素で生成される画像信号と、前記焦点検出画素のペアで生成される焦点検出信号とを出力可能に構成される位相差センサ内蔵式の撮像素子と、
前記焦点検出画素のペアのそれぞれから出力される前記焦点検出信号をもとに生成される第１および第２の焦点検出信号列の相関を求めて位相差を検出し、検出された位相差に基づいて前記撮影光学系のデフォーカス量を導出するデフォーカス量導出部と、
前記イメージエリア内における、前記焦点検出画素の配列される位置に対応する画素値を推定処理して推定画素値を生成する画素値推定部であって、当該位置の焦点検出画素から出力される焦点検出信号と、当該位置の焦点検出画素の近傍に配設される撮像画素である近傍配設画素からの信号とのうち、前記デフォーカス量導出部によって導出される前記デフォーカス量の値に応じて、少なくともいずれかの信号の値を用いて前記推定画素値を生成する画素値推定部と
を備える。
【００１４】
本発明のある態様によれば、イメージエリア内に二次元配列された複数の撮像画素と、前記複数の撮像画素の配列内に配置されて、撮影光学系の異なる瞳位置からの被写体光を受光可能に構成される複数組の焦点検出画素のペアとを備え、前記撮像画素で生成される画像信号と、前記焦点検出画素のペアで生成される焦点検出信号とを出力可能に構成される位相差センサ内蔵式の撮像素子から出力される前記画像信号および前記焦点検出信号を処理して前記焦点検出画素の配列される位置に対応する画素値を推定して生成する画像処理方法が、
前記焦点検出画素のペアのそれぞれから出力される前記焦点検出信号をもとに生成される第１および第２の焦点検出信号列の相関を求めて位相差を検出し、検出された位相差に基づいて前記撮影光学系のデフォーカス量を導出する、デフォーカス量導出処理を行うことと、
前記イメージエリア内における、前記焦点検出画素の配列される位置に対応する画素値を推定処理して推定画素値を生成する画素値推定処理であって、当該位置の焦点検出画素から出力される焦点検出信号と、当該位置の焦点検出画素の近傍に配設される撮像画素である近傍配設画素からの信号とのうち、前記デフォーカス量導出処理を行うことにより導出される前記デフォーカス量の値に応じて、少なくともいずれかの信号の値を用いて前記推定画素値を生成する画素値推定処理を行うことと
を備える。
【発明の効果】
【００１５】
本発明によれば、位相差センサ内蔵式の撮像素子から出力される画像信号中、焦点検出画素の配置される部分の画素値をより正確に推定することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】デジタルカメラの概略的構成を説明するブロック図である。
【図２】撮像素子のイメージエリア上における画素の配列を概念的に説明する図であり、（ａ）はイメージエリアの一部を拡大して示す図であり、（ｂ）は（ａ）に示される図の一部をさらに拡大して示す図である。
【図３】撮像画素および焦点検出画素の概略的構成を説明する図であり、（ａ）は撮像画素の構成を示す図であり、（ｂ）および（ｃ）は焦点検出画素の構成を、それぞれ示す図である。
【図４】撮像素子のイメージエリア上における画素の配列を概念的に説明する図である。
【図５】一連の焦点検出画素から読み出される第１および第２の焦点検出信号列を処理してデフォーカス量の検出が行われる様子を概念的に示す図である。
【図６】画像処理装置がコンピュータ上で実行されるプログラムにより実現される場合の構成を説明する図である。
【図７】デジタルカメラが撮影モードに切り替えられたときにデジタルカメラ内で実行される処理手順を説明するフローチャートである。
【図８】デジタルカメラ内で実行されるデフォーカス量導出および画素値推定の処理手順の一例を説明するフローチャートである。
【図９】デジタルカメラ内で実行されるデフォーカス量導出および画素値推定の処理手順のもう一つの例を説明するフローチャートである。
【図１０】図９のフローチャートに示される処理中で行われる画素値の混合処理を概念的に説明する図である。
【発明を実施するための形態】
【００１７】
図１は、デジタルカメラ１００の概略的構成を説明するブロック図である。デジタルカメラ１００は、スチルカメラであってもムービーカメラであってもよい。あるいは、携帯電話等に組み込まれるカメラであってもよい。デジタルカメラ１００がスチルカメラまたはムービーカメラであるとき、撮影レンズが固定式のものであっても、交換可能に構成されていてもよい。
【００１８】
デジタルカメラ１００は、撮影光学系１１０と、レンズ駆動部１１２と、撮像部１２０と、アナログ・フロントエンド（図１中では「ＡＦＥ」と表記される）１２２と、画像記録媒体１３０と、操作部１４０と、表示部１５０と、記憶部１６０と、ＣＰＵ１７０と、ＤＳＰ（ディジタル・シグナル・プロセッサ）１９０と、システムバス１８０とを備える。記憶部１６０は、ＲＯＭ１６２とＲＡＭ１６４とを備える。デジタルカメラ１００はさらに、画素値推定部３０２と、デフォーカス量導出部３０４と、ＡＦ制御部１１４とを備える。画素値推定部３０２およびデフォーカス量導出部３０４は、ＤＳＰ１９０に備えられるものであってもよいが、本実施の形態においてはＣＰＵ１７０がプログラムを実行することにより実現されるものとする。ＡＦ制御部１１４もまた、ＣＰＵ１７０がプログラムを実行することにより実現されるものとする。上記の画素値推定部３０２およびデフォーカス量導出部３０４を含んで画像処理装置が構成される。
【００１９】
レンズ駆動部１１２、撮像部１２０、アナログ・フロントエンド１２２、画像記録媒体１３０、操作部１４０、表示部１５０、記憶部１６０、ＣＰＵ１７０、ＤＳＰ１９０は、システムバス１８０を介して電気的に接続される。ＲＡＭ１６４は、ＣＰＵ１７０およびＤＳＰ１９０の双方からアクセス可能に構成される。
【００２０】
撮影光学系１１０は、被写体像を撮像部１２０のイメージエリア上に形成する。撮像部１２０は、シャッタと撮像素子とを含んで構成され、撮影光学系１１０を透過した被写体光は、シャッタが開いている間、撮像素子に入射する。撮像素子のイメージエリア上に形成される被写体像が光電変換され、アナログ画像信号が生成される。なお、撮像素子が電気的に露光時間（光電変換時間）の制御を行うことが可能な、電子シャッタの機能を有する場合、シャッタは必ずしも備えられていなくてもよい。アナログ画像信号はアナログ・フロントエンド１２２に入力される。アナログ・フロントエンド１２２は、撮像部１２０から入力した画像信号にノイズ低減、増幅、Ａ／Ｄ変換等の処理をしてデジタル画像信号を生成する。このデジタル画像信号は、ＲＡＭ１６４に一時的に記憶される。
【００２１】
ＤＳＰ１９０は画像処理部３００を備える。この画像処理部３００は、ＲＡＭ１６４に一時的に記憶されたデジタル画像信号に対してデモザイク、階調変換、色バランス補正、シェーディング補正、ノイズ低減等のさまざまなデジタル信号処理を施し、記録用画像データ、表示用画像データ等を生成する。記録用画像データは、画像記録媒体１３０に記録される。表示用画像データは表示部１５０に出力される。画素値推定部３０２およびデフォーカス量導出部３０４がＤＳＰ１９０内に備えられる場合、画像処理部３００が画素値推定部３０２およびデフォーカス量導出３０４を含んでいても良い。
【００２２】
画像記録媒体１３０は、フラッシュメモリや磁気記録装置等で構成され、デジタルカメラ１００に対して着脱可能に装着される。あるいは、画像記録媒体１３０がデジタルカメラ１００に内蔵されていてもよい。その場合、ＲＯＭ１６２内に画像データ記録のための領域が確保されて、それを画像記録媒体１３０とすることが可能である。
【００２３】
操作部１４０は、プッシュスイッチ、スライドスイッチ、ダイヤルスイッチ、タッチパネル等のうちいずれか一種類または複数種類を備え、ユーザの操作を受け付け可能に構成される。操作部１４０にはレリーズスイッチが含まれる。このレリーズスイッチは、ユーザがレリーズ操作部材を押し下げる際のストロークに応じて動作するファーストレリーズスイッチとセカンドレリーズスイッチとを備える。
【００２４】
表示部１５０は、ＴＦＴ液晶表示パネルとバックライト装置、あるいは有機ＥＬ表示素子等の自発光式表示素子を備え、画像や文字等の情報を表示可能に構成される。なお、表示部１５０は表示インターフェースを備えていて、ＲＡＭ１６４上に設けられるＶＲＡＭ領域内に書き込まれる画像データを表示インターフェースが読み出して画像や文字等の情報が表示部１５０に表示されるものとする。
【００２５】
ＲＯＭ１６２は、フラッシュメモリ等で構成され、ＣＰＵ１７０により実行される制御プログラム（ファームウェア）や、調整パラメータ、あるいはデジタルカメラ１００の電源が入っていない状態でも保持する必要のある情報等が記憶される。ＲＡＭ１６４は、ＳＤＲＡＭ等で構成され、比較的高速のアクセス速度を有する。ＣＰＵ１７０は、ＲＯＭ１６２からＲＡＭ１６４に転送されたファームウェアを解釈・実行してデジタルカメラ１００の動作を統括的に制御する。
【００２６】
ところで、撮像部１２０に含まれる撮像素子は、位相差センサ内蔵式の撮像素子である。すなわち、撮像素子のイメージエリアには、撮像画素が二次元配列されていて、そのイメージエリア中の適宜の位置における撮像素子が置き換えられるようにして複数の焦点検出画素のペアが配列される撮像素子である。デフォーカス量導出部３０４は、これら複数の焦点検出画素のペアから出力される一組の信号列（本明細書ではこの一組の信号列を第１および第２の焦点検出信号列と称する）の相関を求めて位相差を検出し、検出された位相差に基づいて撮影光学系１１０のデフォーカス量を導出する。デフォーカス量導出部３０４は、導出したデフォーカス量に関する情報を、ＡＦ制御部１１４および画素値推定部３０２に出力する。
【００２７】
画素値推定部３０２は、撮像素子のイメージエリア内における、焦点検出画素の配列される位置に対応する画素値を推定して推定画素値を生成する。そして、アナログ・フロントエンド１２２から出力されたデジタル画像信号中、焦点検出画素から読み出された画素値を上記の推定画素値で置き換える処理を行う。推定画素値を生成する際、画素値推定部３０２は、デフォーカス量導出部３０４から受け取ったデフォーカス量の値に応じて、画素値推定処理の方法を変える。この画素値推定部３０２における画素値推定処理の詳細については後でフローチャートを参照して説明する。
【００２８】
ＡＦ制御部１１４は、デフォーカス量導出部３０４から受け取ったデフォーカス量の値に基づいて撮影光学系１１０内の焦点調節レンズの駆動方向と駆動量とを決定し、レンズ駆動部１１２に焦点調節制御信号を出力する。レンズ駆動部１１２は、ＡＦ制御部１１４から受け取った焦点調節制御信号に基づき、撮影光学系１１０の焦点調節動作を行う。撮影光学系１１０が可変焦点距離光学系である場合には、撮影光学系１１０がレンズ駆動部１１２によって駆動されて焦点距離を変更することが可能に構成されていてもよい。
【００２９】
図２（ａ）は、撮像素子３５０のイメージエリア内に二次元配列される撮像画素３５２Ｇ、３５２Ｂ、３５２Ｒと、この撮像画素３５２Ｇ、３５２Ｂ、３５２Ｒの配列内に焦点検出画素３６４、３６６が配置される様子を概念的に示す図である。図２（ｂ）は、図２（ａ）中の一部の画素を拡大して示す図である。図２（ａ）、図２（ｂ）はいずれも、被写体の側から撮像素子３５０を見た様子が描かれている。撮像画素３５２Ｇ、３５２Ｂ、３５２Ｒはそれぞれ、緑色、青色、赤色の分光波長帯域の感度を有する。これらの撮像画素３５２Ｇ、３５２Ｂ、３５２Ｒは、縦に２画素、横に２画素の４画素を配列単位として、その配列単位内の対角位置（図２の例では左上および右下）に撮像画素３５２Ｇが二つ配列され、残る二カ所に撮像画素３５２Ｂおよび３５２Ｒが配列された、ベイヤ型の配列となっている。図２（ａ）においては、これらの撮像画素３５２Ｇ、３５２Ｂ、３５２Ｒのうち、それぞれ一つずつにのみ符号が付されている。同様に、焦点検出画素３６４、３６６についても一つずつにのみ符号が付されている。以下では、必要に応じて撮像画素３５２Ｇを緑色の撮像画素、撮像画素３５２Ｂを青色の撮像画素、撮像画素３５２Ｒを赤色の撮像画素と称する。また、焦点検出画素３６４、３６６の組み合わせを焦点検出画素のペア３６４、３６６と称する。
【００３０】
本実施の形態において、焦点検出画素のペア３６４、３６６は、本来であれば緑色の撮像画素が配置される位置に配置されている。図２に示される例では、二次元配列された撮像画素中、本来であれば緑色の撮像画素、赤色の撮像画素が交互に配置される行内において、緑色の撮像画素が配置される位置に焦点検出画素３６４、３６６が交互に配列される。つまり、撮像画素３５２Ｒ、焦点検出画素３６４、撮像画素３５２Ｒ、焦点検出画素３６６、撮像画素３５２Ｒ、…という順で配列される。この行内における焦点検出画素３６４、３６６の配列によって焦点検出画素列３６０が形成される。焦点検出画素３６４、３６６も、撮像画素３５２Ｇと同様の分光感度特性を有する。
【００３１】
図２（ｂ）を参照して焦点検出画素３６４、３６６の近傍に配設される撮像画素について説明する。焦点検出画素３６４の配設位置を中心として、その対角位置（４カ所）には緑色の撮像画素３５２Ｇが配設される。そして焦点検出画素３６４の配設位置に対して上下の位置には青色の撮像画素３５２Ｂが、左右の位置には赤色の撮像画素３５２Ｒが配設される。焦点検出画素３６６についても同様であり、焦点検出画素３６６の配設位置を中心として、その対角位置（４カ所）には緑色の撮像画素３５２Ｇが配設される。そして焦点検出画素３６６の配設位置に対して上下の位置には青色の撮像画素３５２Ｂが、左右の位置には赤色の撮像画素３５２Ｒが配設される。
【００３２】
本実施の形態においては、焦点検出画素列３６０中、焦点検出画素３６４から出力される焦点検出信号列、つまり、図２（ａ）の例で左から２番目、６番目、１０番目、…の画素位置にある焦点検出画素３６４から出力される信号列を第１の焦点検出信号列と称する。同様に、左から４番目、８番目、１２番目、…の画素位置にある焦点検出画素３６６から出力される信号列を第２の焦点検出信号列と称する。これら第１、第２の焦点検出信号列の相関をとり、検出された位相差に基づいてデフォーカス量が導出される。
【００３３】
図３は、撮像画素３５２Ｇ、３５２Ｂ、３５２Ｒおよび焦点検出画素３６４、３６６の概略的構成を説明する図であり、撮像素子３５０のイメージエリアに配列される各画素上に形成されるマイクロレンズの光軸を含む面で断面をとった様子が示されている。なお、図３に示される断面は、デジタルカメラ１００内において撮像素子３５０が被写体と正対するような姿勢で配設されていて、デジタルカメラ１００が横位置の姿勢となっている状態で水平断面をとり、それを上側から見たものとして描かれている。つまり、図３における左右は、デジタルカメラ１００の背面側から見たときの左右に一致する。図３（ａ）には、撮像画素３５２Ｇ、３５２Ｂ、３５２Ｒの構成を、図３（ｂ）には焦点検出画素３６４の構成を、そして図３（ｃ）には焦点検出画素３６６の構成を示す。以下では撮像画素３５２Ｇ、３５２Ｂ、３５２Ｒを区別して説明する必要のない場合、単に撮像画素３５２と称する。
【００３４】
図３（ａ）を参照して撮像画素３５２の構成を説明する。フォトダイオード３７８の上方にはトランジスタや配線の層（不図示）に加えてカラーフィルタ３７２の層が形成され、それらの層の間は透明材料で構成される層間絶縁膜３７６の層が形成される。そして、一番上の層にマイクロレンズ３７０が形成される。本実施の形態において、マイクロレンズ３７０および層間絶縁膜３７６を形成する透明材料は、略同一の光学的特性（屈折率、アッベ数、分光透過率等）を有するものとする。撮像画素３５２は、撮影光学系１１０の設定Ｆ値によらず、その射出瞳からの被写体光を、マイクロレンズ３７０によって効率よくフォトダイオード３７８に導くように構成されている。カラーフィルタ３７２は、撮像画素３５２Ｇ、３５２Ｂ、３５２Ｒに求められる分光感度特性に対応して分光透過特性が設定されている。なお、本実施の形態において撮像素子３５０はＢ（青）、Ｇ（緑）、Ｒ（赤）の分光感度を有する撮像画素が配列されたものとして説明するが、その分光感度の組み合わせや色数、配列に関しては用途に応じて様々に変更可能である。
【００３５】
図３（ｂ）を参照して焦点検出画素３６４の構成を説明する。図３（ａ）に示される撮像画素３５２との違いは、フォトダイオード３７８の上方に遮光部３７４が設けられている点である。また、カラーフィルタ３７２は、焦点検出画素３６４の分光透過特性が緑色の撮像画素３５２Ｇの分光感度特性と略同一となるようにその分光透過率が定められる。図３（ｂ）において、遮光部３７４は、フォトダイオード３７８の左側の領域に光が入射しないように上下方向の配設位置と横方向の寸法とが定められている。遮光部３７４は、図３（ｂ）においてはフォトダイオード３７８から離れた位置に設けられるものとして描かれているが、フォトダイオード３７８と略隣接する位置に設けられていてもよい。このように構成される焦点検出画素３６４において、フォトダイオード３７８には、撮影光学系１１０の軸外の瞳位置からの被写体光が入射する。この瞳位置は、フォトダイオード３７８上で遮光部３７４により遮光されずに被写体光が入射する領域を、マイクロレンズ３７０を通して撮影光学系１１０の射出瞳位置に逆投影した位置となる。つまり、デジタルカメラ１００の背面側より見て、左側に位置する瞳位置からの被写体光が焦点検出画素３６４のフォトダイオード３７８に入射する。
【００３６】
図３（ｃ）に示される焦点検出画素３６６も、図３（ｂ）に示される焦点検出画素３６４と同様に、遮光部３７４が設けられる点が撮像画素３５２と異なる。また、カラーフィルタ３７２は、焦点検出画素３６４の分光透過特性が緑色の撮像画素３５２Ｇの分光感度特性と略同一となるようにその分光透過率が定められる。焦点検出画素３６４との違いは、遮光部３７４によってフォトダイオード３７８が遮光される位置の違いにある。そして、デジタルカメラ１００の背面側より見て、右側に位置する瞳位置からの被写体光が焦点検出画素３６６のフォトダイオード３７８に入射する。
【００３７】
以上に説明した構成が焦点検出画素３６４、３６６に備えられることにより、撮影光学系１１０の異なる瞳位置からの被写体光が焦点検出画素のペア３６４、３６６に入射する。従って、焦点検出画素列３６０から読み出される第１、第２の焦点検出信号列の位相差から撮影光学系１１０のデフォーカス量を導出することが可能となる。
【００３８】
図２においては、一つの列上に焦点検出画素３６４、３６６が交互に配列される例について示したが、二つの列上の一方の列に焦点検出画素３６４が、他方の列に焦点検出画素３６６が、それぞれ配列されていてもよい。この場合、二つの列は、互いにできるだけ近い位置にあることが、被写体上の略同一の位置から出射される光がこれらの焦点検出画素３６４、３６６に導かれるようにする上で望ましい。また、以上では二次元配列される画素の列に沿うように焦点検出画素３６４、３６６が配列される例について説明したが、行に沿うように焦点検出画素３６４、３６６が配列されていてもよい。その場合、図２中において焦点検出画素３６４内のフォトダイオードの上側、または下側を覆うように遮光部３７４を構成する必要がある。また、撮像素子３５０のイメージエリア内の複数の位置において、列方向および行方向に沿うように焦点検出画素列３６０を設けることにより、画面内の様々な位置におけるデフォーカス量の導出および焦点調節を行うことが可能となる。
【００３９】
図４は、撮像素子３５０のイメージエリア内に二次元配列される撮像画素３５２Ｇ、３５２Ｂ、３５２Ｒおよび焦点検出画素３６４、３６６が配置される様子を概念的に示す図であり、イメージエリアの一部が描かれている。図４においては個別の画素を区別するために、緑色の撮像画素３５２ＧにはＧ１、Ｇ２、…の符号が付されている。同様に、青色の撮像画素３５２ＢにはＢ１、Ｂ２、…の符号が、赤色の撮像画素３５２ＲにはＲ１、Ｒ２、…の符号が付されている。また、焦点検出画素３６４にはＡＦ１、ＡＦ３という奇数系列の数字を伴う符号が付されており、焦点検出画素３６６にはＡＦ２、ＡＦ４という偶数系列の数字を伴う符号が付されている。
【００４０】
図５は、焦点検出画素３６４、すなわち図４におけるＡＦ１、ＡＦ３、…の画素から読み出される第１の焦点検出信号列のパターンと、焦点検出画素３６６、すなわち図４におけるＡＦ２、ＡＦ４、…の画素から読み出される第２の焦点検出信号列のパターンの例を示す図である。図５中、Ｒ１、Ｒ２、…、あるいはＬ１、Ｌ２、…の符号が付された矩形の配列が示されている。このうち、Ｌ１、Ｌ２、…は、撮像素子３５０の後方から見て光軸よりも左側に位置する瞳位置からの被写体光を受光する焦点検出画素３６４（ＡＦ１、ＡＦ３、…）を仮想的に再配列した様子を示している。同様に、Ｒ１、Ｒ２、…は、撮影光学系１１０の光軸を含む水平面上において、撮像素子３５０の後方から見て光軸よりも右側に位置する瞳位置からの被写体光を受光する焦点検出画素３６６（ＡＦ２、ＡＦ４、…）を仮想的に再配列した様子を示している。つまり、上記左側に位置する瞳位置からの被写体光を受光する画素Ｌ１、Ｌ２、…からなる左側瞳用ラインセンサ（これを仮にラインセンサ３６０Ｌと称する）から得られる第１の焦点検出信号列と、上記右側に位置する瞳位置からの被写体光を受光する画素Ｒ１、Ｒ２、…からなる右側瞳用ラインセンサ（これを仮にラインセンサ３６０Ｒと称する）から得られる第２の焦点検出信号列とが図５に概念的に示されている。両ラインセンサ３６０Ｌ、３６０Ｒにおける１画素分のピッチに相当する長さを本明細書では１ＥＬという単位で表す。図４にも示されるように、撮像素子３５０の４画素分のピッチが１ＥＬに相当する。
【００４１】
図５を参照して説明すると、ラインセンサ３６０Ｌから得られる第１の焦点検出信号列と、ラインセンサ３６０Ｒから得られる第２の焦点検出信号列とは、デフォーカス量導出部３０４において、以下のようにして相関をとる処理が行われる。先ず、所定の画素数（図５では５画素の例が示される）のウインドウが定められ、第１の焦点検出信号列中、ウインドウ内の画素値（図５の例ではＬ６〜Ｌ１０）が基準の信号パターンと定められる。この基準の信号パターンと一致する信号パターンを第２の焦点検出信号列中から探索する。図５の例では画素Ｒ８〜Ｒ１２の信号パターンが該当するパターンであると判定され、像ずれの量（位相差）は２ＥＬと導出され、この像ずれ量２ＥＬに対応してデフォーカス量が導出される。なお、図４、図５を見て明かであるように、ラインセンサ３６０Ｌ、３６０Ｒの撮像素子３５０内における仮想的な配設位置は２画素分ずれている。そのため、図５の処理においてはこの２画素分のずれを考慮する必要がある。ここでは理解を容易にするため、この２画素分のずれを無視して説明する。
【００４２】
以降、第１の焦点検出信号列中でウインドウが５画素分右に移動され、Ｌ１１〜Ｌ１５の画素値が基準の信号パターンとされて、この信号パターンと一致する信号パターンが第２の焦点検出信号列中から探索される。ところで、ラインセンサ３６０Ｌ、３６０Ｒは所定の長さを有している。したがって、ラインセンサ３６０Ｌ、３６０Ｒ上には、様々な撮影距離に位置する被写体の像が形成される可能性がある。例えば、比較的近距離に位置する人物、中景に位置する木の枝、比較的遠距離に位置する建築物、などといった被写体の像の一部がラインセンサ３６０Ｌ、３６０Ｒ上に位置する可能性がある。
【００４３】
その場合、ラインセンサ３６０Ｌ、３６０Ｒ上に形成される像のデフォーカス量は、どの被写体の像の一部であるかによって異なる可能性がある。したがって、ラインセンサ３６０Ｌ、３６０Ｒ上における像ずれの量（位相差）はラインセンサ３６０Ｌ、３６０Ｒ上の位置によって異なる可能性がある。この点、上述のように第１の焦点検出信号列の信号パターンが複数に分割され、分割されたパターンごとに第２の焦点検出信号列内において一致するパターンを探索する処理が行われる。したがって、ラインセンサ３６０Ｌ、３６０Ｒ（焦点検出画素３６４、３６６）上におけるデフォーカス量の分布を得ることが可能となる。以上ではウインドウの幅を５画素に固定して探索処理を行う例について説明したが、第１、第２の焦点検出信号列の相関度の高さ等に応じてウインドウの幅（画素数）を適応的に増減させながら探索処理を行うことも可能である。例えば、基準の信号パターンと合致するパターンが第２の焦点検出信号列中で複数探索された場合には、ウインドウの幅を拡げて再探索し、一致度のより高いものとの間で像ずれの量を導出することも可能である。
【００４４】
図６は、記録媒体に記録された画像処理プログラムがコンピュータのＣＰＵにより読み出されて実行され、画像処理部３００、デフォーカス量導出部３０４、画素値推定部３０２としての機能が実装される例を説明するブロック図である。コンピュータ６００は、ＣＰＵ６１０と、メモリ６２０と、補助記憶装置６３０と、インターフェース６４０と、メモリカードインターフェース６５０と、光ディスクドライブ６６０と、ネットワークインターフェース６７０と、表示部６８０とを備える。ＣＰＵ６１０と、メモリカードインターフェース６５０と、光ディスクドライブ６６０と、ネットワークインターフェース６７０と、表示部６８０とは、インターフェース６４０を介して電気的に接続される。
【００４５】
メモリ６２０は、ＤＤＲ ＳＤＲＡＭ等の、比較的高速のアクセス速度を有するメモリである。補助記憶装置６３０は、ハードディスクドライブ、あるいはソリッドステートドライブ（ＳＳＤ）等で構成され、比較的大きな記憶容量を備える。
【００４６】
メモリカードインターフェース６５０は、メモリカードＭＣを着脱自在に装着可能に構成される。デジタルカメラ等で撮影動作が行われて生成され、メモリカードＭＣ内に記憶された画像データは、このメモリカードインターフェース６５０を介してコンピュータ６００内に読み込むことができる。また、コンピュータ６００内の画像データをメモリカードＭＣに書き込むこともできる。
【００４７】
光ディスクドライブ６６０は、光ディスクＯＤからデータを読み取ることが可能に構成される。光ディスクドライブ６６０はまた、必要に応じて光ディスクＯＤにデータを書き込むことが可能に構成されていてもよい。
【００４８】
ネットワークインターフェース６７０は、ネットワークＮＷを介して接続されるサーバ等の外部情報処理装置とコンピュータ６００との間で情報を授受可能に構成される。
【００４９】
表示部６８０は、フラットパネルディスプレイ装置等で構成され、文字、アイコン、カラー画像等を表示可能に構成される。
【００５０】
画像処理部３００、デフォーカス量導出部３０４、および画素値推定部３０２は、メモリ６２０上にロードされた画像処理プログラムをＣＰＵ６１０が解釈・実行することにより実現される。図１に示されるデジタルカメラ１００と同じく、デフォーカス量導出部３０４および画素値推定部３０２を含んで画像処理装置が構成される。画像処理部３００、デフォーカス量導出部３０４、画素値推定部３０２は、図１で同じ符号が付されているものと同様の作用を有するものであるのでその説明を省略する。画像処理プログラムは、メモリカードＭＣや光ディスクＯＤ等の記録媒体に記録されてコンピュータ６００のユーザに頒布される。あるいは、ネットワークＮＷを介して、サーバ等の外部情報処理装置からダウンロードされた画像処理プログラムが補助記憶装置６３０に記憶されてもよい。また、他の有線や無線の形態のインターフェースを介して外部情報処理装置等から画像処理プログラムがダウンロードされて補助記憶装置６３０に記憶されてもよい。あるいは、サーバ上で上記画像処理プログラムが実行されて、ユーザからネットワークを介して送られた画像データに処理をして、処理後画像データをユーザに返送する、クラウドサービスが実施されてもよい。
【００５１】
画像処理部３００は、補助記憶装置６３０に記憶された画像データ、あるいはメモリカードＭＣ、光ディスクＯＤ、ネットワークＮＷ等を介して入力した画像データに後述する画像処理を行う。
【００５２】
以上のように、画素値推定部３０２およびデフォーカス量導出部３０４を含んで構成される画像処理装置は、デジタルカメラ１００内に実装されるものであってもよいし、コンピュータ６００上で実行されるプログラムにより実施されるものであってもよい。コンピュータ６００上で実行されるプログラムにより実施されるものである場合、処理対象の画像データは、いわゆるロー（ＲＡＷ）画像データであることが望ましい。このとき、ロー画像データに付加されるヘッダ情報中に、焦点検出画素の配設位置に関する情報等が含まれるようにすることが望ましい。あるいは、プログラム中に複数種類の撮像装置に対応して焦点検出画素の配設位置が収められたデータテーブルが含められていても良い。その場合、ロー画像データに付加されるヘッダ情報中に埋め込まれている撮影機材の情報をもとに、焦点検出画素の配設位置等を得ることが可能となる。
【００５３】
図７は、図１に示されるデジタルカメラ１００の電源が投入されて、動作モードが撮影モードに切り替えられたときに実行が開始される処理手順を説明するフローチャートである。図７に示される処理は、ＲＯＭ１６２内に格納されたファームウェアがＲＡＭ１６４にロードされ、ＣＰＵ１７０がそのファームウェアを解釈・実行することにより行われる。このときデジタルカメラ１００では、ライブビュー表示動作が行われているものとする。また、ＡＦモードは、コンティニュアスＡＦモードに設定されているものとして説明するが、ワンショットＡＦモードに設定されていてもよい。なお、図１中に示される画素値推定部３０２、デフォーカス量導出部３０４、およびＡＦ制御部１１４が、先にも説明したように、本実施の形態においてはＣＰＵ１７０がファームウェアを実行することにより実現されるものとして以下の説明をする。
【００５４】
Ｓ７００においてＣＰＵ１７０は、ファーストレリーズスイッチがオンされたか否かを判定する。この判定が否定されると処理は７２０に進み、撮影モードの終了、すなわちユーザがデジタルカメラ１００の動作モードを再生モード等に切り替えるためのスイッチや電源スイッチなどが押されたか否かを判定する。Ｓ７２０での判定が否定されると再びＳ７００が実行されてユーザ操作を待ち受ける状態が続く。
【００５５】
Ｓ７００の判定が肯定されるとＣＰＵ１７０はＳ７０２において、撮像素子３５０中の焦点検出画素３６４、３６６から出力される焦点検出信号を入力する処理を行う。つまり、撮像部１２０から読み出され、アナログ・フロントエンド１２２で処理されてＲＡＭ１６４上に一時的に記憶されているデジタル画像信号中で、焦点検出画素３６４、３６６から出力された焦点検出信号を読み出す処理をＣＰＵ１７０は行う。
【００５６】
Ｓ７０４においてＣＰＵ１７０は、デフォーカス量を導出する処理を行う。すなわち、Ｓ７０２の処理で得られた焦点検出信号から第１および第２の焦点検出信号列を生成して処理し、デフォーカス量を導出する処理をＣＰＵ１７０は行う。この処理の内容は、先に図４、図５を参照して説明したとおりである。Ｓ７０２およびＳ７０４の処理が、デフォーカス量導出部３０４で行われる処理に相当する。
【００５７】
Ｓ７０６においてＣＰＵ１７０は、Ｓ７０４で導出されたデフォーカス量が減じられるようにするため、撮影光学系１１０内のフォーカシングレンズの駆動方向および駆動量を決定し、レンズ駆動部１１２に制御信号を出力する。Ｓ７０６の処理がＡＦ制御部１１４での処理に相当する。
【００５８】
Ｓ７０８においてＣＰＵ１７０は、合焦動作が完了したか否かを判定する。この判定が否定される間、Ｓ７００からＳ７０８までの処理が繰り返し行われる。Ｓ７０８での判定が肯定されると処理はＳ７１０に進む。
【００５９】
Ｓ７１０においてＣＰＵ１７０は、セカンドレリーズスイッチがオンされたか否かを判定し、この判定が否定されるとＳ７００に戻る一方、肯定されるとＳ７１２に進む。上述した処理により、合焦完了（Ｓ７０８：はい）後、ユーザがセカンドレリーズスイッチを押さずにいると（Ｓ７１０：いいえ）、デフォーカス量の導出および合焦動作が繰り返し行われる。
【００６０】
Ｓ７１２においてＣＰＵ１７０は、露光動作を行うための制御を行う。すなわち、ＣＰＵ１７０は、ライブビュー動作中に決定された露光量に基づき、撮影光学系１１０の絞りの設定値と、メカニカルシャッタまたは電子シャッタによる露光時間とを決定する。そして、決定された絞り設定値と露光時間とで露光が行われるように、レンズ駆動部１１２および撮像部１２０に制御信号を出力する。
【００６１】
Ｓ７１４においてＣＰＵ１７０は、Ｓ７１２で行われた露光動作の結果得られた画像信号を撮像部１２０から読み出して処理するように撮像部１２０およびアナログ・フロントエンド１２２に制御信号を出力する。その結果、アナログ・フロントエンド１２２から出力されたデジタル画像信号がＲＡＭ１６４に一時的に記憶される。
【００６２】
Ｓ７１６においてＣＰＵ１７０は、デフォーカス量導出および画素値推定の処理を行う。この処理は、撮像素子３５０のイメージエリア内において焦点検出画素３６４、３６６の存在する位置における画素値を推定する処理である。本明細書において、画素値を推定する対象の画素を推定対象画素と称する。ＣＰＵ１７０は、ＲＡＭ１６４に一時的に記憶されるデジタル画像信号中、推定対象画素の画素値を、画素値推定の処理で導出された画素値に置き換える。Ｓ７１６における処理の詳細については後で説明する。
【００６３】
Ｓ７１８においてＣＰＵ１７０は、Ｓ７１６の処理を経たデジタル画像信号を処理して画像データを生成するよう、画像処理部３００に制御信号を出力する。画像処理部３００は、デモザイク、階調変換、色バランス補正、シェーディング補正、ノイズ低減等のデジタル信号処理を施して画像データを生成し、必要に応じて圧縮処理等を施して画像記録媒体１３０に保存する。
【００６４】
Ｓ７２０においてＣＰＵ１７０は、ユーザが操作部１４０を操作して撮影モードを終了させる操作をしたか否かを判定する。この判定が肯定されると、図７に示される一連の処理を完了する。Ｓ７２０の判定が否定されると処理はＳ７００に戻り、引き続きユーザ操作を待ち受ける状態となる。
【００６５】
図８は、上述したＳ７１６での処理をより詳細に説明するフローチャートであり、Ｓ７１６でコールされるサブプログラムとして示されている。
【００６６】
Ｓ８００においてＣＰＵ１７０は、撮像素子３５０のイメージエリア中に複数存在する焦点検出画素３６４、３６６中、一つの画素を推定対象画素として選択する。Ｓ８０２においてＣＰＵ１７０は、Ｓ８００で選択された推定対象画素に対するデフォーカス量を導出する。デフォーカス量の導出方法については、図４、図５を参照して先に説明したとおりである。
【００６７】
ところで、デジタルカメラ１００のＡＦモードがコンティニュアスＡＦモードで作動しているものとして図７のフローチャートの説明をした。この場合、Ｓ７０４で導出されたデフォーカス量と、Ｓ７１２の露光動作で得られた画像のデフォーカス量とはほぼ一致しているものと考えることができる。しかし、ＡＦモードがシングルＡＦモードの場合、合焦動作が完了してから露光動作が行われるまでの間の時間は必ずしも短時間ではなく、また、構図が変化している場合もある。例えば、ユーザはフォーカスフレーム内にピントを合わせたい被写体を収め、ファーストレリーズスイッチをオンしてフォーカシング動作をデジタルカメラ１００に行わせる。そして、合焦が完了した後、所望の構図が得られるようにカメラの向きを微調整してセカンドレリーズスイッチをオンする。この場合、Ｓ７１２において露光動作をして得られた画像中のデフォーカス量と、Ｓ７０４の処理で得られたデフォーカス量とは大きく異なる可能性が高い。このような場合、Ｓ８０２では、Ｓ７１２での露光動作によって得られたデジタル画像信号を処理してデフォーカス量を導出しなおすことが望ましい。一方、デジタルカメラ１００がコンティニュアスＡＦモードで作動しているときには、露光動作の直前にＳ８０２で導出されたデフォーカス量を参照することも可能である。その訳は、上述のように、コンティニュアスＡＦモードでは露光動作直前まで合焦動作が行われているので、Ｓ７０２で導出されたデフォーカス量と、Ｓ７１２の露光動作によって得られたデジタル画像信号から導出されるデフォーカス量とは略同じとみなすことができるからである。
【００６８】
Ｓ８０４においてＣＰＵ１７０は、推定対象画素の存在する位置におけるデフォーカス量が、閾値よりも小さいか否かを判定する。Ｓ８０４の判定が肯定されると処理はＳ８０６に進む一方、否定されるとＳ８０８に進む。この閾値は、撮影光学系１１０の焦点距離、設定Ｆ値、撮像素子３５０の画素の配列ピッチ等を考慮して定められる値である。一例として以下の式（１）によって閾値Ｔｈを定めることができる。以下の式（１）において、ｆは撮影光学系１１０の焦点距離（撮影光学系１１０が変倍光学系である場合、撮影動作時に設定されていた焦点距離）、δは許容錯乱円径（直径）、Ｄは撮影光学系１１０の撮影動作時における射出瞳径（直径）、Ｆは撮影動作時に設定されていた撮影光学系１１０の絞り値である。式（１）を見て明らかなように、本例では片側焦点深度がデフォーカス量の閾値として設定されている。
Ｔｈ＝ｆ×δ／Ｄ＝δ×Ｆ … 式（１）
デフォーカス量の閾値は、デジタルカメラ１００の内部で自動的に設定されるものであってもよいし、ユーザが適宜設定変更することが可能に構成されていてもよい。なお、デフォーカス状態としては、いわゆる前ピン状態と後ピン状態とが存在するが、本明細書においてデフォーカス量はその絶対値をとって扱われるものとする。もちろん、デフォーカス状態が前ピン状態であるか後ピン状態であるかに応じて閾値を変化させることも可能である。
【００６９】
Ｓ８０６においてＣＰＵ１７０は、推定対象画素の存在する位置にある焦点検出画素３６４または３６６からの出力信号（焦点検出信号）を補正（ゲイン調整）し、推定対象画素の画素値を導出する。このとき、焦点検出画素３６４または３６６からの出力信号の値をＳAF、補正係数をα、導出する画素値をＳ１とすると、以下の式（２）から画素値Ｓ１を導出することが可能となる。
Ｓ１＝α×ＳAF … 式（２）
Ｓ８０４での判定が肯定される、ということは、推定対象画素の画素位置においては比較的鮮鋭な像が形成されている、ということである。これは、被写体上のある微小領域からの光が大きく拡がることなく推定対象画素に入射している、ということである。逆に云うと、被写体上の上記微小領域以外の領域からの光が推定対象画素に多くは入射しない、ということである。したがって、推定対象画素の画素位置にある焦点検出画素からの信号を用いて画素値を導出することにより、より正確な画素値を推定して得ることが可能となる。また、図２および図３を参照して先にも説明したように、焦点検出画素３６４、３６６には緑色のカラーフィルタ３７２が設けられている。つまり、緑色の分光帯域に感度を有している。加えて、ベイヤ配列される撮像画素中で、本来緑色の撮像画素が配置される位置に焦点検出画素３６４、３６６が配置されているため、遮光部３７４によって減光される分を式（２）によって補正（ゲイン調整）することにより推定対象画素の画素値を得ることが可能となる。
【００７０】
Ｓ８０４での判定が否定された場合の分岐先であるＳ８０８においてＣＰＵ１７０は、推定対象画素の近傍に位置する画素（本明細書においてはこれを近傍配設画素と称する）の画素値をもとに推定対象画素の画素値を導出する。Ｓ８０４での判定が否定される、ということは、当該の画素位置においてはぼけた像（錯乱円）が形成されている、ということである。これはすなわち、被写体上の微小領域からの光に加えて、当該微小領域以外の領域からの光も混ざり合って推定対象画素に入射している、ということである。その場合には、例えば図４において焦点検出画素３６４（ＡＦ１）の存在する位置が推定対象画素の画素位置であるとして、その近傍に焦点検出画素３６４を囲うように存在する四つの撮像画素３５２Ｇ（Ｇ５、Ｇ６、Ｇ９、Ｇ１０）の画素値をもとに推定する。このとき、四つの近傍配設画素それぞれの画素値をＳG1、ＳG2、ＳG3、ＳG4とし、導出する画素値をＳ２とすると、以下の式（３）から画素値Ｓ２を導出することが可能となる。
Ｓ２＝（ＳG1＋ＳG2＋ＳG3＋ＳG4）／４ … 式（３）
上述したように、焦点検出画素３６４、３６６には緑色のカラーフィルタ３７２が設けられて緑色の分光帯域の感度を有している。そして、ベイヤ配列される撮像画素中で、本来緑色の撮像画素が配置される位置に焦点検出画素３６４、３６６が配置されているため、上記のように推定対象画素の近傍に位置する四つの緑色の撮像画素の画素値の平均値から画素値Ｓ２を導出することが可能となる。
【００７１】
Ｓ８０６またはＳ８０８における推定対象画素の画素値を導出する処理により、一つの推定対象画素の画素値が導出される。Ｓ８１０では全ての推定対象画素の画素値を導出する処理が完了したか否かが判定される。Ｓ８１０での判定が否定される間、上述したＳ８００からＳ８０８までの処理が繰り返し行われる。Ｓ８１０での判定が肯定されると、イメージエリア内のすべての推定対象画素の画素値を導出する処理が完了し、リターンする。
【００７２】
以上の図８のフローチャートを参照しての説明では、推定対象画素の画素位置におけるデフォーカス量が閾値よりも小さいか否かによって推定対象画素の画素値の導出方法を変える例について説明した。これに関して、以下で図９を参照して説明する方法により推定対象画素の画素値を導出することも可能である。
【００７３】
図９は、図８のフローチャートを参照して説明した、Ｓ７１６での処理の別例を説明するフローチャートであり、Ｓ７１６でコールされるサブプログラムとして示されている。
【００７４】
Ｓ９００においてＣＰＵ１７０は、撮像素子３５０のイメージエリア中に複数存在する焦点検出画素３６４、３６６中、一つの画素を推定対象画素として選択する。Ｓ９０２においてＣＰＵ１７０は、Ｓ９００で選択された推定対象画素に対するデフォーカス量を導出する。以上のＳ９００、Ｓ９０２での処理は、図８のフローチャートに示されるＳ８００、Ｓ８０２での処理と同様である。
【００７５】
Ｓ９０４においてＣＰＵ１７０は、推定対象画素の存在する位置にある焦点検出画素３６４または３６６からの出力信号（焦点検出信号）ＳAFから、式（２）を用いて推定対象画素の画素値Ｓ１を導出する。
【００７６】
Ｓ９０６においてＣＰＵ１７０は、推定対象画素の近傍に位置する画素、すなわち近傍配設画素の画素値ＳG1、ＳG2、ＳG3、ＳG4から、式（３）を用いて推定対象画素の画素値Ｓ２を導出する。
【００７７】
Ｓ９０８においてＣＰＵ１７０は、推定対象画素の画素位置におけるデフォーカス量の大きさに応じた混合比で上記画素値Ｓ１およびＳ２を混合する処理を行い、推定対象画素の画素値を導出する。
【００７８】
図１０には、デフォーカス量に応じて混合比率を変化させる際の変化特性の二つの例が概念的に示されている。図１０に示されるグラフの横軸にはデフォーカス量が、縦軸には画素値Ｓ１の画素値Ｓ２に対する混合比率（Ｓ１：Ｓ２）が、それぞれ取られている。二つの混合比立変化特性の例のうち、一方の特性は符号Ｃ１を付した実線で示され、他方の特性は符号Ｃ２を付した破線で示されている。以下では単に特性Ｃ１、特性Ｃ２と称する。ところで、先にも説明したように、デフォーカス状態としてはいわゆる前ピン状態と後ピン状態とが存在するが、図１０に示されるグラフの横軸は、デフォーカス量の絶対値がとられて示されているものとする。無論、デフォーカス状態が前ピン状態であるか後ピン状態であるかに応じて異なる特性が付与されてもよい。
【００７９】
特性Ｃ１は、デフォーカス量が片側焦点深度に達するまではＳ１：Ｓ２＝１：０となっている。そしてデフォーカス量が片側焦点深度を超して所定の値Ｄ１に近づくにつれて混合比率は画素値Ｓ２に重きが置かれるようになり、Ｓ１：Ｓ２＝０：１に近づく。そして、デフォーカス量が所定の値Ｄ１を越すとＳ１：Ｓ２＝０：１に固定される。特性Ｃ１の変曲点、傾き等についてはユーザが変更することが可能に構成されていてもよい。また、デフォーカス量と上記混合比率との関係は直線的であっても非直線的であってもよい。
【００８０】
特性Ｃ１は、デフォーカス量が片側焦点深度を超して所定の値Ｄ１に近づくまでの間、画素値Ｓ１の画素値Ｓ２に対する混合比率（Ｓ１：Ｓ２）が徐々に変化するものであったが、特性Ｃ２では段階的に混合比率が変化する。特性Ｃ２の屈曲点等についても、ユーザが変更することが可能に構成されていてもよい。
【００８１】
特性Ｃ１、Ｃ２に関しては、デフォーカス量に対応する混合比率をＣＰＵ１７０が導き出すためのルックアップテーブルとして実現されていてもよいし、入力変数に対して所定の演算処理を施して出力値を得るプログラムによって実現されていてもよい。
【００８２】
再び図９のフローチャートを参照して説明する。上述した推定対象画素の画素値を導出する処理がＳ９０８で行われた後、Ｓ９１０では全ての推定対象画素の画素値を導出する処理が完了したか否かの判定が行われる。Ｓ９１０での判定が否定される間、上述したＳ９００からＳ９０８までの処理が繰り返し行われる。Ｓ９１０での判定が肯定されると、イメージエリア内のすべての推定対象画素の画素値を導出する処理が完了し、リターンする。
【００８３】
以上の実施の形態で説明した画素推定処理を行うことにより、次のような効果を得ることが可能となる。すなわち、推定対象画素のデフォーカス量が小さい（合焦状態に近い）場合、撮像画素から得られる信号と焦点検出画素から得られる信号との相似性が高いので、遮光部３７４による光量低下の影響を補正することで推定対象画素の画素値を導出することが可能となる。一方、推定対象画素のデフォーカス量が大きい（ピントが大きく外れている）と、撮像画素から得られる信号と焦点検出画素から得られる信号との相似性は低くなる。このときには推定対象画素の近傍に配設されている撮像画素である近傍配設画素の画素値から画素値を推定する。デフォーカス量の大きい領域では像がぼけているので焦点検出画素の近傍には細い線状の像や急峻なエッジ等は存在しない。したがって、近傍配設画素の画素値から推定対象画素の画素値を推定しても、画像の破綻等を生じにくい。このように、推定対象画素の位置に配設された焦点検出画素からの信号と、推定対象画素の周囲の近傍配設画素からの信号とのうち、当該の画素位置におけるデフォーカス量の値に応じて少なくともいずれかの信号を用いて画素値の推定を行うことにより、いわゆるアーティファクトの目立たない、自然な画像を得ることが可能となる。
【００８４】
以上に説明した画素値推定部３０２およびデフォーカス量導出部３０４を含む画像処理装置は、デジタルスチルカメラ、デジタルムービーカメラ、カメラ付きの携帯電話や携帯型の情報処理装置に内蔵可能である。また、図６を参照して説明したように、コンピュータ上で画像処理プログラムが実行されて画素値推定部３０２およびデフォーカス量導出部３０４を含む画像処理装置が実現されてもよい。
【００８５】
以上では撮像素子３５０が単板式であるものとして説明をしたが、多板式であってもよい。
【符号の説明】
【００８６】
１００ … デジタルカメラ
１１０ … 撮影光学系
１１２ … レンズ駆動部
１１４ … ＡＦ制御部
１２０ … 撮像部
１２２ … アナログ・フロントエンド
１５０、６８０ … 表示部
１６０ … 記憶部
１７０ … ＣＰＵ
１９０ … ＤＳＰ（ディジタル・シグナル・プロセッサ）
６００ … コンピュータ
６１０ … ＣＰＵ
６２０ … メモリ
６３０ … 補助記憶装置
６５０ … メモリカードインターフェース
６６０ … 光ディスクドライブ
６７０ … ネットワークインターフェース
３００ … 画像処理部
３０２ … 画素値推定処理部
３０４ … デフォーカス量導出部
３５０ … 撮像素子
３５２、３５２Ｂ、３５２Ｇ、３５２Ｒ … 撮像画素
３６０ … 焦点検出画素列
３６４、３６６ … 焦点検出画素
３７０ … マイクロレンズ
３７２ … カラーフィルタ
３７４ … 遮光部
３７８ … フォトダイオード
【技術分野】
【０００１】
本発明は、イメージエリアに二次元配列された撮像画素を備えるカラー撮像素子であって、その撮像画素の配列内に焦点検出用の焦点検出画素が配置された、位相差センサ内蔵式の撮像素子から得られる画像信号を処理して画像データを生成する技術に関する。
【背景技術】
【０００２】
多くのデジタルスチルカメラ、デジタルムービーカメラ等の撮像装置には、自動焦点調節装置が備えられる。自動焦点調節を行う方式としてコントラストＡＦや位相差ＡＦが知られている。位相差ＡＦが可能な撮像装置では、撮像素子の受光面と共役な位置に位相差検出用のオートフォーカスモジュールが配置される。オートフォーカスモジュール内には、コンデンサレンズ、複数対のセパレータレンズ、ミラー、複数対のセパレータレンズに対応して設けられた複数対のラインセンサ等が配置される。そして、撮影レンズの異なる瞳位置を透過した被写体光がミラーによって反射され、オートフォーカスモジュールのセンサ内に導かれる。複数対のセパレータレンズにより、複数対のラインセンサ上のそれぞれに像が形成される。一対のラインセンサから出力される信号の相関をとることにより、一対のラインセンサ上での像のずれ量、すなわち位相差を求めることができる。
【０００３】
上記位相差に基づいて撮影レンズのデフォーカス量が導出され、そのデフォーカス量が減じられるように撮影レンズ内のフォーカシングレンズが駆動される。位相差ＡＦの方式によれば、撮影レンズの焦点調節動作を行う前にデフォーカス量を導出することができるので、比較的高速に合焦動作を行うことが可能な反面、オートフォーカスモジュールを配設するためのスペースが撮像装置内に必要となるので撮像装置を小型化することが困難となる。また、オートフォーカスモジュールは構成が複雑で、調整にも工数を要するため、製造コストを増す要因となっている。
【０００４】
位相差ＡＦの上述した問題点を解決するため、撮像画素が二次元配列された撮像素子内に位相差を検出可能な画素（焦点検出画素）を配置したものを用いて、上述したオートフォーカスモジュールを用いることなく位相差ＡＦを可能とする技術が提案されている。以下では、撮像画素の配列中に焦点検出画素が配置された撮像素子を本明細書中では位相差センサ内蔵式の撮像素子と称する。
【０００５】
特許文献１には、位相差センサ内蔵式の撮像素子を用いた撮像装置において、焦点検出用画素対の周辺にある、焦点検出用画素対以外の画素から出力された信号に基づいて、被写体が所定パターンに該当するかどうかを判定し、この判定結果に基づいてフォーカス制御を変える技術が開示される。
【０００６】
ところで、位相差センサ内蔵式の撮像素子から読み出した画像信号を単純に処理して画像データを生成した場合、撮像画素の配列内に焦点検出画素が配列されるため、焦点検出画素の配列される部分の画像情報が欠損する。したがって、位相差センサ内蔵式の撮像素子から得られる画像信号から生成される画像には、偽パターン等を生じる場合がある。この偽パターン等の生成を抑制するものとして、技術特許文献２には、焦点検出画素の周囲に配置される撮像画素の出力に基づいて焦点検出画素の位置における画像の出力構成を演算し、出力構成と焦点検出画素の出力とに基づいて焦点検出画素の位置における画像の出力を推定する技術が開示される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−２１７２５２号公報
【特許文献２】特開２００７−２８２１０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１には、位相差センサ内蔵撮像素子から得られる画像信号を処理して画像データを生成する際に、偽パターン等の生成を抑制することに関しては一切触れられていない。特許文献２には、上述したように焦点検出画素の位置における画像の出力を推定する技術が開示される。
【０００９】
しかし、特許文献２に開示される技術では、焦点検出画素の周辺に位置する撮像画素の出力を単純平均するか、焦点検出画素からの出力と焦点検出画素の周辺に位置する撮像画素の出力とを単純平均するかして、焦点検出画素の位置における画像の出力を求めている。したがって、焦点検出画素の存在する位置にエッジパターンや細線パターンが重畳するような場合には、偽色や偽パターンが発生したり、パターンが消失したりすることがある。何故ならば、上述した単純平均によって生成された画素値は、焦点検出画素が存在する位置に撮像画素が仮に存在していた場合に得られるであろう画素値とは、焦点検出画素の存在する位置にエッジパターンや細線パターンが重畳するような場合に、大きくかけ離れる場合があるからである。
【００１０】
この点、特許文献２には、焦点検出画像のコントラストパターンや、焦点検出画素の周辺に位置する撮像画素から得られる色情報から、焦点検出画素の存在する位置における画素値を推定する技術が開示される。しかし、コントラストパターンは被写体によって様々であるため、常に安定した画素値の推定を行うことは難しい。
【００１１】
本発明は、上記の課題に鑑みてなされたものであり、焦点検出画素の存在する位置における画素値をより正確に推定可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明のある態様によれば、イメージエリア内に二次元配列された複数の撮像画素と、前記複数の撮像画素の配列内に配置されて、撮影光学系の異なる瞳位置からの被写体光を受光可能に構成される複数組の焦点検出画素のペアとを備え、前記撮像画素で生成される画像信号と、前記焦点検出画素のペアで生成される焦点検出信号とを出力可能に構成される位相差センサ内蔵式の撮像素子から出力される前記画像信号および前記焦点検出信号を処理して前記焦点検出画素の配列される位置に対応する画素値を推定して生成する画像処理装置が、
前記焦点検出画素のペアのそれぞれから出力される前記焦点検出信号をもとに生成される第１および第２の焦点検出信号列の相関を求めて位相差を検出し、検出された位相差に基づいて前記撮影光学系のデフォーカス量を導出するデフォーカス量導出部と、
前記イメージエリア内における、前記焦点検出画素の配列される位置に対応する画素値を推定処理して推定画素値を生成する画素値推定部であって、当該位置の焦点検出画素から出力される焦点検出信号と、当該位置の焦点検出画素の近傍に配設される撮像画素である近傍配設画素からの信号とのうち、前記デフォーカス量導出部によって導出される前記デフォーカス量の値に応じて、少なくともいずれかの信号の値を用いて前記推定画素値を生成する画素値推定部と
を備える。
【００１３】
本発明のある態様によれば、撮像装置が、
イメージエリア内に二次元配列された複数の撮像画素と、前記複数の撮像画素の配列内に配置されて、撮影光学系の異なる瞳位置からの被写体光を受光可能に構成される複数組の焦点検出画素のペアとを備え、前記撮像画素で生成される画像信号と、前記焦点検出画素のペアで生成される焦点検出信号とを出力可能に構成される位相差センサ内蔵式の撮像素子と、
前記焦点検出画素のペアのそれぞれから出力される前記焦点検出信号をもとに生成される第１および第２の焦点検出信号列の相関を求めて位相差を検出し、検出された位相差に基づいて前記撮影光学系のデフォーカス量を導出するデフォーカス量導出部と、
前記イメージエリア内における、前記焦点検出画素の配列される位置に対応する画素値を推定処理して推定画素値を生成する画素値推定部であって、当該位置の焦点検出画素から出力される焦点検出信号と、当該位置の焦点検出画素の近傍に配設される撮像画素である近傍配設画素からの信号とのうち、前記デフォーカス量導出部によって導出される前記デフォーカス量の値に応じて、少なくともいずれかの信号の値を用いて前記推定画素値を生成する画素値推定部と
を備える。
【００１４】
本発明のある態様によれば、イメージエリア内に二次元配列された複数の撮像画素と、前記複数の撮像画素の配列内に配置されて、撮影光学系の異なる瞳位置からの被写体光を受光可能に構成される複数組の焦点検出画素のペアとを備え、前記撮像画素で生成される画像信号と、前記焦点検出画素のペアで生成される焦点検出信号とを出力可能に構成される位相差センサ内蔵式の撮像素子から出力される前記画像信号および前記焦点検出信号を処理して前記焦点検出画素の配列される位置に対応する画素値を推定して生成する画像処理方法が、
前記焦点検出画素のペアのそれぞれから出力される前記焦点検出信号をもとに生成される第１および第２の焦点検出信号列の相関を求めて位相差を検出し、検出された位相差に基づいて前記撮影光学系のデフォーカス量を導出する、デフォーカス量導出処理を行うことと、
前記イメージエリア内における、前記焦点検出画素の配列される位置に対応する画素値を推定処理して推定画素値を生成する画素値推定処理であって、当該位置の焦点検出画素から出力される焦点検出信号と、当該位置の焦点検出画素の近傍に配設される撮像画素である近傍配設画素からの信号とのうち、前記デフォーカス量導出処理を行うことにより導出される前記デフォーカス量の値に応じて、少なくともいずれかの信号の値を用いて前記推定画素値を生成する画素値推定処理を行うことと
を備える。
【発明の効果】
【００１５】
本発明によれば、位相差センサ内蔵式の撮像素子から出力される画像信号中、焦点検出画素の配置される部分の画素値をより正確に推定することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】デジタルカメラの概略的構成を説明するブロック図である。
【図２】撮像素子のイメージエリア上における画素の配列を概念的に説明する図であり、（ａ）はイメージエリアの一部を拡大して示す図であり、（ｂ）は（ａ）に示される図の一部をさらに拡大して示す図である。
【図３】撮像画素および焦点検出画素の概略的構成を説明する図であり、（ａ）は撮像画素の構成を示す図であり、（ｂ）および（ｃ）は焦点検出画素の構成を、それぞれ示す図である。
【図４】撮像素子のイメージエリア上における画素の配列を概念的に説明する図である。
【図５】一連の焦点検出画素から読み出される第１および第２の焦点検出信号列を処理してデフォーカス量の検出が行われる様子を概念的に示す図である。
【図６】画像処理装置がコンピュータ上で実行されるプログラムにより実現される場合の構成を説明する図である。
【図７】デジタルカメラが撮影モードに切り替えられたときにデジタルカメラ内で実行される処理手順を説明するフローチャートである。
【図８】デジタルカメラ内で実行されるデフォーカス量導出および画素値推定の処理手順の一例を説明するフローチャートである。
【図９】デジタルカメラ内で実行されるデフォーカス量導出および画素値推定の処理手順のもう一つの例を説明するフローチャートである。
【図１０】図９のフローチャートに示される処理中で行われる画素値の混合処理を概念的に説明する図である。
【発明を実施するための形態】
【００１７】
図１は、デジタルカメラ１００の概略的構成を説明するブロック図である。デジタルカメラ１００は、スチルカメラであってもムービーカメラであってもよい。あるいは、携帯電話等に組み込まれるカメラであってもよい。デジタルカメラ１００がスチルカメラまたはムービーカメラであるとき、撮影レンズが固定式のものであっても、交換可能に構成されていてもよい。
【００１８】
デジタルカメラ１００は、撮影光学系１１０と、レンズ駆動部１１２と、撮像部１２０と、アナログ・フロントエンド（図１中では「ＡＦＥ」と表記される）１２２と、画像記録媒体１３０と、操作部１４０と、表示部１５０と、記憶部１６０と、ＣＰＵ１７０と、ＤＳＰ（ディジタル・シグナル・プロセッサ）１９０と、システムバス１８０とを備える。記憶部１６０は、ＲＯＭ１６２とＲＡＭ１６４とを備える。デジタルカメラ１００はさらに、画素値推定部３０２と、デフォーカス量導出部３０４と、ＡＦ制御部１１４とを備える。画素値推定部３０２およびデフォーカス量導出部３０４は、ＤＳＰ１９０に備えられるものであってもよいが、本実施の形態においてはＣＰＵ１７０がプログラムを実行することにより実現されるものとする。ＡＦ制御部１１４もまた、ＣＰＵ１７０がプログラムを実行することにより実現されるものとする。上記の画素値推定部３０２およびデフォーカス量導出部３０４を含んで画像処理装置が構成される。
【００１９】
レンズ駆動部１１２、撮像部１２０、アナログ・フロントエンド１２２、画像記録媒体１３０、操作部１４０、表示部１５０、記憶部１６０、ＣＰＵ１７０、ＤＳＰ１９０は、システムバス１８０を介して電気的に接続される。ＲＡＭ１６４は、ＣＰＵ１７０およびＤＳＰ１９０の双方からアクセス可能に構成される。
【００２０】
撮影光学系１１０は、被写体像を撮像部１２０のイメージエリア上に形成する。撮像部１２０は、シャッタと撮像素子とを含んで構成され、撮影光学系１１０を透過した被写体光は、シャッタが開いている間、撮像素子に入射する。撮像素子のイメージエリア上に形成される被写体像が光電変換され、アナログ画像信号が生成される。なお、撮像素子が電気的に露光時間（光電変換時間）の制御を行うことが可能な、電子シャッタの機能を有する場合、シャッタは必ずしも備えられていなくてもよい。アナログ画像信号はアナログ・フロントエンド１２２に入力される。アナログ・フロントエンド１２２は、撮像部１２０から入力した画像信号にノイズ低減、増幅、Ａ／Ｄ変換等の処理をしてデジタル画像信号を生成する。このデジタル画像信号は、ＲＡＭ１６４に一時的に記憶される。
【００２１】
ＤＳＰ１９０は画像処理部３００を備える。この画像処理部３００は、ＲＡＭ１６４に一時的に記憶されたデジタル画像信号に対してデモザイク、階調変換、色バランス補正、シェーディング補正、ノイズ低減等のさまざまなデジタル信号処理を施し、記録用画像データ、表示用画像データ等を生成する。記録用画像データは、画像記録媒体１３０に記録される。表示用画像データは表示部１５０に出力される。画素値推定部３０２およびデフォーカス量導出部３０４がＤＳＰ１９０内に備えられる場合、画像処理部３００が画素値推定部３０２およびデフォーカス量導出３０４を含んでいても良い。
【００２２】
画像記録媒体１３０は、フラッシュメモリや磁気記録装置等で構成され、デジタルカメラ１００に対して着脱可能に装着される。あるいは、画像記録媒体１３０がデジタルカメラ１００に内蔵されていてもよい。その場合、ＲＯＭ１６２内に画像データ記録のための領域が確保されて、それを画像記録媒体１３０とすることが可能である。
【００２３】
操作部１４０は、プッシュスイッチ、スライドスイッチ、ダイヤルスイッチ、タッチパネル等のうちいずれか一種類または複数種類を備え、ユーザの操作を受け付け可能に構成される。操作部１４０にはレリーズスイッチが含まれる。このレリーズスイッチは、ユーザがレリーズ操作部材を押し下げる際のストロークに応じて動作するファーストレリーズスイッチとセカンドレリーズスイッチとを備える。
【００２４】
表示部１５０は、ＴＦＴ液晶表示パネルとバックライト装置、あるいは有機ＥＬ表示素子等の自発光式表示素子を備え、画像や文字等の情報を表示可能に構成される。なお、表示部１５０は表示インターフェースを備えていて、ＲＡＭ１６４上に設けられるＶＲＡＭ領域内に書き込まれる画像データを表示インターフェースが読み出して画像や文字等の情報が表示部１５０に表示されるものとする。
【００２５】
ＲＯＭ１６２は、フラッシュメモリ等で構成され、ＣＰＵ１７０により実行される制御プログラム（ファームウェア）や、調整パラメータ、あるいはデジタルカメラ１００の電源が入っていない状態でも保持する必要のある情報等が記憶される。ＲＡＭ１６４は、ＳＤＲＡＭ等で構成され、比較的高速のアクセス速度を有する。ＣＰＵ１７０は、ＲＯＭ１６２からＲＡＭ１６４に転送されたファームウェアを解釈・実行してデジタルカメラ１００の動作を統括的に制御する。
【００２６】
ところで、撮像部１２０に含まれる撮像素子は、位相差センサ内蔵式の撮像素子である。すなわち、撮像素子のイメージエリアには、撮像画素が二次元配列されていて、そのイメージエリア中の適宜の位置における撮像素子が置き換えられるようにして複数の焦点検出画素のペアが配列される撮像素子である。デフォーカス量導出部３０４は、これら複数の焦点検出画素のペアから出力される一組の信号列（本明細書ではこの一組の信号列を第１および第２の焦点検出信号列と称する）の相関を求めて位相差を検出し、検出された位相差に基づいて撮影光学系１１０のデフォーカス量を導出する。デフォーカス量導出部３０４は、導出したデフォーカス量に関する情報を、ＡＦ制御部１１４および画素値推定部３０２に出力する。
【００２７】
画素値推定部３０２は、撮像素子のイメージエリア内における、焦点検出画素の配列される位置に対応する画素値を推定して推定画素値を生成する。そして、アナログ・フロントエンド１２２から出力されたデジタル画像信号中、焦点検出画素から読み出された画素値を上記の推定画素値で置き換える処理を行う。推定画素値を生成する際、画素値推定部３０２は、デフォーカス量導出部３０４から受け取ったデフォーカス量の値に応じて、画素値推定処理の方法を変える。この画素値推定部３０２における画素値推定処理の詳細については後でフローチャートを参照して説明する。
【００２８】
ＡＦ制御部１１４は、デフォーカス量導出部３０４から受け取ったデフォーカス量の値に基づいて撮影光学系１１０内の焦点調節レンズの駆動方向と駆動量とを決定し、レンズ駆動部１１２に焦点調節制御信号を出力する。レンズ駆動部１１２は、ＡＦ制御部１１４から受け取った焦点調節制御信号に基づき、撮影光学系１１０の焦点調節動作を行う。撮影光学系１１０が可変焦点距離光学系である場合には、撮影光学系１１０がレンズ駆動部１１２によって駆動されて焦点距離を変更することが可能に構成されていてもよい。
【００２９】
図２（ａ）は、撮像素子３５０のイメージエリア内に二次元配列される撮像画素３５２Ｇ、３５２Ｂ、３５２Ｒと、この撮像画素３５２Ｇ、３５２Ｂ、３５２Ｒの配列内に焦点検出画素３６４、３６６が配置される様子を概念的に示す図である。図２（ｂ）は、図２（ａ）中の一部の画素を拡大して示す図である。図２（ａ）、図２（ｂ）はいずれも、被写体の側から撮像素子３５０を見た様子が描かれている。撮像画素３５２Ｇ、３５２Ｂ、３５２Ｒはそれぞれ、緑色、青色、赤色の分光波長帯域の感度を有する。これらの撮像画素３５２Ｇ、３５２Ｂ、３５２Ｒは、縦に２画素、横に２画素の４画素を配列単位として、その配列単位内の対角位置（図２の例では左上および右下）に撮像画素３５２Ｇが二つ配列され、残る二カ所に撮像画素３５２Ｂおよび３５２Ｒが配列された、ベイヤ型の配列となっている。図２（ａ）においては、これらの撮像画素３５２Ｇ、３５２Ｂ、３５２Ｒのうち、それぞれ一つずつにのみ符号が付されている。同様に、焦点検出画素３６４、３６６についても一つずつにのみ符号が付されている。以下では、必要に応じて撮像画素３５２Ｇを緑色の撮像画素、撮像画素３５２Ｂを青色の撮像画素、撮像画素３５２Ｒを赤色の撮像画素と称する。また、焦点検出画素３６４、３６６の組み合わせを焦点検出画素のペア３６４、３６６と称する。
【００３０】
本実施の形態において、焦点検出画素のペア３６４、３６６は、本来であれば緑色の撮像画素が配置される位置に配置されている。図２に示される例では、二次元配列された撮像画素中、本来であれば緑色の撮像画素、赤色の撮像画素が交互に配置される行内において、緑色の撮像画素が配置される位置に焦点検出画素３６４、３６６が交互に配列される。つまり、撮像画素３５２Ｒ、焦点検出画素３６４、撮像画素３５２Ｒ、焦点検出画素３６６、撮像画素３５２Ｒ、…という順で配列される。この行内における焦点検出画素３６４、３６６の配列によって焦点検出画素列３６０が形成される。焦点検出画素３６４、３６６も、撮像画素３５２Ｇと同様の分光感度特性を有する。
【００３１】
図２（ｂ）を参照して焦点検出画素３６４、３６６の近傍に配設される撮像画素について説明する。焦点検出画素３６４の配設位置を中心として、その対角位置（４カ所）には緑色の撮像画素３５２Ｇが配設される。そして焦点検出画素３６４の配設位置に対して上下の位置には青色の撮像画素３５２Ｂが、左右の位置には赤色の撮像画素３５２Ｒが配設される。焦点検出画素３６６についても同様であり、焦点検出画素３６６の配設位置を中心として、その対角位置（４カ所）には緑色の撮像画素３５２Ｇが配設される。そして焦点検出画素３６６の配設位置に対して上下の位置には青色の撮像画素３５２Ｂが、左右の位置には赤色の撮像画素３５２Ｒが配設される。
【００３２】
本実施の形態においては、焦点検出画素列３６０中、焦点検出画素３６４から出力される焦点検出信号列、つまり、図２（ａ）の例で左から２番目、６番目、１０番目、…の画素位置にある焦点検出画素３６４から出力される信号列を第１の焦点検出信号列と称する。同様に、左から４番目、８番目、１２番目、…の画素位置にある焦点検出画素３６６から出力される信号列を第２の焦点検出信号列と称する。これら第１、第２の焦点検出信号列の相関をとり、検出された位相差に基づいてデフォーカス量が導出される。
【００３３】
図３は、撮像画素３５２Ｇ、３５２Ｂ、３５２Ｒおよび焦点検出画素３６４、３６６の概略的構成を説明する図であり、撮像素子３５０のイメージエリアに配列される各画素上に形成されるマイクロレンズの光軸を含む面で断面をとった様子が示されている。なお、図３に示される断面は、デジタルカメラ１００内において撮像素子３５０が被写体と正対するような姿勢で配設されていて、デジタルカメラ１００が横位置の姿勢となっている状態で水平断面をとり、それを上側から見たものとして描かれている。つまり、図３における左右は、デジタルカメラ１００の背面側から見たときの左右に一致する。図３（ａ）には、撮像画素３５２Ｇ、３５２Ｂ、３５２Ｒの構成を、図３（ｂ）には焦点検出画素３６４の構成を、そして図３（ｃ）には焦点検出画素３６６の構成を示す。以下では撮像画素３５２Ｇ、３５２Ｂ、３５２Ｒを区別して説明する必要のない場合、単に撮像画素３５２と称する。
【００３４】
図３（ａ）を参照して撮像画素３５２の構成を説明する。フォトダイオード３７８の上方にはトランジスタや配線の層（不図示）に加えてカラーフィルタ３７２の層が形成され、それらの層の間は透明材料で構成される層間絶縁膜３７６の層が形成される。そして、一番上の層にマイクロレンズ３７０が形成される。本実施の形態において、マイクロレンズ３７０および層間絶縁膜３７６を形成する透明材料は、略同一の光学的特性（屈折率、アッベ数、分光透過率等）を有するものとする。撮像画素３５２は、撮影光学系１１０の設定Ｆ値によらず、その射出瞳からの被写体光を、マイクロレンズ３７０によって効率よくフォトダイオード３７８に導くように構成されている。カラーフィルタ３７２は、撮像画素３５２Ｇ、３５２Ｂ、３５２Ｒに求められる分光感度特性に対応して分光透過特性が設定されている。なお、本実施の形態において撮像素子３５０はＢ（青）、Ｇ（緑）、Ｒ（赤）の分光感度を有する撮像画素が配列されたものとして説明するが、その分光感度の組み合わせや色数、配列に関しては用途に応じて様々に変更可能である。
【００３５】
図３（ｂ）を参照して焦点検出画素３６４の構成を説明する。図３（ａ）に示される撮像画素３５２との違いは、フォトダイオード３７８の上方に遮光部３７４が設けられている点である。また、カラーフィルタ３７２は、焦点検出画素３６４の分光透過特性が緑色の撮像画素３５２Ｇの分光感度特性と略同一となるようにその分光透過率が定められる。図３（ｂ）において、遮光部３７４は、フォトダイオード３７８の左側の領域に光が入射しないように上下方向の配設位置と横方向の寸法とが定められている。遮光部３７４は、図３（ｂ）においてはフォトダイオード３７８から離れた位置に設けられるものとして描かれているが、フォトダイオード３７８と略隣接する位置に設けられていてもよい。このように構成される焦点検出画素３６４において、フォトダイオード３７８には、撮影光学系１１０の軸外の瞳位置からの被写体光が入射する。この瞳位置は、フォトダイオード３７８上で遮光部３７４により遮光されずに被写体光が入射する領域を、マイクロレンズ３７０を通して撮影光学系１１０の射出瞳位置に逆投影した位置となる。つまり、デジタルカメラ１００の背面側より見て、左側に位置する瞳位置からの被写体光が焦点検出画素３６４のフォトダイオード３７８に入射する。
【００３６】
図３（ｃ）に示される焦点検出画素３６６も、図３（ｂ）に示される焦点検出画素３６４と同様に、遮光部３７４が設けられる点が撮像画素３５２と異なる。また、カラーフィルタ３７２は、焦点検出画素３６４の分光透過特性が緑色の撮像画素３５２Ｇの分光感度特性と略同一となるようにその分光透過率が定められる。焦点検出画素３６４との違いは、遮光部３７４によってフォトダイオード３７８が遮光される位置の違いにある。そして、デジタルカメラ１００の背面側より見て、右側に位置する瞳位置からの被写体光が焦点検出画素３６６のフォトダイオード３７８に入射する。
【００３７】
以上に説明した構成が焦点検出画素３６４、３６６に備えられることにより、撮影光学系１１０の異なる瞳位置からの被写体光が焦点検出画素のペア３６４、３６６に入射する。従って、焦点検出画素列３６０から読み出される第１、第２の焦点検出信号列の位相差から撮影光学系１１０のデフォーカス量を導出することが可能となる。
【００３８】
図２においては、一つの列上に焦点検出画素３６４、３６６が交互に配列される例について示したが、二つの列上の一方の列に焦点検出画素３６４が、他方の列に焦点検出画素３６６が、それぞれ配列されていてもよい。この場合、二つの列は、互いにできるだけ近い位置にあることが、被写体上の略同一の位置から出射される光がこれらの焦点検出画素３６４、３６６に導かれるようにする上で望ましい。また、以上では二次元配列される画素の列に沿うように焦点検出画素３６４、３６６が配列される例について説明したが、行に沿うように焦点検出画素３６４、３６６が配列されていてもよい。その場合、図２中において焦点検出画素３６４内のフォトダイオードの上側、または下側を覆うように遮光部３７４を構成する必要がある。また、撮像素子３５０のイメージエリア内の複数の位置において、列方向および行方向に沿うように焦点検出画素列３６０を設けることにより、画面内の様々な位置におけるデフォーカス量の導出および焦点調節を行うことが可能となる。
【００３９】
図４は、撮像素子３５０のイメージエリア内に二次元配列される撮像画素３５２Ｇ、３５２Ｂ、３５２Ｒおよび焦点検出画素３６４、３６６が配置される様子を概念的に示す図であり、イメージエリアの一部が描かれている。図４においては個別の画素を区別するために、緑色の撮像画素３５２ＧにはＧ１、Ｇ２、…の符号が付されている。同様に、青色の撮像画素３５２ＢにはＢ１、Ｂ２、…の符号が、赤色の撮像画素３５２ＲにはＲ１、Ｒ２、…の符号が付されている。また、焦点検出画素３６４にはＡＦ１、ＡＦ３という奇数系列の数字を伴う符号が付されており、焦点検出画素３６６にはＡＦ２、ＡＦ４という偶数系列の数字を伴う符号が付されている。
【００４０】
図５は、焦点検出画素３６４、すなわち図４におけるＡＦ１、ＡＦ３、…の画素から読み出される第１の焦点検出信号列のパターンと、焦点検出画素３６６、すなわち図４におけるＡＦ２、ＡＦ４、…の画素から読み出される第２の焦点検出信号列のパターンの例を示す図である。図５中、Ｒ１、Ｒ２、…、あるいはＬ１、Ｌ２、…の符号が付された矩形の配列が示されている。このうち、Ｌ１、Ｌ２、…は、撮像素子３５０の後方から見て光軸よりも左側に位置する瞳位置からの被写体光を受光する焦点検出画素３６４（ＡＦ１、ＡＦ３、…）を仮想的に再配列した様子を示している。同様に、Ｒ１、Ｒ２、…は、撮影光学系１１０の光軸を含む水平面上において、撮像素子３５０の後方から見て光軸よりも右側に位置する瞳位置からの被写体光を受光する焦点検出画素３６６（ＡＦ２、ＡＦ４、…）を仮想的に再配列した様子を示している。つまり、上記左側に位置する瞳位置からの被写体光を受光する画素Ｌ１、Ｌ２、…からなる左側瞳用ラインセンサ（これを仮にラインセンサ３６０Ｌと称する）から得られる第１の焦点検出信号列と、上記右側に位置する瞳位置からの被写体光を受光する画素Ｒ１、Ｒ２、…からなる右側瞳用ラインセンサ（これを仮にラインセンサ３６０Ｒと称する）から得られる第２の焦点検出信号列とが図５に概念的に示されている。両ラインセンサ３６０Ｌ、３６０Ｒにおける１画素分のピッチに相当する長さを本明細書では１ＥＬという単位で表す。図４にも示されるように、撮像素子３５０の４画素分のピッチが１ＥＬに相当する。
【００４１】
図５を参照して説明すると、ラインセンサ３６０Ｌから得られる第１の焦点検出信号列と、ラインセンサ３６０Ｒから得られる第２の焦点検出信号列とは、デフォーカス量導出部３０４において、以下のようにして相関をとる処理が行われる。先ず、所定の画素数（図５では５画素の例が示される）のウインドウが定められ、第１の焦点検出信号列中、ウインドウ内の画素値（図５の例ではＬ６〜Ｌ１０）が基準の信号パターンと定められる。この基準の信号パターンと一致する信号パターンを第２の焦点検出信号列中から探索する。図５の例では画素Ｒ８〜Ｒ１２の信号パターンが該当するパターンであると判定され、像ずれの量（位相差）は２ＥＬと導出され、この像ずれ量２ＥＬに対応してデフォーカス量が導出される。なお、図４、図５を見て明かであるように、ラインセンサ３６０Ｌ、３６０Ｒの撮像素子３５０内における仮想的な配設位置は２画素分ずれている。そのため、図５の処理においてはこの２画素分のずれを考慮する必要がある。ここでは理解を容易にするため、この２画素分のずれを無視して説明する。
【００４２】
以降、第１の焦点検出信号列中でウインドウが５画素分右に移動され、Ｌ１１〜Ｌ１５の画素値が基準の信号パターンとされて、この信号パターンと一致する信号パターンが第２の焦点検出信号列中から探索される。ところで、ラインセンサ３６０Ｌ、３６０Ｒは所定の長さを有している。したがって、ラインセンサ３６０Ｌ、３６０Ｒ上には、様々な撮影距離に位置する被写体の像が形成される可能性がある。例えば、比較的近距離に位置する人物、中景に位置する木の枝、比較的遠距離に位置する建築物、などといった被写体の像の一部がラインセンサ３６０Ｌ、３６０Ｒ上に位置する可能性がある。
【００４３】
その場合、ラインセンサ３６０Ｌ、３６０Ｒ上に形成される像のデフォーカス量は、どの被写体の像の一部であるかによって異なる可能性がある。したがって、ラインセンサ３６０Ｌ、３６０Ｒ上における像ずれの量（位相差）はラインセンサ３６０Ｌ、３６０Ｒ上の位置によって異なる可能性がある。この点、上述のように第１の焦点検出信号列の信号パターンが複数に分割され、分割されたパターンごとに第２の焦点検出信号列内において一致するパターンを探索する処理が行われる。したがって、ラインセンサ３６０Ｌ、３６０Ｒ（焦点検出画素３６４、３６６）上におけるデフォーカス量の分布を得ることが可能となる。以上ではウインドウの幅を５画素に固定して探索処理を行う例について説明したが、第１、第２の焦点検出信号列の相関度の高さ等に応じてウインドウの幅（画素数）を適応的に増減させながら探索処理を行うことも可能である。例えば、基準の信号パターンと合致するパターンが第２の焦点検出信号列中で複数探索された場合には、ウインドウの幅を拡げて再探索し、一致度のより高いものとの間で像ずれの量を導出することも可能である。
【００４４】
図６は、記録媒体に記録された画像処理プログラムがコンピュータのＣＰＵにより読み出されて実行され、画像処理部３００、デフォーカス量導出部３０４、画素値推定部３０２としての機能が実装される例を説明するブロック図である。コンピュータ６００は、ＣＰＵ６１０と、メモリ６２０と、補助記憶装置６３０と、インターフェース６４０と、メモリカードインターフェース６５０と、光ディスクドライブ６６０と、ネットワークインターフェース６７０と、表示部６８０とを備える。ＣＰＵ６１０と、メモリカードインターフェース６５０と、光ディスクドライブ６６０と、ネットワークインターフェース６７０と、表示部６８０とは、インターフェース６４０を介して電気的に接続される。
【００４５】
メモリ６２０は、ＤＤＲ ＳＤＲＡＭ等の、比較的高速のアクセス速度を有するメモリである。補助記憶装置６３０は、ハードディスクドライブ、あるいはソリッドステートドライブ（ＳＳＤ）等で構成され、比較的大きな記憶容量を備える。
【００４６】
メモリカードインターフェース６５０は、メモリカードＭＣを着脱自在に装着可能に構成される。デジタルカメラ等で撮影動作が行われて生成され、メモリカードＭＣ内に記憶された画像データは、このメモリカードインターフェース６５０を介してコンピュータ６００内に読み込むことができる。また、コンピュータ６００内の画像データをメモリカードＭＣに書き込むこともできる。
【００４７】
光ディスクドライブ６６０は、光ディスクＯＤからデータを読み取ることが可能に構成される。光ディスクドライブ６６０はまた、必要に応じて光ディスクＯＤにデータを書き込むことが可能に構成されていてもよい。
【００４８】
ネットワークインターフェース６７０は、ネットワークＮＷを介して接続されるサーバ等の外部情報処理装置とコンピュータ６００との間で情報を授受可能に構成される。
【００４９】
表示部６８０は、フラットパネルディスプレイ装置等で構成され、文字、アイコン、カラー画像等を表示可能に構成される。
【００５０】
画像処理部３００、デフォーカス量導出部３０４、および画素値推定部３０２は、メモリ６２０上にロードされた画像処理プログラムをＣＰＵ６１０が解釈・実行することにより実現される。図１に示されるデジタルカメラ１００と同じく、デフォーカス量導出部３０４および画素値推定部３０２を含んで画像処理装置が構成される。画像処理部３００、デフォーカス量導出部３０４、画素値推定部３０２は、図１で同じ符号が付されているものと同様の作用を有するものであるのでその説明を省略する。画像処理プログラムは、メモリカードＭＣや光ディスクＯＤ等の記録媒体に記録されてコンピュータ６００のユーザに頒布される。あるいは、ネットワークＮＷを介して、サーバ等の外部情報処理装置からダウンロードされた画像処理プログラムが補助記憶装置６３０に記憶されてもよい。また、他の有線や無線の形態のインターフェースを介して外部情報処理装置等から画像処理プログラムがダウンロードされて補助記憶装置６３０に記憶されてもよい。あるいは、サーバ上で上記画像処理プログラムが実行されて、ユーザからネットワークを介して送られた画像データに処理をして、処理後画像データをユーザに返送する、クラウドサービスが実施されてもよい。
【００５１】
画像処理部３００は、補助記憶装置６３０に記憶された画像データ、あるいはメモリカードＭＣ、光ディスクＯＤ、ネットワークＮＷ等を介して入力した画像データに後述する画像処理を行う。
【００５２】
以上のように、画素値推定部３０２およびデフォーカス量導出部３０４を含んで構成される画像処理装置は、デジタルカメラ１００内に実装されるものであってもよいし、コンピュータ６００上で実行されるプログラムにより実施されるものであってもよい。コンピュータ６００上で実行されるプログラムにより実施されるものである場合、処理対象の画像データは、いわゆるロー（ＲＡＷ）画像データであることが望ましい。このとき、ロー画像データに付加されるヘッダ情報中に、焦点検出画素の配設位置に関する情報等が含まれるようにすることが望ましい。あるいは、プログラム中に複数種類の撮像装置に対応して焦点検出画素の配設位置が収められたデータテーブルが含められていても良い。その場合、ロー画像データに付加されるヘッダ情報中に埋め込まれている撮影機材の情報をもとに、焦点検出画素の配設位置等を得ることが可能となる。
【００５３】
図７は、図１に示されるデジタルカメラ１００の電源が投入されて、動作モードが撮影モードに切り替えられたときに実行が開始される処理手順を説明するフローチャートである。図７に示される処理は、ＲＯＭ１６２内に格納されたファームウェアがＲＡＭ１６４にロードされ、ＣＰＵ１７０がそのファームウェアを解釈・実行することにより行われる。このときデジタルカメラ１００では、ライブビュー表示動作が行われているものとする。また、ＡＦモードは、コンティニュアスＡＦモードに設定されているものとして説明するが、ワンショットＡＦモードに設定されていてもよい。なお、図１中に示される画素値推定部３０２、デフォーカス量導出部３０４、およびＡＦ制御部１１４が、先にも説明したように、本実施の形態においてはＣＰＵ１７０がファームウェアを実行することにより実現されるものとして以下の説明をする。
【００５４】
Ｓ７００においてＣＰＵ１７０は、ファーストレリーズスイッチがオンされたか否かを判定する。この判定が否定されると処理は７２０に進み、撮影モードの終了、すなわちユーザがデジタルカメラ１００の動作モードを再生モード等に切り替えるためのスイッチや電源スイッチなどが押されたか否かを判定する。Ｓ７２０での判定が否定されると再びＳ７００が実行されてユーザ操作を待ち受ける状態が続く。
【００５５】
Ｓ７００の判定が肯定されるとＣＰＵ１７０はＳ７０２において、撮像素子３５０中の焦点検出画素３６４、３６６から出力される焦点検出信号を入力する処理を行う。つまり、撮像部１２０から読み出され、アナログ・フロントエンド１２２で処理されてＲＡＭ１６４上に一時的に記憶されているデジタル画像信号中で、焦点検出画素３６４、３６６から出力された焦点検出信号を読み出す処理をＣＰＵ１７０は行う。
【００５６】
Ｓ７０４においてＣＰＵ１７０は、デフォーカス量を導出する処理を行う。すなわち、Ｓ７０２の処理で得られた焦点検出信号から第１および第２の焦点検出信号列を生成して処理し、デフォーカス量を導出する処理をＣＰＵ１７０は行う。この処理の内容は、先に図４、図５を参照して説明したとおりである。Ｓ７０２およびＳ７０４の処理が、デフォーカス量導出部３０４で行われる処理に相当する。
【００５７】
Ｓ７０６においてＣＰＵ１７０は、Ｓ７０４で導出されたデフォーカス量が減じられるようにするため、撮影光学系１１０内のフォーカシングレンズの駆動方向および駆動量を決定し、レンズ駆動部１１２に制御信号を出力する。Ｓ７０６の処理がＡＦ制御部１１４での処理に相当する。
【００５８】
Ｓ７０８においてＣＰＵ１７０は、合焦動作が完了したか否かを判定する。この判定が否定される間、Ｓ７００からＳ７０８までの処理が繰り返し行われる。Ｓ７０８での判定が肯定されると処理はＳ７１０に進む。
【００５９】
Ｓ７１０においてＣＰＵ１７０は、セカンドレリーズスイッチがオンされたか否かを判定し、この判定が否定されるとＳ７００に戻る一方、肯定されるとＳ７１２に進む。上述した処理により、合焦完了（Ｓ７０８：はい）後、ユーザがセカンドレリーズスイッチを押さずにいると（Ｓ７１０：いいえ）、デフォーカス量の導出および合焦動作が繰り返し行われる。
【００６０】
Ｓ７１２においてＣＰＵ１７０は、露光動作を行うための制御を行う。すなわち、ＣＰＵ１７０は、ライブビュー動作中に決定された露光量に基づき、撮影光学系１１０の絞りの設定値と、メカニカルシャッタまたは電子シャッタによる露光時間とを決定する。そして、決定された絞り設定値と露光時間とで露光が行われるように、レンズ駆動部１１２および撮像部１２０に制御信号を出力する。
【００６１】
Ｓ７１４においてＣＰＵ１７０は、Ｓ７１２で行われた露光動作の結果得られた画像信号を撮像部１２０から読み出して処理するように撮像部１２０およびアナログ・フロントエンド１２２に制御信号を出力する。その結果、アナログ・フロントエンド１２２から出力されたデジタル画像信号がＲＡＭ１６４に一時的に記憶される。
【００６２】
Ｓ７１６においてＣＰＵ１７０は、デフォーカス量導出および画素値推定の処理を行う。この処理は、撮像素子３５０のイメージエリア内において焦点検出画素３６４、３６６の存在する位置における画素値を推定する処理である。本明細書において、画素値を推定する対象の画素を推定対象画素と称する。ＣＰＵ１７０は、ＲＡＭ１６４に一時的に記憶されるデジタル画像信号中、推定対象画素の画素値を、画素値推定の処理で導出された画素値に置き換える。Ｓ７１６における処理の詳細については後で説明する。
【００６３】
Ｓ７１８においてＣＰＵ１７０は、Ｓ７１６の処理を経たデジタル画像信号を処理して画像データを生成するよう、画像処理部３００に制御信号を出力する。画像処理部３００は、デモザイク、階調変換、色バランス補正、シェーディング補正、ノイズ低減等のデジタル信号処理を施して画像データを生成し、必要に応じて圧縮処理等を施して画像記録媒体１３０に保存する。
【００６４】
Ｓ７２０においてＣＰＵ１７０は、ユーザが操作部１４０を操作して撮影モードを終了させる操作をしたか否かを判定する。この判定が肯定されると、図７に示される一連の処理を完了する。Ｓ７２０の判定が否定されると処理はＳ７００に戻り、引き続きユーザ操作を待ち受ける状態となる。
【００６５】
図８は、上述したＳ７１６での処理をより詳細に説明するフローチャートであり、Ｓ７１６でコールされるサブプログラムとして示されている。
【００６６】
Ｓ８００においてＣＰＵ１７０は、撮像素子３５０のイメージエリア中に複数存在する焦点検出画素３６４、３６６中、一つの画素を推定対象画素として選択する。Ｓ８０２においてＣＰＵ１７０は、Ｓ８００で選択された推定対象画素に対するデフォーカス量を導出する。デフォーカス量の導出方法については、図４、図５を参照して先に説明したとおりである。
【００６７】
ところで、デジタルカメラ１００のＡＦモードがコンティニュアスＡＦモードで作動しているものとして図７のフローチャートの説明をした。この場合、Ｓ７０４で導出されたデフォーカス量と、Ｓ７１２の露光動作で得られた画像のデフォーカス量とはほぼ一致しているものと考えることができる。しかし、ＡＦモードがシングルＡＦモードの場合、合焦動作が完了してから露光動作が行われるまでの間の時間は必ずしも短時間ではなく、また、構図が変化している場合もある。例えば、ユーザはフォーカスフレーム内にピントを合わせたい被写体を収め、ファーストレリーズスイッチをオンしてフォーカシング動作をデジタルカメラ１００に行わせる。そして、合焦が完了した後、所望の構図が得られるようにカメラの向きを微調整してセカンドレリーズスイッチをオンする。この場合、Ｓ７１２において露光動作をして得られた画像中のデフォーカス量と、Ｓ７０４の処理で得られたデフォーカス量とは大きく異なる可能性が高い。このような場合、Ｓ８０２では、Ｓ７１２での露光動作によって得られたデジタル画像信号を処理してデフォーカス量を導出しなおすことが望ましい。一方、デジタルカメラ１００がコンティニュアスＡＦモードで作動しているときには、露光動作の直前にＳ８０２で導出されたデフォーカス量を参照することも可能である。その訳は、上述のように、コンティニュアスＡＦモードでは露光動作直前まで合焦動作が行われているので、Ｓ７０２で導出されたデフォーカス量と、Ｓ７１２の露光動作によって得られたデジタル画像信号から導出されるデフォーカス量とは略同じとみなすことができるからである。
【００６８】
Ｓ８０４においてＣＰＵ１７０は、推定対象画素の存在する位置におけるデフォーカス量が、閾値よりも小さいか否かを判定する。Ｓ８０４の判定が肯定されると処理はＳ８０６に進む一方、否定されるとＳ８０８に進む。この閾値は、撮影光学系１１０の焦点距離、設定Ｆ値、撮像素子３５０の画素の配列ピッチ等を考慮して定められる値である。一例として以下の式（１）によって閾値Ｔｈを定めることができる。以下の式（１）において、ｆは撮影光学系１１０の焦点距離（撮影光学系１１０が変倍光学系である場合、撮影動作時に設定されていた焦点距離）、δは許容錯乱円径（直径）、Ｄは撮影光学系１１０の撮影動作時における射出瞳径（直径）、Ｆは撮影動作時に設定されていた撮影光学系１１０の絞り値である。式（１）を見て明らかなように、本例では片側焦点深度がデフォーカス量の閾値として設定されている。
Ｔｈ＝ｆ×δ／Ｄ＝δ×Ｆ … 式（１）
デフォーカス量の閾値は、デジタルカメラ１００の内部で自動的に設定されるものであってもよいし、ユーザが適宜設定変更することが可能に構成されていてもよい。なお、デフォーカス状態としては、いわゆる前ピン状態と後ピン状態とが存在するが、本明細書においてデフォーカス量はその絶対値をとって扱われるものとする。もちろん、デフォーカス状態が前ピン状態であるか後ピン状態であるかに応じて閾値を変化させることも可能である。
【００６９】
Ｓ８０６においてＣＰＵ１７０は、推定対象画素の存在する位置にある焦点検出画素３６４または３６６からの出力信号（焦点検出信号）を補正（ゲイン調整）し、推定対象画素の画素値を導出する。このとき、焦点検出画素３６４または３６６からの出力信号の値をＳAF、補正係数をα、導出する画素値をＳ１とすると、以下の式（２）から画素値Ｓ１を導出することが可能となる。
Ｓ１＝α×ＳAF … 式（２）
Ｓ８０４での判定が肯定される、ということは、推定対象画素の画素位置においては比較的鮮鋭な像が形成されている、ということである。これは、被写体上のある微小領域からの光が大きく拡がることなく推定対象画素に入射している、ということである。逆に云うと、被写体上の上記微小領域以外の領域からの光が推定対象画素に多くは入射しない、ということである。したがって、推定対象画素の画素位置にある焦点検出画素からの信号を用いて画素値を導出することにより、より正確な画素値を推定して得ることが可能となる。また、図２および図３を参照して先にも説明したように、焦点検出画素３６４、３６６には緑色のカラーフィルタ３７２が設けられている。つまり、緑色の分光帯域に感度を有している。加えて、ベイヤ配列される撮像画素中で、本来緑色の撮像画素が配置される位置に焦点検出画素３６４、３６６が配置されているため、遮光部３７４によって減光される分を式（２）によって補正（ゲイン調整）することにより推定対象画素の画素値を得ることが可能となる。
【００７０】
Ｓ８０４での判定が否定された場合の分岐先であるＳ８０８においてＣＰＵ１７０は、推定対象画素の近傍に位置する画素（本明細書においてはこれを近傍配設画素と称する）の画素値をもとに推定対象画素の画素値を導出する。Ｓ８０４での判定が否定される、ということは、当該の画素位置においてはぼけた像（錯乱円）が形成されている、ということである。これはすなわち、被写体上の微小領域からの光に加えて、当該微小領域以外の領域からの光も混ざり合って推定対象画素に入射している、ということである。その場合には、例えば図４において焦点検出画素３６４（ＡＦ１）の存在する位置が推定対象画素の画素位置であるとして、その近傍に焦点検出画素３６４を囲うように存在する四つの撮像画素３５２Ｇ（Ｇ５、Ｇ６、Ｇ９、Ｇ１０）の画素値をもとに推定する。このとき、四つの近傍配設画素それぞれの画素値をＳG1、ＳG2、ＳG3、ＳG4とし、導出する画素値をＳ２とすると、以下の式（３）から画素値Ｓ２を導出することが可能となる。
Ｓ２＝（ＳG1＋ＳG2＋ＳG3＋ＳG4）／４ … 式（３）
上述したように、焦点検出画素３６４、３６６には緑色のカラーフィルタ３７２が設けられて緑色の分光帯域の感度を有している。そして、ベイヤ配列される撮像画素中で、本来緑色の撮像画素が配置される位置に焦点検出画素３６４、３６６が配置されているため、上記のように推定対象画素の近傍に位置する四つの緑色の撮像画素の画素値の平均値から画素値Ｓ２を導出することが可能となる。
【００７１】
Ｓ８０６またはＳ８０８における推定対象画素の画素値を導出する処理により、一つの推定対象画素の画素値が導出される。Ｓ８１０では全ての推定対象画素の画素値を導出する処理が完了したか否かが判定される。Ｓ８１０での判定が否定される間、上述したＳ８００からＳ８０８までの処理が繰り返し行われる。Ｓ８１０での判定が肯定されると、イメージエリア内のすべての推定対象画素の画素値を導出する処理が完了し、リターンする。
【００７２】
以上の図８のフローチャートを参照しての説明では、推定対象画素の画素位置におけるデフォーカス量が閾値よりも小さいか否かによって推定対象画素の画素値の導出方法を変える例について説明した。これに関して、以下で図９を参照して説明する方法により推定対象画素の画素値を導出することも可能である。
【００７３】
図９は、図８のフローチャートを参照して説明した、Ｓ７１６での処理の別例を説明するフローチャートであり、Ｓ７１６でコールされるサブプログラムとして示されている。
【００７４】
Ｓ９００においてＣＰＵ１７０は、撮像素子３５０のイメージエリア中に複数存在する焦点検出画素３６４、３６６中、一つの画素を推定対象画素として選択する。Ｓ９０２においてＣＰＵ１７０は、Ｓ９００で選択された推定対象画素に対するデフォーカス量を導出する。以上のＳ９００、Ｓ９０２での処理は、図８のフローチャートに示されるＳ８００、Ｓ８０２での処理と同様である。
【００７５】
Ｓ９０４においてＣＰＵ１７０は、推定対象画素の存在する位置にある焦点検出画素３６４または３６６からの出力信号（焦点検出信号）ＳAFから、式（２）を用いて推定対象画素の画素値Ｓ１を導出する。
【００７６】
Ｓ９０６においてＣＰＵ１７０は、推定対象画素の近傍に位置する画素、すなわち近傍配設画素の画素値ＳG1、ＳG2、ＳG3、ＳG4から、式（３）を用いて推定対象画素の画素値Ｓ２を導出する。
【００７７】
Ｓ９０８においてＣＰＵ１７０は、推定対象画素の画素位置におけるデフォーカス量の大きさに応じた混合比で上記画素値Ｓ１およびＳ２を混合する処理を行い、推定対象画素の画素値を導出する。
【００７８】
図１０には、デフォーカス量に応じて混合比率を変化させる際の変化特性の二つの例が概念的に示されている。図１０に示されるグラフの横軸にはデフォーカス量が、縦軸には画素値Ｓ１の画素値Ｓ２に対する混合比率（Ｓ１：Ｓ２）が、それぞれ取られている。二つの混合比立変化特性の例のうち、一方の特性は符号Ｃ１を付した実線で示され、他方の特性は符号Ｃ２を付した破線で示されている。以下では単に特性Ｃ１、特性Ｃ２と称する。ところで、先にも説明したように、デフォーカス状態としてはいわゆる前ピン状態と後ピン状態とが存在するが、図１０に示されるグラフの横軸は、デフォーカス量の絶対値がとられて示されているものとする。無論、デフォーカス状態が前ピン状態であるか後ピン状態であるかに応じて異なる特性が付与されてもよい。
【００７９】
特性Ｃ１は、デフォーカス量が片側焦点深度に達するまではＳ１：Ｓ２＝１：０となっている。そしてデフォーカス量が片側焦点深度を超して所定の値Ｄ１に近づくにつれて混合比率は画素値Ｓ２に重きが置かれるようになり、Ｓ１：Ｓ２＝０：１に近づく。そして、デフォーカス量が所定の値Ｄ１を越すとＳ１：Ｓ２＝０：１に固定される。特性Ｃ１の変曲点、傾き等についてはユーザが変更することが可能に構成されていてもよい。また、デフォーカス量と上記混合比率との関係は直線的であっても非直線的であってもよい。
【００８０】
特性Ｃ１は、デフォーカス量が片側焦点深度を超して所定の値Ｄ１に近づくまでの間、画素値Ｓ１の画素値Ｓ２に対する混合比率（Ｓ１：Ｓ２）が徐々に変化するものであったが、特性Ｃ２では段階的に混合比率が変化する。特性Ｃ２の屈曲点等についても、ユーザが変更することが可能に構成されていてもよい。
【００８１】
特性Ｃ１、Ｃ２に関しては、デフォーカス量に対応する混合比率をＣＰＵ１７０が導き出すためのルックアップテーブルとして実現されていてもよいし、入力変数に対して所定の演算処理を施して出力値を得るプログラムによって実現されていてもよい。
【００８２】
再び図９のフローチャートを参照して説明する。上述した推定対象画素の画素値を導出する処理がＳ９０８で行われた後、Ｓ９１０では全ての推定対象画素の画素値を導出する処理が完了したか否かの判定が行われる。Ｓ９１０での判定が否定される間、上述したＳ９００からＳ９０８までの処理が繰り返し行われる。Ｓ９１０での判定が肯定されると、イメージエリア内のすべての推定対象画素の画素値を導出する処理が完了し、リターンする。
【００８３】
以上の実施の形態で説明した画素推定処理を行うことにより、次のような効果を得ることが可能となる。すなわち、推定対象画素のデフォーカス量が小さい（合焦状態に近い）場合、撮像画素から得られる信号と焦点検出画素から得られる信号との相似性が高いので、遮光部３７４による光量低下の影響を補正することで推定対象画素の画素値を導出することが可能となる。一方、推定対象画素のデフォーカス量が大きい（ピントが大きく外れている）と、撮像画素から得られる信号と焦点検出画素から得られる信号との相似性は低くなる。このときには推定対象画素の近傍に配設されている撮像画素である近傍配設画素の画素値から画素値を推定する。デフォーカス量の大きい領域では像がぼけているので焦点検出画素の近傍には細い線状の像や急峻なエッジ等は存在しない。したがって、近傍配設画素の画素値から推定対象画素の画素値を推定しても、画像の破綻等を生じにくい。このように、推定対象画素の位置に配設された焦点検出画素からの信号と、推定対象画素の周囲の近傍配設画素からの信号とのうち、当該の画素位置におけるデフォーカス量の値に応じて少なくともいずれかの信号を用いて画素値の推定を行うことにより、いわゆるアーティファクトの目立たない、自然な画像を得ることが可能となる。
【００８４】
以上に説明した画素値推定部３０２およびデフォーカス量導出部３０４を含む画像処理装置は、デジタルスチルカメラ、デジタルムービーカメラ、カメラ付きの携帯電話や携帯型の情報処理装置に内蔵可能である。また、図６を参照して説明したように、コンピュータ上で画像処理プログラムが実行されて画素値推定部３０２およびデフォーカス量導出部３０４を含む画像処理装置が実現されてもよい。
【００８５】
以上では撮像素子３５０が単板式であるものとして説明をしたが、多板式であってもよい。
【符号の説明】
【００８６】
１００ … デジタルカメラ
１１０ … 撮影光学系
１１２ … レンズ駆動部
１１４ … ＡＦ制御部
１２０ … 撮像部
１２２ … アナログ・フロントエンド
１５０、６８０ … 表示部
１６０ … 記憶部
１７０ … ＣＰＵ
１９０ … ＤＳＰ（ディジタル・シグナル・プロセッサ）
６００ … コンピュータ
６１０ … ＣＰＵ
６２０ … メモリ
６３０ … 補助記憶装置
６５０ … メモリカードインターフェース
６６０ … 光ディスクドライブ
６７０ … ネットワークインターフェース
３００ … 画像処理部
３０２ … 画素値推定処理部
３０４ … デフォーカス量導出部
３５０ … 撮像素子
３５２、３５２Ｂ、３５２Ｇ、３５２Ｒ … 撮像画素
３６０ … 焦点検出画素列
３６４、３６６ … 焦点検出画素
３７０ … マイクロレンズ
３７２ … カラーフィルタ
３７４ … 遮光部
３７８ … フォトダイオード
【特許請求の範囲】
【請求項１】
イメージエリア内に二次元配列された複数の撮像画素と、前記複数の撮像画素の配列内に配置されて、撮影光学系の異なる瞳位置からの被写体光を受光可能に構成される複数組の焦点検出画素のペアとを備え、前記撮像画素で生成される画像信号と、前記焦点検出画素のペアで生成される焦点検出信号とを出力可能に構成される位相差センサ内蔵式の撮像素子から出力される前記画像信号および前記焦点検出信号を処理して前記焦点検出画素の配列される位置に対応する画素値を推定して生成する画像処理装置であって、
前記焦点検出画素のペアのそれぞれから出力される前記焦点検出信号をもとに生成される第１および第２の焦点検出信号列の相関を求めて位相差を検出し、検出された位相差に基づいて前記撮影光学系のデフォーカス量を導出するデフォーカス量導出部と、
前記イメージエリア内における、前記焦点検出画素の配列される位置に対応する画素値を推定処理して推定画素値を生成する画素値推定部であって、当該位置の焦点検出画素から出力される焦点検出信号と、当該位置の焦点検出画素の近傍に配設される撮像画素である近傍配設画素からの信号とのうち、前記デフォーカス量導出部によって導出される前記デフォーカス量の値に応じて、少なくともいずれかの信号の値を用いて前記推定画素値を生成する画素値推定部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記画素値推定部は、前記デフォーカス量の値が所定の閾値よりも小さい場合には前記焦点検出信号を補正する処理をして前記推定画素値を生成する一方、前記デフォーカス量の値が前記閾値以上である場合には前記近傍配設画素からの信号を処理して前記推定画素値を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画素値推定部は、前記近傍配設画素からの信号を処理して得られた値と、前記焦点検出信号を補正する処理をして得られた値とを、前記デフォーカス量の値に応じた合成比率で合成して前記推定画素値を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
イメージエリア内に二次元配列された複数の撮像画素と、前記複数の撮像画素の配列内に配置されて、撮影光学系の異なる瞳位置からの被写体光を受光可能に構成される複数組の焦点検出画素のペアとを備え、前記撮像画素で生成される画像信号と、前記焦点検出画素のペアで生成される焦点検出信号とを出力可能に構成される位相差センサ内蔵式の撮像素子と、
前記焦点検出画素のペアのそれぞれから出力される前記焦点検出信号をもとに生成される第１および第２の焦点検出信号列の相関を求めて位相差を検出し、検出された位相差に基づいて前記撮影光学系のデフォーカス量を導出するデフォーカス量導出部と、
前記イメージエリア内における、前記焦点検出画素の配列される位置に対応する画素値を推定処理して推定画素値を生成する画素値推定部であって、当該位置の焦点検出画素から出力される焦点検出信号と、当該位置の焦点検出画素の近傍に配設される撮像画素である近傍配設画素からの信号とのうち、前記デフォーカス量導出部によって導出される前記デフォーカス量の値に応じて、少なくともいずれかの信号の値を用いて前記推定画素値を生成する画素値推定部と
を備えることを特徴とする撮像装置。
【請求項５】
前記画素値推定部は、前記デフォーカス量の値が所定の閾値よりも小さい場合には前記焦点検出信号を補正する処理をして前記推定画素値を生成する一方、前記デフォーカス量の値が前記閾値以上である場合には前記近傍配設画素からの信号を処理して前記推定画素値を生成することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記画素値推定部は、前記近傍配設画素からの信号を処理して得られた値と、前記焦点検出信号を補正する処理をして得られた値とを、前記デフォーカス量の値に応じた合成比率で合成して前記推定画素値を生成する
ことを特徴とする請求項４に記載の撮像装置。
【請求項７】
イメージエリア内に二次元配列された複数の撮像画素と、前記複数の撮像画素の配列内に配置されて、撮影光学系の異なる瞳位置からの被写体光を受光可能に構成される複数組の焦点検出画素のペアとを備え、前記撮像画素で生成される画像信号と、前記焦点検出画素のペアで生成される焦点検出信号とを出力可能に構成される位相差センサ内蔵式の撮像素子から出力される前記画像信号および前記焦点検出信号を処理して前記焦点検出画素の配列される位置に対応する画素値を推定して生成する画像処理方法であって、
前記焦点検出画素のペアのそれぞれから出力される前記焦点検出信号をもとに生成される第１および第２の焦点検出信号列の相関を求めて位相差を検出し、検出された位相差に基づいて前記撮影光学系のデフォーカス量を導出する、デフォーカス量導出処理を行うことと、
前記イメージエリア内における、前記焦点検出画素の配列される位置に対応する画素値を推定処理して推定画素値を生成する画素値推定処理であって、当該位置の焦点検出画素から出力される焦点検出信号と、当該位置の焦点検出画素の近傍に配設される撮像画素である近傍配設画素からの信号とのうち、前記デフォーカス量導出処理を行うことにより導出される前記デフォーカス量の値に応じて、少なくともいずれかの信号の値を用いて前記推定画素値を生成する画素値推定処理を行うことと
を備えることを特徴とする画像処理方法。
【請求項１】
イメージエリア内に二次元配列された複数の撮像画素と、前記複数の撮像画素の配列内に配置されて、撮影光学系の異なる瞳位置からの被写体光を受光可能に構成される複数組の焦点検出画素のペアとを備え、前記撮像画素で生成される画像信号と、前記焦点検出画素のペアで生成される焦点検出信号とを出力可能に構成される位相差センサ内蔵式の撮像素子から出力される前記画像信号および前記焦点検出信号を処理して前記焦点検出画素の配列される位置に対応する画素値を推定して生成する画像処理装置であって、
前記焦点検出画素のペアのそれぞれから出力される前記焦点検出信号をもとに生成される第１および第２の焦点検出信号列の相関を求めて位相差を検出し、検出された位相差に基づいて前記撮影光学系のデフォーカス量を導出するデフォーカス量導出部と、
前記イメージエリア内における、前記焦点検出画素の配列される位置に対応する画素値を推定処理して推定画素値を生成する画素値推定部であって、当該位置の焦点検出画素から出力される焦点検出信号と、当該位置の焦点検出画素の近傍に配設される撮像画素である近傍配設画素からの信号とのうち、前記デフォーカス量導出部によって導出される前記デフォーカス量の値に応じて、少なくともいずれかの信号の値を用いて前記推定画素値を生成する画素値推定部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記画素値推定部は、前記デフォーカス量の値が所定の閾値よりも小さい場合には前記焦点検出信号を補正する処理をして前記推定画素値を生成する一方、前記デフォーカス量の値が前記閾値以上である場合には前記近傍配設画素からの信号を処理して前記推定画素値を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画素値推定部は、前記近傍配設画素からの信号を処理して得られた値と、前記焦点検出信号を補正する処理をして得られた値とを、前記デフォーカス量の値に応じた合成比率で合成して前記推定画素値を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
イメージエリア内に二次元配列された複数の撮像画素と、前記複数の撮像画素の配列内に配置されて、撮影光学系の異なる瞳位置からの被写体光を受光可能に構成される複数組の焦点検出画素のペアとを備え、前記撮像画素で生成される画像信号と、前記焦点検出画素のペアで生成される焦点検出信号とを出力可能に構成される位相差センサ内蔵式の撮像素子と、
前記焦点検出画素のペアのそれぞれから出力される前記焦点検出信号をもとに生成される第１および第２の焦点検出信号列の相関を求めて位相差を検出し、検出された位相差に基づいて前記撮影光学系のデフォーカス量を導出するデフォーカス量導出部と、
前記イメージエリア内における、前記焦点検出画素の配列される位置に対応する画素値を推定処理して推定画素値を生成する画素値推定部であって、当該位置の焦点検出画素から出力される焦点検出信号と、当該位置の焦点検出画素の近傍に配設される撮像画素である近傍配設画素からの信号とのうち、前記デフォーカス量導出部によって導出される前記デフォーカス量の値に応じて、少なくともいずれかの信号の値を用いて前記推定画素値を生成する画素値推定部と
を備えることを特徴とする撮像装置。
【請求項５】
前記画素値推定部は、前記デフォーカス量の値が所定の閾値よりも小さい場合には前記焦点検出信号を補正する処理をして前記推定画素値を生成する一方、前記デフォーカス量の値が前記閾値以上である場合には前記近傍配設画素からの信号を処理して前記推定画素値を生成することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記画素値推定部は、前記近傍配設画素からの信号を処理して得られた値と、前記焦点検出信号を補正する処理をして得られた値とを、前記デフォーカス量の値に応じた合成比率で合成して前記推定画素値を生成する
ことを特徴とする請求項４に記載の撮像装置。
【請求項７】
イメージエリア内に二次元配列された複数の撮像画素と、前記複数の撮像画素の配列内に配置されて、撮影光学系の異なる瞳位置からの被写体光を受光可能に構成される複数組の焦点検出画素のペアとを備え、前記撮像画素で生成される画像信号と、前記焦点検出画素のペアで生成される焦点検出信号とを出力可能に構成される位相差センサ内蔵式の撮像素子から出力される前記画像信号および前記焦点検出信号を処理して前記焦点検出画素の配列される位置に対応する画素値を推定して生成する画像処理方法であって、
前記焦点検出画素のペアのそれぞれから出力される前記焦点検出信号をもとに生成される第１および第２の焦点検出信号列の相関を求めて位相差を検出し、検出された位相差に基づいて前記撮影光学系のデフォーカス量を導出する、デフォーカス量導出処理を行うことと、
前記イメージエリア内における、前記焦点検出画素の配列される位置に対応する画素値を推定処理して推定画素値を生成する画素値推定処理であって、当該位置の焦点検出画素から出力される焦点検出信号と、当該位置の焦点検出画素の近傍に配設される撮像画素である近傍配設画素からの信号とのうち、前記デフォーカス量導出処理を行うことにより導出される前記デフォーカス量の値に応じて、少なくともいずれかの信号の値を用いて前記推定画素値を生成する画素値推定処理を行うことと
を備えることを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１５０２８９（Ｐ２０１２−１５０２８９Ａ）
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願番号】特願２０１１−９１５９（Ｐ２０１１−９１５９）
【出願日】平成２３年１月１９日（２０１１．１．１９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願日】平成２３年１月１９日（２０１１．１．１９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]