固体撮像装置、撮像装置、合焦制御方法、及び、プログラム
【課題】画素内位相差オートフォーカスとは異なる新たな方式のオートフォーカスの技術を提供する。
【解決手段】固体撮像装置は、画素が配列された撮像部を有し、更に、所定数の画素を対象として、当該画素に重なるように偏光子が配置されている。撮像装置は、このような固体撮像装置と、偏光子が配置された画素から出力された情報に基づいて、被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報を生成する合焦情報処理部とを備えている。像装置は、被写体像を撮像部に導く光学系を更に備えている構成とすることもできるし、或いは又、合焦情報処理部により生成された合焦情報に基づいて、光学系のフォーカス制御を行なうフォーカス制御部を更に備えている構成とすることもできる。
【解決手段】固体撮像装置は、画素が配列された撮像部を有し、更に、所定数の画素を対象として、当該画素に重なるように偏光子が配置されている。撮像装置は、このような固体撮像装置と、偏光子が配置された画素から出力された情報に基づいて、被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報を生成する合焦情報処理部とを備えている。像装置は、被写体像を撮像部に導く光学系を更に備えている構成とすることもできるし、或いは又、合焦情報処理部により生成された合焦情報に基づいて、光学系のフォーカス制御を行なうフォーカス制御部を更に備えている構成とすることもできる。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で開示する技術は、固体撮像装置、撮像装置、合焦制御方法、及び、プログラムに関する。
【背景技術】
【０００２】
ビデオカメラ（ビデオムービー）やデジタルカメラ等の撮像装置において、オートフォーカス（ＡＦ：Auto Focus）といった自動焦点（自動合焦）機能を装備したものが知られている。このオートフォーカスについては、例えば、測距のために基準となる信号を自ら出すか出さないかで、アクティブ方式とパッシブ方式に分類される。パッシブ方式の一例として、例えば、特開２０１１−１０３３３５号公報には、固体撮像装置（撮像素子）を利用した位相差オートフォーカス（画素内位相差オートフォーカスと記す）が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１０３３３５号公報
【０００４】
画素内位相差オートフォーカスは、例えば撮像素子の開口面積を半分にそれぞれ偏らせて各検知用画素に光学像を入射させる。例えば検知用画素は２画素ペアで相互に半開口としている。ピントがジャスピン（perfect focus）からずれると像が分離し、さらに前ピン（被写体よりも前にピントが合っている状態）と後ピン（被写体よりも後ろにピントが合っている状態）とで、像の分離方向が逆になるという特質がある。集光状態と開口のサイドの関係から相対する画素群の輝度分布が逆方向となることに基づく。このことが予め分かっているため、合焦の方向が分かる。そこで、この合焦の方向が予め分かっていることに基づき、ずれ量を検出してオートフォーカスを行なうようにしている。そのため、画素内での情報のみを使用した処理が可能であるという特徴がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、画素内位相差オートフォーカスでは、その手法が撮像素子の開口面積を半分にそれぞれ偏らせての素子利用であるため、各検知用画素の出力が落ちてしまい、両者の信号差が小さくなり、誤検知を起こし易い難点がある。又、２枚の画像の比較が必要なため、それなりに高速処理が必須になる難点もある。
【０００６】
従って、本開示の目的は、画素内位相差オートフォーカスとは異なる新たな方式のオートフォーカスの技術を提供することにある。好適には、複数枚の画像を必要とすることなく、誤検知を起こし難いオートフォーカスの技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本開示の第１の態様に係る撮像装置は、画素が配列された撮像部を有し、更に、所定数の画素を対象として、当該画素に重なるように偏光子が配置されている固体撮像装置と、偏光子が配置された画素から出力された情報に基づいて、被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報を生成する合焦情報処理部とを備えている。本開示の第１の態様に係る撮像装置の従属項に記載された各撮像装置は、本開示の第１の態様に係る撮像装置のさらなる有利な具体例を規定する。
【０００８】
本開示の第２の態様に係る固体撮像装置は、画素が配列された撮像部を有し、更に、撮像部の中央領域の所定数の画素を対象として、当該画素に重なるように偏光子が配置されており、撮像部の周辺領域の画素については、偏光子が配置されていないものである。
【０００９】
撮像装置や固体撮像装置はワンチップとして形成された形態であってもよいし、撮像部と、信号処理部又は光学系とが纏めてパッケージングされた、撮像機能を有するモジュール状の形態であってもよい。撮像装置は、例えば、カメラ（或いはカメラシステム）や携帯機器等の電子機器において撮像機能を実現するために使用される。また「撮像」は、通常のカメラ撮影時の像の撮り込みだけではなく、広義の意味として、指紋検出や、タッチパネル等の物理量分布検知半導体装置或いは物理情報取得装置（物理量分布検知装置）において物理量分布として圧力を利用して像情報を取得することも含む。
【００１０】
本開示の第３の態様に係る撮像装置の合焦制御方法は、画素が配列された撮像部を有し、更に、所定数の画素を対象として、当該画素に重なるように偏光子が配置されている固体撮像装置の偏光子が配置されている画素から出力された信号に基づいて、被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報を生成する工程と、合焦情報を用いて、光学系のオートフォーカス制御を行なう工程とを有する。
【００１１】
本開示の第４の態様に係るプログラムは、画素が配列された撮像部を有し、更に、所定数の画素を対象として、当該画素に重なるように偏光子が配置されている固体撮像装置の偏光子が配置されている画素から出力された信号に基づいて生成された、被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報に基づいて、光学系のフォーカス制御を行なうフォーカス制御部としてコンピュータを機能させるプログラムである。プログラムは、コンピュータ読取り可能な記憶媒体に格納されて提供されてもよいし、有線あるいは無線による通信手段を介した配信により提供されてもよい。
【００１２】
本開示の第２の態様に係る固体撮像装置、本開示の第３の態様に係る合焦制御方法、本開示の第４の態様に係るプログラムのそれぞれにおいては、本開示の第１の態様に係る撮像装置の従属項に記載された各技術・手法が同様に適用可能であり、それが適用された構成は、本開示の第２の態様に係る固体撮像装置、本開示の第３の態様に係る合焦制御方法、本開示の第４の態様に係るプログラムのさらなる有利な具体例を規定する。
【００１３】
要するに、本明細書で開示する技術では、少なくとも撮像部の中央領域の所定数の画素を対象として、当該画素に重なるように偏光子が配置されている固体撮像装置を使用する。そして、偏光子が配置されている画素から出力された信号に基づいて、被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報を生成し、この合焦情報を使用して光学系のフォーカス制御を行なう。一般的な固体撮像装置にあっては、画素（詳しくは光電変換部等）そのものは偏光に対して感度を有していないが、本開示の技術にあっては、偏光子を画素に配置して特定の方向の偏光成分を検知可能に構成し、偏光子が配置された画素（偏光画素）の検知情報をオートフォーカス制御に利用する。偏光画素から出力される検知情報は、従来から知られている種々のオートフォーカス制御（例えば山登り制御方式）用の情報として利用することができる。固体撮像装置に関しては偏光子を特定の画素に配置する必要性はあるが、その製造技術自体は公知の技術を利用することができ、又、オートフォーカス用の制御アルゴリズムを新たに開発しなくても既存の制御技術を利用できるので、本開示の技術の実現は容易である。
【発明の効果】
【００１４】
本開示の第１の態様に係る撮像装置、本開示の第２の態様に係る固体撮像装置、本開示の第３の態様に係る合焦制御方法、本開示の第４の態様に係るプログラムによれば、画素内位相差オートフォーカスとは異なる新たな方式のオートフォーカスの技術を提供することができる。これにより、仕様や用途に合わせたオートフォーカス方式の選択の幅を広げることができる。画素内位相差オートフォーカスとは異なり、撮像素子の開口面積を半分にそれぞれ偏らせての素子利用ではないので、出力信号差が小さくなることに起因する誤検知の問題は起きない。
【図面の簡単な説明】
【００１５】
【図１】図１は、コントラストオートフォーカスを説明する図である。
【図２】図２は、位相差検知オートフォーカスを説明する図である。
【図３】図３は、画素内位相差オートフォーカスを説明する図である。
【図４】図４は、偏光による反射率の角度依存の挙動を説明する図である。
【図５】図５（Ａ）〜図５（Ｂ）は、偏光状態によって反射率が変化することを説明する図である。
【図６】図６（Ａ）〜図６（Ｂ）は、電場と磁場の実振幅の違いを説明する図である。
【図７】図７は、偏光画素の出力信号の合焦状態の依存性を説明する図である。
【図８】図８（Ａ）〜図８（Ｂ）は、ＴＭ波用の偏光子とＴＥ波用の偏光子との対を、「オートフォーカス対象の領域」の４箇所に配置した場合の偏光画素の出力例を示す図である。
【図９】図９（Ａ）〜図９（Ｂ）は、オートフォーカス制御用の指標値の算出手法を説明する図（その１）である。
【図１０】図１０（Ａ）〜図１０（Ｂ）は、オートフォーカス制御用の指標値の算出手法を説明する図（その２）である。
【図１１】図１１は、比較例の偏光子の配置例を示す図である。
【図１２】図１２は、実施例１の偏光子の配置例を示す図である。
【図１３】図１３（Ａ）〜図１３（Ｂ）は、偏光子画素の配置位置を説明する図である。
【図１４】図１４は、感度補正非対象範囲の規定原理を説明する図である。
【図１５】図１５は、感度補正処理に使用される２種類のパターン化偏光子の特性例を説明する図である。
【図１６】図１６は、固体撮像装置に偏光子を積層する手法を説明する図である。
【図１７】図１７は、撮像装置の一実施形態を示す図である。
【図１８】図１８は、撮像装置及び画像処理装置の信号処理系の構成例を説明する図である。
【図１９】図１９は、撮像装置におけるオートフォーカス処理の処理手順の一例を示すフローチャートである。
【図２０】図２０は、実施例２の偏光子の配置例を示す図である。
【図２１】図２１は、実施例３の偏光子の配置例を示す図である。
【図２２】図２２は、実施例４の偏光子の配置例を示す図である。
【図２３】図２３は、本実施形態の画素内偏光オートフォーカスと従前の他のオートフォーカス方式とを対比した図表である。
【図２４】図２４は、本実施形態の画素内偏光オートフォーカスと感度補正とを対比した図表である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本明細書で開示する技術の実施形態について詳細に説明する。各機能要素について形態別に区別する際にはアルファベット或いは“_n”（ｎは数字）或いはこれらの組合せの参照子を付して記載し、特に区別しないで説明する際にはこの参照子を割愛して記載する。図面においても同様である。
【００１７】
説明は以下の順序で行なう。
１．全体概要
２．オートフォーカス方式の比較例
３．偏光による反射率の角度依存性について
４．斜め入射、偏光、反射率の関係
５．本実施形態のオートフォーカスの原理
６．実施例１：偏光子の配置位置、偏光子画素の配置位置
偏光子を周辺領域に配置する場合の感度補正、
固体撮像装置に偏光子を積層する手法、
撮像装置：全体概要
撮像装置及び画像処理装置、処理手順
７．実施例２：
８．実施例３
９．実施例４
10．本実施形態の纏め：オートフォーカス、感度補正
【００１８】
＜全体概要＞
先ず、基本的な事項について以下に説明する。本明細書で開示する撮像装置、固体撮像装置、合焦制御方法、プログラムにおいては、先ず、少なくとも撮像部の中央領域の所定数の画素を対象として、当該画素に重なるように偏光子が配置されている固体撮像装置を使用する。偏光子の配置態様が如何様であっても、単純に偏光子を配した画素（偏光画素）から得られる偏光情報（いわゆる輝度情報）をオートフォーカス制御用に利用するので、高速処理が可能である。画素内位相差オートフォーカスでは検出不可能な、例えば全面赤の被写体や全面青の被写体、中央赤、中央青の被写体等でも合焦状態に依存した偏光情報が得られるため、これらの画像においても正確な合焦位置を検出することができる。
【００１９】
偏光画素から出力される検知情報を使用した合焦位置の判定には、従来から知られている種々のオートフォーカス制御（例えば山登り制御方式）の技術を利用することができる。例えば、通常の山登りサーボ方式では、映像信号のコントラストが、できるだけ最大になるように光学焦点調整機構を制御して、コントラストのできるだけ高い位置を探索することにより、自動的に焦点調整を行なう。本明細書で開示する技術にあっては、コントラストに代えて、偏光画素から出力される検知情報を使い、その他は既存の山登りサーボ方式（もちろんこの方式には限らないが）の技術をそのまま流用することができる。固体撮像装置に関しては偏光子を特定の画素に配置する必要性はあるが、その他は既存の方式のまあでよく、装置規模をさほど増大させることなく応答の速いオートフォーカスを実現できる。
【００２０】
撮像装置の製品形態としては、偏光画素（偏光子が配置されている画素）を撮像部に備える固体撮像装置と、偏光画素から出力された情報に基づいて被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報を生成する合焦情報処理部とを備えた構成を最小構成要素とする。そして、製品仕様に合わせて、この最小構成要素に対して、例えば、合焦情報処理部により生成された合焦情報に基づいて光学系のフォーカス制御を行なうフォーカス制御部を備えた構成や、被写体像を撮像部に導く光学系を備えた構成、或いは、光学系及びフォーカス制御部の双方を備えた構成等とすることができる。
【００２１】
偏光子は、撮像領域全体に配置する必要はなく、少なくとも「オートフォーカス対象の領域」に配置されていればよく、その領域内の全ての画素に偏光子が配置されていることも必須ではなく、例えば、所定数の画素を一単位とするブロックごとに、ブロック内の総画素数よりも少ない数（例えば１個〜数個）の画素を対象として、当該画素に重なるように偏光子が配置されていればよい。
【００２２】
好適には、ブロック内に、それぞれ異なる角度の偏光主軸を有する複数種類の偏光子が配置されているのがよい。つまり、ブロック内の各偏光子の偏光角は異なっているのがよい。例えば、偏光子の偏光主軸の角度の種類をＮとしたとき、それぞれの角度差は１８０／Ｎであるのがよい。典型的には（最も好適なシンプルな構成では）、２画素ペアで、相互に異なる偏光状態（典型的には偏光角の差が９０度）を検出し、その検知情報を使用して予め定められた算術式に基づいて指標値を算出し、算出された指標値に基づいて合焦判定や光学系のフォーカス制御を行なう。もちろんこのことは必須でなく、ブロック相互間の各偏光子の偏光角はランダムに配置されたものであってもよい。
【００２３】
本開示に係る技術にあっては、好ましくは、複数種類の偏光子の１つはＴＥ波相当のみを通す偏光子であり、複数種類の偏光子のもう１つはＴＭ波相当のみを通す偏光子であるとよい。例えば、ブロック内にそれぞれ異なる偏光主軸を有する２種類の偏光子が配置されている構成をとることができる。この場合、その一方の偏光子はＴＥ波相当のみを通す偏光子であり、他方の偏光子はＴＭ波相当のみを通す偏光子であるのがよい。もちろん、ＴＥ波相当のみを通す偏光子とＴＭ波相当のみを通す偏光子との組合せ（水平垂直の偏光子の組合せ）に限らず、４５度の偏光波相当のみを通す偏光子と１３５度の偏光波相当のみを通す偏光子との組合せ（斜め方向の偏光子の組合せ）にしてもよいし、更には、水平垂直の偏光子及び斜め方向の偏光子の組合せにしてもよい。例えば、一般的な被写体像を考えた場合、横縞模様と縦縞模様の何れかに着目してオートフォーカス制御を行なえば十分であり、この場合、ＴＥ波相当のみを通す偏光子とＴＭ波相当のみを通す偏光子との組合せとすればよい。又、斜め縞模様に着目してオートフォーカス制御を行なう必要がある場合であれば、４５度の偏光波相当のみを通す偏光子と１３５度の偏光波相当のみを通す偏光子との組合せにすればよい。
【００２４】
本開示に係る技術は、色分離を行なうカラーフィルタを有しているいわゆるカラー画像撮像用の固体撮像装置や撮像装置に適用することができる。この場合、ブロック内のカラーフィルタの一組の同色画素又は同色に準じる画素に重なるように偏光子が配置されているのが好ましい。例えば、カラーフィルタは、緑色又は緑色に準じる色の色フィルタを複数持つ場合、好ましくは、緑色又は緑色に準じる色の色フィルタと重なるように複数の偏光子が配置されているとよい。この場合、複数種類の偏光子の１つはＴＥ波相当のみを通す偏光子であり、複数種類の偏光子のもう１つはＴＭ波相当のみを通す偏光子であるとよい。
【００２５】
「同色に準じる画素」或いは「緑色に準じる色」とは、完全に同じ色であることに限定されないことを意味し、実質的に同色と見なせる場合や、同色ではないが、同系統と云える色も含む意味である。例えば、緑に対して黄緑や青緑は「同色」に準じる色の関係にあると見做す。例えば、色再現を改善するために、赤（Ｒ）、緑（Ｇ）、青（Ｂ)の３色だったカラーフィルタに、エメラルド（青緑）を加え４色とする場合における緑とエメラルドとは「同色」に準じる色の関係にあると見做す。
【００２６】
本開示に係る技術において、カラーフィルタが例えば、２つの緑色と１つの赤色と１つの青色の各色フィルタがベイヤー配列されている場合は、緑色の色フィルタと重なるように２種類の偏光子が配置されているのがよく、この場合には、一方の偏光子はＴＥ波相当のみを通す偏光子であり、他方の偏光子はＴＭ波相当のみを通す偏光子であるのがよい。
【００２７】
本開示に係る技術においては、ブロック内には、１種類の偏光子が１つ配置されていてもよい。この場合、偏光子は、ＴＥ波相当のみを通す偏光子とＴＭ波相当のみを通す偏光子の何れかであるとよい。或いは又、４５度の偏光波相当のみを通す偏光子と１３５度の偏光波相当のみを通す偏光子の何れかとしてもよい。例えば、一般的な被写体像を考えた場合、横縞模様と縦縞模様の何れかに着目してオートフォーカス制御を行なえば十分であり、横縞模様に着目する場合であればＴＥ波相当のみを通す偏光子を使用すればよいし、縦縞模様に着目する場合であればＴＭ波相当のみを通す偏光子を使用すればよい。又、斜め縞模様に着目してオートフォーカス制御を行なう必要がある場合であれば、右斜め上方向の縞模様に着目する場合であれば４５度の偏光波相当のみを通す偏光子を使用すればよいし、左斜め上方向の縞模様に着目する場合であれば１３５度の偏光波相当のみを通す偏光子を使用すればよい。
【００２８】
例えば、色分離を行なうカラーフィルタを有し、カラーフィルタは、２つの緑色と１つの赤色と１つの青色の各色フィルタがベイヤー配列されている場合であれば、緑色の色フィルタと重なるように、ＴＥ波相当のみを通す偏光子とＴＭ波相当のみを通す偏光子の何れかが配置されているとよい。或いは又、４５度の偏光波相当のみを通す偏光子と１３５度の偏光波相当のみを通す偏光子の何れかが配置されていてもよい。
【００２９】
本開示に係る技術においては、動画撮像時に信号が読み出されない画素に重なるように偏光子が配置されていてもよい。動画時の信号処理に負荷を掛けることはない。
【００３０】
本開示に係る技術においては、撮像部の全領域に亘って偏光子が配置されていることに限らず、一部分に偏光子が配置されていてもよい。特に、オートフォーカス制御という点に着目した場合、主たる被写体（注目被写体）が通常、何処に配置されるかに応じて、偏光子を配置する「オートフォーカス対象の領域」を決めればよい。典型的には、オートフォーカスは通常被写体の中心位置で実現されることが望ましいので、偏光子は、少なくとも撮像部の中央領域に配置されていることが望ましい。
【００３１】
本開示に係る技術においては、偏光子は、撮像部の周辺領域にも配置されていてもよい。この場合、周辺領域の偏光子が配置された画素から出力される検知情報は、オートフォーカス制御に利用されてもよいし、周辺領域において発生し得る固体撮像装置上と肉眼上で感じる明るさの大小関係の逆転現象を補正するための感度補正に利用されてもよい。因みに、中央領域と周辺領域の区分けは例えば、ＴＥ波成分とＴＥ波成分との差が、画素の信号出力に対して１／５０程度未満の差しかつかない領域を中央領域とし、その周辺部を周辺領域とすればよい。
【００３２】
＜オートフォーカス方式の比較例＞
最初に、本開示のオートフォーカスの理解を容易にするべく、比較例のオートフォーカスについて説明する。図２３も参照するとよい。
【００３３】
［コントラストオートフォーカス］
図１は、コントラストオートフォーカスを説明する図である。ここで、図１（Ａ）は、ピントが合っている状態を示し、図１（Ｃ）は、ピントがずれている状態を示し、図１（Ｂ）は、それらの中間状態を示す。
【００３４】
コントラストオートフォーカスは、画素信号の出力観察を行なって合焦状態を検出するものであり、コントラストオートフォーカスでは、ピントが合っている状態では、図１（Ａ）に示すように、コントラストが高く、逆に、ピントがずれている状態では、図１（Ｃ）に示すように、コントラストが低くなる。そこで、全面スキャンをし、輝度コントラストが大となる状態を検出して、合焦検知を行なう、つまり、コントラストが大きければ合焦と判定する。このコントラストオートフォーカスは、画素信号の出力観察で対応可能であるため撮像用のセンサ（固体撮像装置）を活用できるが、焦点をずらして複数枚撮像する必要があるため（何度もスキャンするため）、応答（レスポンス）が遅く、オートフォーカススピードが遅いという欠点がある。つまり、被写体全面の周波数解析を判断材料とするため、かなりの枚数取得が必要でありその分時間を要する。又、周波数の高い画像の場合は、ＭＴＦ（Modulation Transfer Function）等の関係で合焦状態でも輝度コントラストが小さくなるため、周波数の高い画像の検知が苦手である。つまり、手法が高周波・低周波の分析であることから、元々、高周波の被写体に対しては苦手とする面がある。
【００３５】
［位相差検知オートフォーカス］
図２は、位相差検知オートフォーカスを説明する図である。位相差検知オートフォーカスでは、レンズを通して取り込んだ光をセパレートレンズで分離して各別の位相差検出用のセンサ（通常４領域のリニアセンサ）に入射させる。この方式は、近い箇所は大きくずれ遠い箇所はほとんどずれないという視差を利用するものであり、４箇所のリニアセンサで取り込んだ画像を重ね合わせてずれ量を測定（検出）して 距離を算出する。この位相差検知オートフォーカスは、撮像用のセンサ（固体撮像装置）とは別途に位相差検出用のセンサ（４領域のリニアセンサ）を設けるため、オートフォーカススピードを高速化することができる（応答が速い）。しかしながら、そのセンサに像を結ぶためのレンズ系（位相差検出用のセンサへの結像レンズ、位相差を設けるためのセパレートレンズ等）が必要であり、装置の大型化や高コストの点で不利となる。例えば、デジタルスチルカメラへの搭載は、重量や体積等の点から、採用し難い。又、距離誤検知を起こし易い難点もある。
【００３６】
［画素内位相差オートフォーカス］
図３は、画素内位相差オートフォーカスを説明する図である。画素内位相差オートフォーカスは、撮像素子の出力そのものを使うオートフォーカス方式の一例である。画素内位相差オートフォーカスは、例えば撮像素子の開口面積を半分にそれぞれ偏らせて各画素（画素Ａ群（Phase Detectin Sensor Ａ）と画素Ｂ群（Phase Detectin Sensor Ｂ））に像を入射させる。例えば検知用画素は２画素ペアで相互に半開口としている。ピントがずれると像が分離し、さらに前ピン（被写体よりも前にピントが合っている状態）と後ピン（被写体よりも後ろにピントが合っている状態）とで、画素Ａ群と画素Ｂ群とでは像の分離方向が逆になるという特質がある。集光状態と開口のサイドの関係から相対する画素群の輝度分布が逆方向となることに基づく。このことが予め分かっているため、合焦の方向が分かる。
【００３７】
この画素内位相差オートフォーカスでは、画素Ａ群と画素Ｂ群の合焦方向のずれ量を検出してオートフォーカスを行なうため、画素内での情報のみを使用した処理が可能である。しかしながら、画素内位相差オートフォーカスでは、開口面積を半分にそれぞれ偏らせての素子利用であるため、出力が落ちてしまうため、信号差が小さくなり、距離誤検知を起こし易いし、２枚の画像の比較が必要なため、応答が遅く、応答を速くしようとすると、それなりの高速処理が必須になる。
【００３８】
［本実施形態のオートフォーカス］
このように、比較例の各オートフォーカスは、装置規模や応答の面で依然として難点がある。そこで、本明細書で開示する技術では、装置規模をさほど増大させることなく応答の速いオートフォーカスを提案する。その基本的な手法は、偏光子を配置した画素（偏光画素）から取得された情報（偏光情報、実態としては輝度情報）を利用するというものである。一般的な固体撮像装置にあっては、画素の電荷検出部（光電変換素子）そのものは、偏光に対して感度を有していない。即ち、光の有する偏光情報は用いられずに捨てられているのが実情である。太陽光は無偏光であるが、その光を反射・散乱した光には反射面の表面状態に起因した偏光成分が含まれており、特定の方向に偏った偏光成分が多く含まれる。そこで、本明細書で開示する技術では、偏光子を画素に配置して特定の方向の偏光成分を検知し、その検知情報をオートフォーカス制御に利用する。
【００３９】
偏光子は、詳細には後述するが、撮像領域全体に配置する必要はなく、少なくとも「オートフォーカス対象の領域」に配置されていればよい。更には、「オートフォーカス対象の領域」の全ての画素に偏光子が配置されていることも必須ではなく、所定数の画素を一単位とするブロックごとに、１個〜数個の偏光画素が配置されていればよい。好適には、ブロック内の各偏光子の偏光角は異なっているのがよく、偏光子の偏光主軸の角度の種類をＮとしたとき、それぞれの角度差は１８０／Ｎであるのがよい。典型的には（最も好適なシンプルな構成では）、２画素ペアで、相互に異なる偏光状態（典型的には偏光角の差が９０度）を検出し、その検知情報を使用して予め定められた算術式に基づいて指標値を算出し、算出された指標値に基づいて合焦判定や光学系のフォーカス制御を行なう。もちろんこのことは必須でなく、ブロック相互間の各偏光子の偏光角はランダムに配置されたものであってもよい。
【００４０】
偏光子の配置態様が如何様であっても、単純に偏光子を配した画素（偏光画素）から得られる検知情報（偏光情報、実質的にはいわゆる輝度情報である）を利用するので、高速処理が可能である。特に、ブロック内に偏光角の異なる複数種類の偏光子を配置する態様ではそれら偏光画素の出力差を利用することができる。コントラストオートフォーカスや画素内位相差オートフォーカスでは検出不可能な、例えば全面赤の被写体や全面青の被写体、中央赤、中央青の被写体等でも合焦状態に依存した偏光情報が得られるため、これらの画像においても正確な合焦位置を検出することができる。
【００４１】
合焦位置の判定には、いわゆる山登り制御の技術（山登りサーボ方式）をそのまま利用することができるので、公知の当該山登り制御の技術の利点を有効に活用できるという特徴がある。通常の山登りサーボ方式では、映像信号の鮮鋭度（コントラスト）、つまり高周波成分が、できるだけ最大になるように光学焦点調整機構を制御して、コントラストのピーク点（できるだけ高い位置）を探索することにより、自動的に焦点調整を行なう。山登りサーボ方式は大別すると、山の傾斜やピークを見つける試行法と、ピエゾ素子等を利用して固体撮像装置を微少変動させながら合焦位置を見つける摂動法（いわゆるピエゾオートフォーカス）の２通りがある。例えば、試行法では、試行動作により山の傾斜を見つけるモード、ピークを見つけるモード、ピークをいったん越えたことを判定し、必要に応じてフィルタを切り替える操作のモード、ピークから行き過ぎた量だけモータを逆回転してピークに戻すモード、合焦状態を示すモードの各モードからなる。摂動法では、大まかには試行法に準じた動作をするが、固体撮像装置を微少変動させるので、前ピン側或いは後ピン側の何れにあっても、そこからの焦点位置の方向をほぼ即時に判断できるため、ピークを見つける（つまり合焦状態にする）動作が試行法よりも高速である利点がある。本実施形態では、試行法・摂動法を問わず、通常の映像信号に基づく鮮鋭度（コントラスト）に代えて偏光子を配した画素から得られる情報を使用する。以下、具体的に説明する。
【００４２】
＜偏光による反射率の角度依存性について＞
図４は、偏光による反射率の角度依存の挙動を説明する図である。完全にパッシブ（受動的）な被写体形状センシング方式として、偏光を利用する技術がある。これは非偏光の自然光を照射された被写体からの反射光（鏡面反射光又は拡散反射光）が、表面の向きや視点という幾何学的要因によって種々の部分偏光を呈することを利用する技術である。この情報の取得のためには、被写体各画素の部分偏光状態を偏光画像として取得する。人工光は通常偏光しているので、偏光画像を取得する場合、偏光の影響で反射率が高く透過率が低くなっている部分や、そうでない部分が現れる。
【００４３】
誘電率の異なる一組の材質で形成される界面を３パターン用意する。次にその各々の界面にＴＭ波（Transverse Magnetic Wave）、ＴＥ波（Transverse Electric Wave）を照射する。ＴＭ波は、ｐ偏光とも呼ばれ、磁場成分が入射面に対して横向きの波であり、磁場の進行方向横（切るという意）の成分が０（ゼロ）である。ＴＥ波は、ｓ偏光とも呼ばれ、電場成分が入射面に対して横向きの波であり、電場の進行方向（切るという意）の成分が０（ゼロ）である。そうすると、入射角度の大小によってＴＭ波、ＴＥ波がそれぞれ示す反射率の値が大きく異なっていく。尚、ＴＭ波、ＴＥ波はいわゆる偏光の一種である。
【００４４】
その依存を示したものが図４であり、ある界面での偏光の入射角による反射率（縦軸）の違いを示している。詳しくは、図４では、誘電率或いは屈折率の異なるある材料が積層されている際に、ＴＭ波、ＴＥ波を入射した際の入射角度と反射率の関係が示されている。入射角度０度では、ＴＭ波、ＴＥ波の別はそもそもつかないことから、界面３パターンともに、ＴＭ波、ＴＥ波の各反射率は同値を示している。しかしながら、入射角度が大きくなるにつれて、ＴＭ波の反射率は下がり、ＴＥ波の反射率は上がる。ＴＭ波の反射率は界面３パターンともに、入射角度を大きくするにつれ、反射率０まで下がり続ける。その後、急激に反射率が上がり、入射角度９０度の時点でＴＥ波の反射率と同値をとる。９０度ではもはやＴＭ波、ＴＥ波の別は区別できない。一方、ＴＥ波は入射角度を大きくするにつれその反射率は一方的に増加する。これらの挙動の違いは、ＴＭ波、ＴＥ波の電場、磁場の振動方向が９０度異なることに由来している。即ち、ＴＭ波は入射平面に対して、磁場が平行に振動する波であり、ＴＥ波は入射平面に対して、逆に電場が平行に振動する波であり、この両者の違いが入射平面に対する反射率の差を生む。このような関係は、界面での材料特性によって決まるものであり、感度にはよらない。
【００４５】
＜斜め入射、偏光、反射率の関係＞
図５〜図６は、斜め入射と偏光と反射率の関係を説明する図である。ここで、図５は、偏光状態によって反射率が変化することを説明する図である。図６は、電場と磁場の実振幅の違いを説明する図である。
【００４６】
一般的に偏光状態によって反射率は変化する。これは、図６（フレネルの公式に基づく）から導くことができる。図６（Ａ）は、ｐ偏光（ＴＭ波）の場合であり、その反射率は式（１−１）で表すことができる。図６（Ｂ）は、ｓ偏光（ＴＥ波）の場合であり、その反射率は式（１−２）で表すことができる。因みに、式（１）（式（１−１）及び式（１−２））において、屈折率ｎがない理由は、出射角度θ2が入射上下の材質の屈折率と入射角度θ1によって一意に決まるからである。
【００４７】
【数１】
【００４８】
図６に示すように、電場の実振幅Ｅと磁場の実振幅Ｍには大きな違いがある。具体的には、式（２）で示すように、「Ｅ：Ｈ≒４００：１」の関係がある。これより、偏光方向による反射率の差異が起こるか否かを考えるときには、主に電場のみを考えておけばよいことが分かる。
【００４９】
【数２】
【００５０】
＜本実施形態のオートフォーカスの原理＞
図７〜図９は、偏光子を配した画素から得られる情報（輝度情報）を利用する本実施形態のオートフォーカスの原理を説明する図である。ここで、図７は、偏光画素の出力信号の合焦状態の依存性を説明する図である。図８は、ＴＭ波用の偏光子（パターン化偏光子１０２TM）とＴＥ波用の偏光子（パターン化偏光子１０２TE）との対を、「オートフォーカス対象の領域」の４箇所に配置した場合の偏光画素の出力例を示す図である。図９及び図１０は、オートフォーカス制御用の指標値の算出手法を説明する図である。
【００５１】
本実施形態のオートフォーカスを画素内偏光オートフォーカスと称し、特に、複数種類の偏光角度を利用して、対の各偏光子を配した画素から得られる偏光情報（輝度情報）の差を利用する形態を画素内偏光輝度差オートフォーカスと称する。
【００５２】
偏光子を配した画素から得られる情報（輝度情報）は、合焦状態（前ピンか、ジャスピンか後ピンか）によって変わり、更には被写体と偏光角度との関係にも依存する。例えば、図７（図８も参照）に示すように、被写体像が主にｐ偏光成分となるような（図示のように縦縞模様の）場合には、ＴＭ波用の偏光子を配した画素から得られる情報としては、フォーカスが合っていれば輝度情報が高くなり、フォーカスが合っていなければ輝度情報が低くなる。このとき、ＴＥ波用の偏光子を配した画素から得られる情報としては、フォーカスが合っているか否かに拘わらず、輝度情報の高低には殆ど変化がなく、輝度情報が低くなる。
【００５３】
図示しないが、被写体像が主にｓ偏光成分となるような（横縞模様の）場合には、ＴＥ波用の偏光子を配した画素から得られる情報としては、フォーカスが合っていれば輝度情報が高くなり、フォーカスが合っていなければ輝度情報が低くなる。このとき、ＴＭ波用の偏光子を配した画素から得られる情報としては、フォーカスが合っているか否かに拘わらず、輝度情報の高低には殆ど変化がなく、輝度情報が低くなる。図示しないが、被写体像が主に斜め４５度の偏光成分となるような（右上がりの縞模様の）場合には、４５度偏光波用の偏光子（４５度偏光子）から得られる情報としては、フォーカスが合っていれば輝度情報が高くなり、フォーカスが合っていなければ輝度情報が低くなる。このとき、１３５度偏光波用（或いはＴＭ波用やＴＥ波用）の偏光子を配した画素から得られる情報としては、フォーカスが合っているか否かに拘わらず、輝度情報の高低には殆ど変化がなく、輝度情報が低くなる。図示しないが、被写体像が主に斜め１３５度の偏光成分となるような（左上がりの縞模様の）場合には、１３５度偏光波用の偏光子（１３５度偏光子）から得られる情報としては、フォーカスが合っていれば輝度情報が高くなり、フォーカスが合っていなければ輝度情報が低くなる。このとき、４５度偏光波用（或いはＴＭ波用やＴＥ波用）の偏光子を配した画素から得られる情報としては、フォーカスが合っているか否かに拘わらず、輝度情報の高低には殆ど変化がなく、輝度情報が低くなる。このように、偏光角度に関わらず、フォーカスが合っていれば偏光子を配した画素から得られる輝度情報が高くなる。尚、何れの場合も、フォーカスが合っている状態の方が情報量が増える（ヒストグラム上で分布量が増える）。
【００５４】
これらの点を踏まえると、偏光子を配した画素から得られる情報を利用することにより、フォーカスが合っているか否かの判定が可能であることが推測される。本明細書で開示する技術は、この点に着目してなされている。更には、必要に応じて（特に撮像領域の周辺部において）、偏光による反射率の角度依存性を考慮した感度補正処理を行なうことで、固体撮像装置上と肉眼上での明るさの大小関係の逆転現象を防止することができることが推測される。本明細書で開示する技術は、これらの点に着目してなされている。
【００５５】
原理的には、偏光角度はオートフォーカス対象の全領域において１種類でもよい。この場合、偏光子を配した画素から得られた偏光情報（輝度情報）そのものを使用して予め定められた算術式に基づいて指標値を算出し、算出された指標値に基づいて合焦判定を行なう。そのため、例えば、図９（Ａ）に示すように、オートフォーカス対象の全領域についての複数画素の情報の加算値を判定指標値とする場合には、判定指標値が飽和（オーバーフロー）し易い。
【００５６】
しかしながら、この場合でも、ほとんどの被写体は偏光しているため、「（Ａ＋Ｂ）＋（Ｃ＋Ｄ）＋…＝輝度値の合計」が得られる。輝度値の合計が飽和しない限りは、山登りサーボの技術を適用して、前ピン状態、合焦近傍状態、後ピン状態と、焦点位置を振っていき、輝度値の合計ができるだけ高くなる位置を見つけることにより、合焦させることができる。例えば、図９（Ｂ）に示すように、前ピン範囲内でのある位置Ｐ１での輝度値の合計値をＳＵＭ１、合焦近傍範囲内のある位置Ｐ２での輝度値の合計値をＳＵＭ２、後ピン範囲内でのある位置Ｐ３での輝度値の合計値をＳＵＭ３としたときに、「ＳＵＭ１＜ＳＵＭ３＜ＳＵＭ２」と仮になれば、位置Ｐ２と位置Ｐ３の間に（図９（Ｂ１）参照）、或いは、位置Ｐ２よりも少し位置Ｐ１より側に（図９（Ｂ２）参照）に、焦点位置（合焦点）があると推定することができる。
【００５７】
尚、ここでは偏光子の角度が１種類であるので、偏光子を配した画素から得られた偏光情報（輝度情報）そのもののレベルを使用する場合で説明したが、これに限らず、例えば、偏光子を配した画素に隣接する他の色画素との差を利用することもできる。この場合、後述の複数種類の偏光情報を利用する場合と同様の信号処理を行なうことができる。
【００５８】
合焦状態と偏光子を配した画素から得られる情報との間には、被写体像がどのような状態であるかが関係するので、判定性能を高めるには、複数種類の偏光情報を利用することが好ましい。例えば、一般的には、縦縞と横縞とに着目した判定で十分と考えられるため、この場合には、ＴＭ波相当のみを通す偏光子とＴＥ波相当のみを通す偏光子とを組み合わせて使用する（つまり、水平・垂直の組とする）。好適にはＴＭ波用の偏光子とＥＭ波用の偏光子とを隣接させて配置する。或いは斜め方向の縞模様に着目する場合であれば、４５度偏光波相当のみを通す４５度偏光波用の偏光子と１３５度偏光波相当のみを通す１３５度偏光波用の偏光子とを組み合わせて使用する（つまり、９０度の偏光差を持つ斜め方向の組とする）。好適には４５度偏光波用の偏光子と１３５度偏光波用の偏光子とを隣接させて配置する。或いは又、一組は水平・垂直とし、別の一組は斜め方向という置き方にしてもよい。もちろん、オートフォーカス対象の全領域において各組の向きを統一させる必然性はなく、各組の方向が異なるランダム配置にしてもよい。
【００５９】
複数種類の偏光角度の情報を利用する場合には、組ごとに各偏光子を配した画素から得られた偏光情報（輝度情報）そのものを使用して予め定められた算術式に基づいて第１の指標値を算出し、更に、オートフォーカス対象の全領域についての各組の第１の指標値を使用して予め定められた算術式に基づいて第２の指標値を算出し、算出された第２の指標値に基づいて合焦判定を行なう。このとき例えば、図１０（Ａ）に示すように、組ごとに偏光情報の差分をとり第１の指標値としての差分情報を求め、その差分情報に基づいて、オートフォーカス対象の全領域の複数画素の情報の加算値を第２の指標値として求めるとよい。例えば、ＴＥ波とＴＭ波の輝度差の変化を利用してオートフォーカス機能を担わせる。差分情報の加算値であるので、判定指標値は飽和し難くなる利点がある。
【００６０】
例えば、輝度Ａ＞輝度Ｂ、輝度Ｃ＜輝度Ｄ、…とすると、「（Ａ−Ｂ）＋（Ｄ−Ｃ）＋…＝差の合計」が得られる。ほとんどの被写体は偏光しているが、どのように偏光しているかは分からないため、単に出力の大きい方から小さい方をひいて判断してよい。出力値の大小判定を割愛するべく、差分の絶対値を使用してもよい。この場合も、山登りサーボの技術を適用して、前ピン状態、合焦近傍状態、後ピン状態と、焦点位置を振っていき、輝度差の合計ができるだけ高くなる位置を見つけることにより、合焦させることができる。例えば、図１０（Ｂ）に示すように、前ピン範囲内でのある位置Ｐ１での輝度差の合計値をＤＥＦ１、合焦近傍範囲内のある位置Ｐ２での輝度差の合計値をＤＥＦ２、後ピン範囲内でのある位置Ｐ３での輝度差の合計値をＤＥＦ３としたときに、「ＤＥＦ１＜ＤＥＦ３＜ＤＥＦ２」と仮になれば、位置Ｐ２と位置Ｐ３の間に（図１０（Ｂ１）参照）、或いは、位置Ｐ２よりも少し位置Ｐ１より側に（図１０（Ｂ２）参照）に、焦点位置（合焦点）があると推定することができる。
【００６１】
ここでは、何れの場合も、オートフォーカス用の判定指標値としては、輝度情報に基づく加算値を利用する場合で説明したが、これには限らない。例えば、平均値や中央値（メジアン）等を利用することもできる。
【００６２】
尚、偏光子或いは偏光子の組を所定間隔で撮像領域のオートフォーカス対象の領域に配置する。「所定間隔」とするのは、偏光子を配置する画素のために通常画像の撮像に悪影響を与えることを緩和するためである。通常画像撮像時における偏光子を配置した画素の扱いについては例えば、静止画、動画に関わらず偏光子を配置した画素の情報は無視する手法を適用してもよく、この場合は、「補正」ではなく、偏光子を有する画素と同じ検出波長帯を有し、偏光子を有していない隣接する画素の情報（輝度情報）によって「補間」により、偏光子が配置されている画素から得られる偏光情報（輝度情報）を算出する（見積もる）とよい。例えば、偏光子が配置されている画素から得られる偏光情報を、周辺画素の平均値で置き換える。或いは又、その周辺画素（好ましくは、偏光子を配置した画素は除く）の情報を使って補正により、より的確な画素情報を算出してもよい。例えば、偏光子が配置されている画素から得られる偏光情報（輝度情報）を、偏光子を有する画素と同じ検出波長帯を有し、偏光子を有していない隣接する画素の情報（輝度情報）によって補正する。何れの場合も、カラー撮像の場合には、同色のもの同士で対処するのがよい。
【００６３】
又、動画撮像時（ファインダーモード時を含む）には、ビデオレートに近づけるために、表示装置に表示するために必要な信号ライン或いは画素以外を間引くような駆動方法がとられるので、この点を考慮した「所定間隔」とすることが好ましい。即ち、偏光子をオートフォーカス対象の領域の全面に配置するのではなく、一部の画素に周期的に配置することで、偏光子画素は動画時に読み出されないいわゆる間引き画素に選択的に配置することが好ましい。これにより、動画時の信号処理に負荷を掛けることがなく、フレームレートに支障を与えることもない。
【実施例１】
【００６４】
［偏光子の配置位置］
図１１〜図１２は、偏光子の配置例を説明する図である。ここで、図１１は比較例の偏光子の配置例を示し、図１２は、実施例１の偏光子の配置例を示す。
【００６５】
何れの色画素を偏光子画素とするかにおいては、例えば、Ｍ×Ｎブロック内において、カラーフィルタ１００の一組の同色画素或いは同色に準じる１対の画素の組合せを選択して、それら選択した１対の画素上に偏光角度が異なる２種類のパターン化偏光子１０２を配置するのがよい。全画素領域に対してＭ×Ｎブロック周期で繰り返すことにより、全体的に偏光子画素を配置することもできるが、本実施形態においては、特に、後述する「オートフォーカス対象の領域」に配置すればよい。
【００６６】
図１１に示す比較例の場合、カラーフィルタ１００及びパターン化偏光子１０２が、固体撮像装置１０４（の撮像部）の撮像画素１０６の前面に重ねて配置されている。固体撮像装置１０４上にパターン化偏光子１０２を全面配置した典型例である。カラーフィルタ１００とパターン化偏光子１０２の配置の順番は任意である。入射光は、カラーフィルタ１００及びパターン化偏光子１０２を透過して固体撮像装置１０４に到達し、その撮像部の撮像画素１０６によって輝度が観測される。
【００６７】
一方、図１２に示す実施例１では、カラーフィルタ１００のＭ×Ｎブロック内において、特定色の部分にそれぞれ異なる偏光主軸を有する複数種類のパターン化偏光子１０２を各々配置する。パターン化偏光子１０２が配置される画素を偏光子画素と称する。パターン化偏光子１０２が配置されない画素を非偏光子画素と称する。複数種類のパターン化偏光子１０２とは、それぞれ異なる偏光主軸を有すればよいが、好ましくは、両者の偏光主軸の角度差を９０度とするとよい。「偏光主軸」とは、パターン化偏光子１０２を透過する光の偏波面（透過偏波面）に平行な軸である。
【００６８】
実施例１では、比較例とは異なり、パターン化偏光子１０２を全面配置するのではなく、一部の画素に周期的に配置する。この際には好ましくは、図１２に示すように、偏光子画素は動画時に読み出されないいわゆる間引き画素に選択的に配置することができる。これにより、動画時の信号処理に負荷を掛けることはない。よって、フレームレートに支障を与えることもない。
【００６９】
以下では、ベイヤー配列の固体撮像装置１０４を例にとって、２種類のパターン化偏光子１０２を配置する場合で説明する。図１２に示す例は、ベイヤー配列のＧ画素（Ｇｒ画素及びＧｂ画素）上に２種類のパターン化偏光子１０２を配置している。１つはＴＥ波相当のパターン化偏光子１０２TE、もう１つはＴＭ波相当のパターン化偏光子１０２TMである。ＴＥ波相当のパターン化偏光子１０２TEとＴＭ波相当のパターン化偏光子１０２TMとは、それぞれ異なる偏光主軸を有し、両者の偏光主軸の角度差は９０度である。その配置の頻度・間隔は、ベイヤー単位のＧｒ、Ｇｂへの配置を単位とし、一例として、横８×縦４を１ブロック（単位）に１つ位の間隔とする。図１２は、動画時に読み出されない間引きラインであってＧｂライン（Ｇｂ画素の水平ライン）のＧｂ画素にパターン化偏光子１０２TEを配置し、動画時に読み出されない間引きラインであってＧｒライン（Ｇｒ画素の水平ライン）のＧｒ画素にパターン化偏光子１０２TMを配置した例で示している。ＴＥ波相当の偏光はＴＭ波相当の偏光に対して反射率が高い。しかし、この差を肉眼では感じることができない。何故なら、肉眼の場合、視細胞の配置の影響でどんな光もほぼ入射角度がゼロで入射されるからである。
【００７０】
２つの偏光子画素から得られる輝度情報そのもの或いは感度差（つまり輝度差）を利用してオートフォーカスを実現することができるし、２つの偏光子画素から得られる感度差（つまり輝度差）を利用して画角全体に感度補正を施し、肉眼上と固体撮像装置１０４上の感度を一致させることもできる。後者の場合、オートフォーカスだけでなく、固体撮像装置上と肉眼上での明るさの大小関係の逆転現象を防止することができることができる。
【００７１】
配置間隔は、例えば１４００万画素の固体撮像装置を対象として考えた場合には６４０画素×４８０画素以上、即ち、ＶＧＡ相当以上となる。６４０画素×４８０画素以上即ちＶＧＡ相当以上であれば補正の意味は十分にあり、しかも、解像度の劣化が意識されるレベルでもない。
【００７２】
例えば、Ｇｒ画素にはＴＥ波相当のみを通すパターン化偏光子１０２TEを配置し、Ｇｂ画素にはＴＭ波相当のみを通すパターン化偏光子１０２TMを配置する。或いは逆に、Ｇｒ画素にはＴＭ波相当のみを通すパターン化偏光子１０２TMを配置し、Ｇｂ画素にはＴＥ波相当のみを通すパターン化偏光子１０２TEを配置してもよい。パターン化偏光子１０２TMを配置する画素をＴＭ画素と称し、パターン化偏光子１０２TEを配置する画素をＴＥ画素と称する。
【００７３】
つまり、ベイヤー配列のＧ画素上に一組の逆方向の偏光子画素を配置する。その配置の頻度・間隔は、ベイヤー単位のＧｒ、Ｇｂへの配置を単位とし、横８×縦４画素のブロックを単位に１つ位の間隔とする。ＧｒにはＴＥ波相当のみを通すパターン化偏光子１０２TEを配置し、ＧｂにはＴＭ波相当のみを通すパターン化偏光子１０２TEを配置する。或いは、ＧｒにはＴＭ波相当のみを通すパターン化偏光子１０２TMを配置し、ＧｂにはＴＥ波相当のみを通すパターン化偏光子１０２TMを配置する。これらの対の偏光子画素の輝度差の総和が最も最大の位置を合焦位置とする。
【００７４】
こうすることにより、ＴＥ波とＴＭ波の輝度差の変化を利用してオートフォーカス機能を実現することができる。単純に輝度差を総和するだけのため、高速処理が可能であるし、３２画素に一対の配置のため、補完がより精度を保持した状態で可能である。コントラストオートフォーカスや画素内位相差オートフォーカスでは検出不可能な、例えば全面赤の被写体や全面青の被写体、中央赤、中央青の被写体にも合焦位置を検出可能であるし、感度補正等の偏光情報も利用できる。
【００７５】
ここでは、ベイヤー配列のＧ画素（Ｇｒ画素及びＧｂ画素）上に２種類のパターン化偏光子１０２を配置する例で説明したが、これには限定されない。偏光子画素（或いは非偏光子画素）の組合せ色は任意である。例えば、Ｇｒ画素及びＧｂ画素の何れか一方とＲ画素及びＢ画素の何れか一方との組合せ、或いは、Ｒ画素とＢ画素の組合せとしてもよい。その組合せに応じて、感度補正処理において、色画素の感度の相違を「感度比」で補正すればよい。
【００７６】
［偏光子画素の配置位置］
図１３は、偏光子画素の配置位置を説明する図である。図１４は、感度補正非対象範囲の規定原理を説明する図である。図２４も参照するとよい。
【００７７】
偏光子画素を配置する「オートフォーカス対象の領域」としては、典型的には、図１３（Ａ）に示すように、撮像領域の中央寄りの位置である。例えば、撮像エリアの中心側は斜め入射の影響が少なく、感度補正を必要としないので、全画素領域に対して部分的に（詳しくは撮像エリアの中央側にのみ）偏光子画素を配置するのがよい。これは入射角度が小さい場合、固体撮像装置１０４上と肉眼上での明るさの大小関係の逆転現象が起こり得ないか若しくはその差が軽微であり、敢えて感度補正する必要がないと考えられるからである。例えば、全画素領域の１／２０〜１／３０程度の周辺領域を除く領域に偏光子を配置するとよい。画素領域（撮像エリア）の中央位置への配置が優先されることが望ましいのは、オートフォーカスは通常被写体の中心位置で実現されることが望ましいからである。但し、原理的には、その配置位置は画素領域の中央位置には限定されず、周辺領域であってもよいし、図１３（Ｂ）に示すように全面でもよい。主たる被写体（注目被写体）が通常、何処に配置されるかに応じて、偏光子画素を配置する「オートフォーカス対象の領域」を決めればよい。尚、図１３（Ｂ）に示す場合において、周辺部の感度補正対象領域は、オートフォーカス対象の領域としないようにしてもよい。つまり、偏光子画素の配置箇所は撮像エリアの全面を対象とするが、「オートフォーカス対象の領域」は図１３（Ａ）に示す撮像領域の中央寄りの領域のみであり、周辺部は感度補正対象領域専用とする形態である。図１３（Ｂ）に示す場合において、周辺部の感度補正対象領域と中央部の感度補正不要領域との間に偏光子を配置しない緩衝領域を設けてもよい。
【００７８】
因みに、前述のように、撮像領域の周辺部では、偏光による反射率の角度依存性により感度の逆転現象が見られるため、この点を考慮した感度補正処理を行なうことで、固体撮像装置上と肉眼上での明るさの大小関係の逆転現象を防止する技術を併用することが好ましい。この場合、感度補正用の偏光子を配した画素から得られる情報を合焦用にも使用することができる。つまり、同じ偏光子を感度補正用と合焦用とに兼用することができる。
【００７９】
例えば、ＴＥ波成分とＴＥ波成分との差が、画素の信号出力に対して１／５０程度未満の差しかつかない中央側の領域を感度補正不要領域とし、当該感度補正不要領域の周辺の領域を、感度補正対象領域とする。そして、図１３（Ａ）に示すように、「オートフォーカス対象の領域」を撮像領域の中央寄りの位置とする場合には、この感度補正不要領域（全体或いは一部）を「オートフォーカス対象の領域」に割り当てる。こうすることで、当該領域の偏光子画素は専らオートフォーカス用に使用すればよい。或いは、図１３（Ｂ）に示すように、「オートフォーカス対象の領域」を撮像領域の周辺部にも割り当てる場合は、感度補正対象領域の偏光子画素は、オートフォーカス用と感度補正用とに兼用する。
【００８０】
例えば、信号出力が１５０ミリボルト（ｍＶ）に対して３ミリボルト未満の差しかつかない撮像エリア中心側の領域を感度補正不要領域とし、この感度補正不要領域を除いた撮像部の周辺領域を感度補正対象領域とする。前記条件の撮像エリア中心側の領域は、概ね入射角度１０度程度以内の領域となるが、この領域は感度補正対象除外可能である。
【００８１】
入射角度１０度以下の範囲を感度補正非対象範囲（感度補正不要領域）とすることができる理由について、図１４を参照して説明する。固体撮像装置１０４の撮像画素１０６の検知部（いわゆるフォトダイオードが典型例）は、例えば、シリコン基板（Ｓｉ：屈折率ｎは３．８）上にシリコンナイトライドＳｉＮ（屈折率ｎは２．１）が積層され、その上層にオンチップレンズ１０８及び保護層１０９が配置されている。
【００８２】
図１４に示すような簡略化した撮像画素１０６で算出した場合、大気中からシリコン到達で単純計算では凡そ５０パーセント程度の光が透過される。例えば、固体撮像装置１０４に、ある決まった光学条件を照射する際、“感度”と云われる出力量を比較すると、ＴＭ波／ＴＥ波の出力差は入射角度３０度で、約１０〜１５ミリボルト程度となる。視感度として、認識できる光量の差異はおよそ１０パーセント程度であるので、計算上は１５０ミリボルトの感度に対しては入射角度３０度以下は非補正対象となる。但し、固体撮像装置１０４はガンマ（γ）カーブやゲイン等、様々な出力補正が可能であることから、差異の認識は範囲をもう少し小さいと仮定する。これを３〜５ミリボルトとした。その差異がつく入射角度は、図１４に示す屈折率の積層組合せを例とすると、１０度程度となる。これにより、１０度程度以下の入射角度範囲を感度補正省略可能対象である理由とする。
【００８３】
尚、感度補正対象領域の偏光子の偏光角度（向き）は、統一されていることが望まし。その限りにおいて、斜め方向（４５度や１３５度等）でもよいし、１種類に限らず複数種類の偏光角度の組合せでもよい。複数種類の偏光角度の組合せとすることにより、輝度差を感度補正に利用することができる。又、「偏光角度が統一」という点においては、一組の偏光角度の組合せは、別の一組の偏光角度の組合せと統一がとれていることが望ましい。これに対して、「オートフォーカス対象の領域」の偏光子の偏光角度（向き）は、ランダム配置可能である。ある一組は水平垂直、別の一組は斜め方向という置き方でもよい。換言すると、感度補正対象領域の偏光子により得られる偏光情報（輝度情報）は、必ずオートフォーカス制御用にも使えるのに対して、「オートフォーカス対象の領域」の偏光子により得られる偏光情報（輝度情報）は、必ずしも、感度補正にも使えるとは云えない。
【００８４】
［偏光子を周辺領域に配置する場合の感度補正］
図１５は、感度補正処理に使用される２種類のパターン化偏光子１０２TE及びパターン化偏光子１０２TMの特性例を説明する図である。
【００８５】
固体撮像装置上と肉眼上での明るさの大小関係の逆転現象を防止するための感度補正処理に当たっては、偏光子が配された画素（偏光子画素と記す）から得られる情報に基づいて予め定められた条件に従って補正係数（補正量）を求め、この補正係数を使用して対象画素の輝度情報を補正するとよい。偏光子が配置される画素（偏光子画素と記す）はもちろんのこと、偏光子が配置されない画素（非偏光子画素と記す）も同様に補正する。この際には、入射角度と出力感度から求められる「感度差異による感度補正テーブル」を予め用意しておき、この感度差異による感度補正テーブルに従って１つ或いは１組の偏光子が網羅（担当）する領域の各画素の情報を一律に補正する。例えば、撮像画素１０６の「上層構造」と、「レンズ・固体撮像装置の位置関係」が決定すれば、画角（レンズ環境を含む）の位置による入射角度θが決定する。この画角位置（換言すると入射角度）と出力感度Ｓから求められる「感度差異による感度補正テーブル」に従って、どの程度補正するかを決定付ける補正量（補正係数）は、例えば、ＴＥ波とＴＭ波の差や、輝度画素（カラー撮像の場合はＧ画素と対応）とＴＥ波の差に基づく値を使用する。因みに、感度補正テーブルは、どの程度補正するかを決定付ける補正量（補正係数）を持つものであるが、例えば、ＴＥ波とＴＭ波の差を単純に上乗せする、若しくは、輝度画素（カラー撮像の場合はＧ画素と対応）とＴＥ波の差を単純に上乗せするということではなく、所定値の係数を掛けた値を使用する。係数値は０を採ってもよく、その場合は実態としては補正なしと等価である。係数の最大値は例えば０．５程度とすればよい。
【００８６】
又、カラー撮像の場合の感度補正に当たっては、色分離フィルタの色による感度の相違も考慮に入れる。例えば、ＴＭ画素やＴＥ画素として選択したＧ画素に対するＲ画素やＢ画素の感度の違いを示す指標を感度比とする。Ｒ画素の感度比についてはＲ画素出力値／Ｇ画素出力値、Ｂ画素の感度比についてはＢ画素出力値／Ｇ画素出力値とする。各画素出力値は、無偏光・無彩色時の出力値である。
【００８７】
尚、この感度補正の前提として、偏光子（つまり偏光子画素）の特性を予め知っておく必要がある。この「特性」は、例えば、予め定めた入射角度θにおける予め定めた出力相当光量の場合の出力値を使用することができる。この点について図１５を参照して説明する。例えば、図１５（Ａ）に示すように、無偏光波をＴＭ画素とＴＥ画素のそれぞれで受光することにより、そのときの感度データが得られる。即ち、例えば、ＴＭ画素とＴＥ画素のそれぞれで得られる出力値（ＴＭ画素出力値とＴＥ画素出力値）の差分Ｄ（＝ＴＭ画素出力値−ＴＥ画素出力値）の情報を、予め定めた入射角度θ（例えば４０度）と予め定めた出力相当光量（例えば１５０ミリボルト相当光量）のそれぞれについて求めることにより、非偏光時の差異値Ｄ（＝ＴＭ画素出力値−ＴＥ画素出力値）で構成されるテーブルデータを感度データとして取得することができる。そのデータベースを非偏光値感度データベースと記す。差分（差異値）Ｄは、入射角度θと、感度Ｓのパラメータであり、Ｄ（θ，Ｓ）と表すことができる。
【００８８】
又、図１５（Ｂ）に示すように、１００パーセントＴＭ波をＴＭ画素とＴＥ画素のそれぞれで受光することにより、そのときの感度データが得られる。即ち、１００パーセントＴＭ波に偏光している際のＴＭ画素出力値とＴＥ画素出力値の差分（＝ＴＭ画素出力値−ＴＥ画素出力値）の情報を、予め定めた入射角度θと予め定めた出力相当光量のそれぞれについて求めることにより、１００パーセントＴＭ波に偏光している際の差異値Ｄ’（＝ＴＭ画素出力値−ＴＥ画素出力値）で構成されるテーブルデータを感度データとして取得することができる。そのデータベースを１００パーセントＴＭ波感度データベースと記す。差分（差異値）Ｄ’も、入射角度θと、感度Ｓのパラメータであり、Ｄ’（θ，Ｓ）と表すことができる。図の例では、ＴＭ波に対してＴＭ画素は十分な感度を持っている。
【００８９】
更に、図１５（Ｃ）に示すように、１００パーセントＴＥ波をＴＥ画素とＴＥ画素のそれぞれで受光することにより、そのときの感度データが得られる。即ち、１００パーセントＴＥ波に偏光している際のＴＭ画素出力値とＴＥ画素出力値の差分（＝ＴＭ画素出力値−ＴＥ画素出力値）の情報を、予め定めた入射角度θと予め定めた出力相当光量のそれぞれについて求めることにより、１００パーセントＴＥ波に偏光している際の差異値Ｄ”（＝ＴＭ画素出力値−ＴＥ画素出力値）で構成されるテーブルデータを感度データとして取得することができる。そのデータベースを１００パーセントＴＥ波感度データベースと記す。差分（差異値）Ｄ”も、入射角度θと、感度Ｓのパラメータであり、Ｄ”（θ，Ｓ）と表すことができる。図の例では、ＴＥ波に対してＴＥ画素は感度が低下している。これは、ＴＥ波に対して余分に反射されたことが要因であり後述のように感度補正を要する。
【００９０】
そして、実際の感度補正に当たっては、予め定めた条件で算出される補正量（補正係数）を、各感度データベースと同様にして、入射角度θ及び偏光子を使用しない場合の出力値に対応付けて規定した感度補正テーブルを使用する。例えば、入射角度４０度程度の１５０ミリボルト相当光量の場合の補正係数を例に説明する。先ず、（ＴＭ成分＋ＴＥ成分）＝全電磁波１００パーセントと定義する。通常状態（非偏光状態）では、ＴＭ画素とＴＥ画素の画素出力値は概ね同じである（実際には図１５（Ａ）に示すように差分Ｄが存在する）。ここで、このような感度差のある画素（ＴＥ画素とＴＥ画素）を１００％補正しようとすると、ほぼ全画素を修正する必要があり、処理負担が大きくなる。その対策として、補正対象画素を減らすべく、どのような状態の画素を補正対象画素とするかに基づき、適度な補正係数を設定するのが好ましい。例えば、“ＴＭ成分＜ＴＥ成分”を満たす際のみ補正することにする。例えば、“ＴＭ出力値＜ＴＥ出力値”を示した際には、その差異値（＝ＴＭ出力値−ＴＥ出力値）の絶対値分の５割程度を補正量としてＲａｗデータに上乗せすることにより、ＴＥ波に対して余分に反射された出力の感度補正を行なう。例えば、ベイヤ配列のＧ画素を偏光子画素に割り当てる場合であれば、隣接Ｇ画素（の平均値）に前述の補正量を加えた値を、偏光子画素のＧデータとして置き換えて、感度補正後の値とする。残りの通常のＧ画素やＲ画素やＢ画素については、自身のＲａｗデータに前述の補正量を加えた値を、感度補正後の値とする。
【００９１】
［固体撮像装置に偏光子を積層する手法］
図１６は、固体撮像装置に偏光子を積層する手法を説明する図である。ここでは、被写体の通常画像（輝度画像やカラー画像）と偏光画像を同時に取得する技術を利用する。この技術としては、例えば、「川嶋貴之、佐藤尚、川上彰二郎、長嶋聖、太田晋一、青木孝文：“パターン化偏光子を用いた偏光イメージングデバイスと利用技術の開発”、電子情報通信学会大会講演論文集、特殊号：情報・システム２、２００６年０３月０８日発行、５２頁（参考文献１と記す）」や「青山勉、“フォトニック結晶の光通信から光産業への展開”、［online］、［平成２３年２月２日検索］、インターネット＜ＵＲＬ：http://www.nbci.jp/file/060724-6.pdf＞（参考文献２と記す）」には、輝度画像と被写体の部分偏光の画像を同時に取得するため、複数の異なる偏光主軸を有するパターン化偏光子を固体撮像装置に空間的に配置することが開示されている。パターン化偏光子としては、フォトニック結晶や構造複屈折波長板アレイが利用されている。或いは、特開２００７−８６７２０号公報（参考文献３と記す）に記載の製造技術を利用することもできる。当該製造技術は企業や大学から発表されており、実用化レベルとなっている。因みに、固体撮像装置１０４は、ＣＣＤのみならず、ＣＭＯＳセンサでもよいし、その他のイメージデバイスを使用することができ、特に条件等はない。
【００９２】
例えば、パターン化偏光子１０２の偏光子パターンは溝形成技術と積層技術により、所望の領域ごとにあらゆる方向に、形成が可能である。溝形成技術としては、電子ビームリソグラフィ、フォトリソグラフィ、干渉露光法、ナノプリンティング等、従来のエッチング技術を使用でき、積層技術としては自己クローニング法やマルチパターン形成技術を使用する。溝深さは、例えば０．２マイクロメートル（２００ナノメートル）程度とする。これは、むら発生を十分に抑制可能とするレベルである。溝幅は、波長の半分程度で効果を発揮することが確認されている。
【００９３】
又、材質が透明かつ高屈折率の材料を選択して形成するとよい。溝パターン非形成、全面膜展開も当然許容されることから、本実施形態の構成（特定画素上にのみパターン化偏光子１０２のパターンを作成）は可能と判断できる。又、ＣＣＤ等とこのマルチパターンの結合も例えば非特許文献１等おいて実用レベルとしての成功事例が報告されている。
【００９４】
例えば、図１６（Ａ）に示すように、透明膜１２０及び透明膜１２２の２層を交互に積層させることで実現でき、全体の層厚は１００ｎｍ〜５００ｎｍ程度の薄膜化が可能である。尚、パターン化偏光子１０２を作成したくない箇所には、図１６（Ｂ）に示すように、単に透明膜を施すとよい（溝形成は行なわない）。
【００９５】
［撮像装置：全体概要］
図１７は、撮像装置の一実施形態を示す図である。撮像装置は、例えば、デジタルスチルカメラとして提供される。このデジタルスチルカメラは、静止画撮像動作時にカラー画像を撮像し得るカメラとして適用されるようになっている。
【００９６】
撮像装置２００は、固体撮像装置１０４（ＣＣＤ固体撮像素子）、撮像レンズ５０、及び、固体撮像装置１０４を駆動制御する駆動装置の一例である駆動制御部２９６を有する撮像装置モジュール２０３と、撮像装置モジュール２０３により得られる撮像信号に基づいて映像信号を生成しモニタ出力したり所定の記憶メディアに画像を格納したりする本体ユニット２０４とを備えている。
【００９７】
撮像装置モジュール２０３内の駆動制御部２９６には、固体撮像装置１０４を駆動するための各種のパルス信号を生成するタイミング信号生成部２４０と、このタイミング信号生成部２４０からのパルス信号を受けて、固体撮像装置１０４を駆動するためのドライブパルスに変換するドライバ２４２（駆動部）と、固体撮像装置１０４やドライバ２４２等に電源供給する駆動電源２４６とが設けられている。
【００９８】
撮像装置２００の処理系統は、大別して、光学系２０５、信号処理系２０６、記録系２０７、表示系２０８、及び、制御系２０９から構成されている。撮像装置モジュール２０３と本体ユニット２０４が、図示しない外装ケースに収容されて、実際の製品（完成品）が仕上がる。
【００９９】
光学系２０５は、固体撮像装置１０４のセンサ部（電荷生成部）における信号電荷の蓄積を停止させる機能を持つ機構的なシャッタ２５２（メッカシャッタ）、撮像レンズ２５０と、集光された光画像を光電変換して電気信号に変換する固体撮像装置１０４とから構成されている。撮像レンズ２５０は、被写体の光画像を集光するレンズユニット（フォーカスレンズ２５３とズームレンズ２５４）、フォーカスレンズ２５３を駆動するフォーカスモータＦＭＴ、ズームレンズ２５４を駆動するズームモータＺＭＴ、光画像の光量を調整する絞り２５６を有する。
【０１００】
信号処理系２０６は、プリアンプ部２６２とＡＤ（Analog/Digital）変換部２６４と画像処理部２６６とから構成されている。プリアンプ部２６２とＡＤ変換部２６４とを纏めてアナログフロントエンドとも称する。図示しないが、必要に応じて、固体撮像装置１０４とプリアンプ部２６２との間にバッファ部を設ける。バッファ部は、固体撮像装置１０４から出力されたＣＣＤ出力信号を、劣化することなく、アナログフロントエンドに供給するための受渡し機能を持つ部分であり、固体撮像装置１０４とは別の集積回路（ＩＣ）とされる。
【０１０１】
プリアンプ部２６２は、例えば、固体撮像装置１０４からの撮像信号をサンプリングすることによってノイズを低減させるＣＤＳ（Correlated Double Sampling：相関２重サンプリング）回路や、撮像信号を増幅するゲインコントロール処理用の増幅アンプや、撮像信号をクランプ（CLAMP）するクランプ回路等を有する。ＡＤ変換部２６４プリアンプ部２６２が出力するアナログ信号をデジタル信号に変換する。
【０１０２】
画像処理部２６６は、ＤＳＰ（Digital Signal Processor）で構成されており、ＡＤ変換部２６４から入力されるデジタル信号に所定の画像処理を施す。例えば、画像処理部２６６は、黒レベル補正処理部、画素欠陥補正部、ホワイトバランス処理部、補間処理部、信号分離部、色信号処理部（Ｃ-proc）、輝度信号処理部（Ｙ-proc）等を有する。信号分離部は、例えばリニアマトリクス処理を利用して、色フィルタとして原色フィルタ以外のものが使用されているときにＡＤ変換部２６４から供給されるデジタル撮像信号をＲ（赤）信号、Ｇ（緑）信号、Ｂ（青）信号（纏めて原色信号ＲＧＢとも記す）に分離する原色分離機能を具備する。色信号処理部は、信号分離部によって分離されたて原色信号ＲＧＢに基づいて色信号Ｃに関しての信号処理を行なう。例えば、ホワイトバランス補正、ガンマ補正、色差マトリクス処理等を行なう。輝度信号処理部は、信号分離部によって分離された原色信号ＲＧＢに基づいて輝度信号Ｙに関しての信号処理を行なう。例えば、高周波輝度信号生成処理と、低周波輝度信号生成処理と、輝度信号生成処理等を行なう。高周波輝度信号生成処理では、信号分離部から供給される原色信号ＲＧＢに基づいて比較的周波数が高い成分までをも含む輝度信号YHを生成する。低周波輝度信号生成処理では、ホワイトバランスが調整された原色信号ＲＧＢに基づいて比較的周波数が低い成分のみを含む輝度信号YLを生成する。輝度信号生成処理では、２種類の輝度信号YH及び輝度信号YLに基づいて輝度信号Ｙを生成する。輝度信号YLは露光制御にも利用される。
【０１０３】
記録系２０７は、画像信号を記憶するフラッシュメモリ等のメモリ２７２（記録媒体）と、画像処理部２６６が処理した画像信号を符号化してメモリ２７２に記録し、又、読み出して復号し画像処理部２６６に供給するＣＯＤＥＣ２７４（Code/Decode あるいはCompression/Decompression）とから構成されている。
【０１０４】
表示系２０８は、ＤＡ（Digital/Analog）変換部２８２とビデオエンコーダ２８４とビデオモニタ２８６とから構成されている。ＤＡ変換部２８２は、画像処理部２６６が処理した画像信号をアナログ化する。ビデオエンコーダ２８４は、アナログ化された画像信号を後段のビデオモニタ２８６に適合する形式のビデオ信号にエンコードする。ビデオモニタ２８６は、液晶（ＬＣＤ；Liquid Crystal Display）や有機ＥＬ等の表示デバイスを具備し、入力されるビデオ信号に対応する画像を表示することにより電子ファインダとしても機能する。
【０１０５】
制御系２０９は、カメラ制御部２９２と、露出コントローラ２９４（露出制御部）と、駆動制御部２９６と、操作部２９８とを備える。カメラ制御部２９２は、ＣＰＵ（Central Processing Unit）やマイクロプロセッサ（microprocessor）で構成された中央制御部２９２ａと、読出専用の記憶部であるＲＯＭ（Read Only Memory）、或いは随時読出し・書込みが可能なメモリであるＲＡＭ（Random Access Memory）等を具備する記憶部２９２ｂや、図示を割愛したその他の周辺部材を有している。中央制御部２９２ａは、コンピュータが行なう演算と制御の機能を超小型の集積回路に集約させたＣＰＵを代表例とする電子計算機の中枢をなすものと同様である。
【０１０６】
制御系２０９は、露出コントローラ２９４（露出制御部）、タイミング信号生成部２４０（タイミングジェネレータ；ＴＧ）を具備した駆動制御部２９６、操作部２９８を有する。中央制御部２９２ａは、撮像装置２００のバス２９９に接続された画像処理部２６６、ＣＯＤＥＣ２７４、メモリ２７２、露出コントローラ２９４（露出制御部）、タイミング信号生成部２４０を制御する。
【０１０７】
カメラ制御部２９２は、システム全体を制御するものであり、例えば、撮像装置２００のバス２９９に接続された画像処理部２６６、ＣＯＤＥＣ２７４、メモリ２７２、露出コントローラ２９４、及び、タイミング信号生成部２４０を制御する。ＲＯＭにはカメラ制御部２９２の制御プログラム等が格納されている。ＲＡＭにはカメラ制御部２９２が各種処理を行なうためのデータ等が格納される。カメラ制御部２９２は、メモリカード等の記録媒体を挿脱可能に構成し、或いは又、インターネット等の通信網との接続が可能に構成するとよい。このためには、図示しないが例えば、カメラ制御部２９２は、中央制御部２９２ａや記憶部２９２ｂの他に、メモリ読出部や通信Ｉ／Ｆ（インタフェース）を備えるようにする。
【０１０８】
露出コントローラ２９４は、画像処理部２６６に送られた画像の明るさが適度な明るさを保つようにシャッタ２５２や絞り２５６を制御する。駆動制御部２９６は、固体撮像装置１０から画像処理部６６までの各機能部の動作タイミングを制御するタイミング信号生成部２４０（タイミングジェネレータ；ＴＧ）、ドライバ２４２、駆動電源２４６を有する。アナログフロントエンド（プリアンプ部２６２とＡＤ変換部２６４）、タイミング信号生成部２４０、ドライバ２４２を纏めて、ＣＣＤカメラフロントエンドとも称する。
【０１０９】
操作部２９８は、ユーザがシャッタタイミングやその他のコマンドを入力するためのユーザインタフェースであり、ユーザによる操作の下に撮像装置２００が持つ様々な機能について操作指令を発する。ビデオモニタ２８６は、撮像装置２００のファインダの役割も担っている。ユーザが操作部２９８に含まれるシャッタボタンを押下した場合、カメラ制御部２９２は、タイミング信号生成部２４０に対し、シャッタボタンが押下された直後の画像信号を取り込み、その後は画像処理部２６６の図示しない画像メモリに画像信号が上書きされないように信号処理系２０６を制御させる。その後、画像処理部２６６の画像メモリに書き込まれた画像データは、ＣＯＤＥＣ２７４によって符号化されてメモリ２７２に記録される。以上のような撮像装置２００の動作によって、１枚の画像データの取り込みが完了する。
【０１１０】
撮像装置２００では、オートフォーカス（ＡＦ）、オートホワイトバランス（ＡＷＢ）、自動露光（ＡＥ）等の自動制御装置を備えている。これらの制御は、固体撮像装置１０４から得られる出力信号を使用して処理する。例えば、被写体からの光は、シャッタ２５２とレンズユニット（フォーカスレンズ２５３とズームレンズ２５４）を透過し、絞り２５６により調整されて、適度な明るさで固体撮像装置１０４に入射する。このとき、フォーカスレンズ２５３は中央制御部２９２ａからの制御情報に基づいてフォーカスモータＦＭＴにより駆動され、被写体からの光からなる映像が、固体撮像装置１０４上で結像されるように、試行法の山登りサーボ方式により焦点位置が調整される。摂動法の山登りサーボ方式によるオートフォーカスとする場合には、図中に破線で示すように、固体撮像装置１０４を光軸方向に微少変動させるピエゾ素子（ＰＩＥＺＯ）等の摂動部材及びこれを駆動する駆動部ＰＤＲＶを設け、この摂動部材を中央制御部２９２ａからの制御情報に基づいて駆動部ＰＤＲＶにより駆動する。露出コントローラ２９４は、画像処理部２６６に送られた画像の明るさが適度な明るさを保つようにその制御値が中央制御部２９２ａにより設定され、その制御値に従って絞り２５６を制御する。具体的には、中央制御部２９２ａが画像処理部２６６に保持されている画像から適当な個数の輝度値のサンプルを獲得し、その平均値が予め定められた適当とされる輝度の範囲に収まるように絞り２５６の制御値を設定する。
【０１１１】
タイミング信号生成部２４０は、中央制御部２９２ａにより制御され、固体撮像装置１０４、プリアンプ部２６２、ＡＤ変換部２６４、画像処理部２６６の動作に必要とされるタイミングパルスを発生し、各部に供給する。操作部２９８は、ユーザが、撮像装置２００を動作させるとき操作される。
【０１１２】
図示した例は、信号処理系２０６のプリアンプ部２６２とＡＤ変換部２６４を撮像装置モジュール２０３に内蔵しているが、このような構成に限らず、撮像装置モジュール２０３をどのような形態にするかは、販売形態や製品仕様に基づいて決めればよい。撮像装置モジュール２０３をどのような形態にするかに拘わらず、撮像装置モジュール２０３と本体ユニット２０４とは着脱可能な構成にするのがよい。例えば、プリアンプ部２６２やＡＤ変換部２６４を本体ユニット２０４内に設ける構成を採ることもできる。Ｄ／Ａ変換部を画像処理部２６６内に設ける構成を採ることもできる。又、画像処理部２６６の一部（或いは全部）の機能部を撮像装置モジュール２０３側に設ける構成を採ることもできる。更には、撮像装置モジュール２０３は、撮像レンズ２５０を備えない形態としてもよい。この場合、撮像装置モジュール２０３は、撮像レンズ２５０を着脱可能な構成にする。
【０１１３】
タイミング信号生成部２４０を撮像装置モジュール２０３に内蔵しているが、このような構成に限らず、タイミング信号生成部２４０を本体ユニット２０４内に設ける構成を採ることもできる。タイミング信号生成部２４０とドライバ２４２とが別体のものとしているが、このような構成に限らず、両者を一体化させたもの（ドライバ内蔵のタイミングジェネレータ）としてもよい。こうすることで、よりコンパクトな（小型の）撮像装置２００を構成できる。
【０１１４】
タイミング信号生成部２４０やドライバ２４２は、それぞれ個別のディスクリート部材で回路構成されたものでもよいが、１つの半導体基板上に回路形成されたＩＣ（Integrated Circuit）として提供されるものであるのがよい。こうすることで、コンパクトにできるだけなく、部材の取扱いが容易になるし、両者を低コストで実現できる。撮像装置２００の製造が容易になる。
【０１１５】
使用する固体撮像装置１０４との関わりの強い部分であるタイミング信号生成部２４０やドライバ２４２を固体撮像装置１０４と共通の基板に搭載することで一体化させる、或いは、撮像装置モジュール２０３内に搭載することで一体化させると、部材の取扱いや管理が簡易になる。これらがモジュールとして一体となっているので、撮像装置２００（の完成品）の製造も容易になる。撮像装置モジュール２０３は、光学系２０５からのみ構成されていてもよい。
【０１１６】
［撮像装置及び画像処理装置］
図１８は、撮像装置及び画像処理装置の信号処理系の構成例を説明する図である。
【０１１７】
撮像装置２００は、固体撮像装置１０４及びＡＤ変換部２６４や図示しないプリアンプ部２６２で成るフロントエンド部３０２と、信号処理部３０４と、中央制御部２９２ａとを備える。
【０１１８】
固体撮像装置１０４（ここではＣＣＤとする）は、図示しないカラーフィルタ１００として、ベイヤー配列の４色カラーフィルタが設けられている。カラーフィルタ１００は、赤色（Ｒ）の光のみを透過するＲフィルタと、青色（Ｂ）の光のみを透過するＢフィルタと、第１の波長帯域の緑色（Ｇ）の光のみを透過するＧｒフィルタと、第２の波長帯域の緑色（Ｇ）の光のみを透過するＧｂフィルタとの合計４個を最小単位とする構成を有する。固体撮像装置１０４からＡＤ変換部２６４には、カラーフィルタ１００の４色カラーフィルタの色と対応した４種類の色信号（Ｒ信号、Ｇｒ信号、Ｇｂ信号、Ｂ信号）が入力される。ＡＤ変換部２６４は、４種類の色信号をデジタルデータに変換する。
【０１１９】
信号処理部３０４は、フロントエンド部３０２の後段に設けられ、図示しないカラーフィルタ１００及びパターン化偏光子１０２を有する固体撮像装置１０４により得られた撮像信号（画素からの偏光成分及び無偏光成分の各信号）に対して信号処理を施す。信号処理部３０４は、例えば、ＬＳＩ(Large Scale Integrated Circuit：大規模集積回路)や信号処理用のプロセッサ（例えば、ＤＳＰ：Digital Signal Processor）の構成とされている。信号処理部３０４は、フロントエンド部３０２と着脱可能な構成であってもよい。
【０１２０】
信号処理部３０４内の各機能部は、図示しないマイクロコンピュータインタフェースを介して、ＣＰＵ（Central Processing Unit）或いはマイコン等で構成された中央制御部２９２ａとバス接続されている。信号処理部３０４と中央制御部２９２ａとで画像処理装置３００が構成される。
【０１２１】
中央制御部２９２ａは、所定のプログラムにしたがって、例えば撮像装置２００や画像処理装置３００の全体の動作を制御する。更には、信号処理部３０４を構成する各機能部がマイクロコンピュータインタフェースを介して中央制御部２９２ａによって制御される。中央制御部２９２ａは、図示しないが、ＣＰＵ等のプロセッサ及び各種設定値等のデータを保持するメモリからなる機能部である。画像データの輝度情報の解析や明るさ判別、各種の設定処理等、撮像装置２００や画像処理装置３００の全体の処理を制御する。又、本実施形態の特徴点として、オートフォーカス制御や、固体撮像装置上と肉眼上での明るさの大小関係の逆転現象を防止するための感度補正処理をソフトウェア処理で行なうこともできる。
【０１２２】
中央制御部２９２ａは、プログラムの更新或いは新規インストールを、記憶媒体やネットワークを通じて行なうことを可能にする。例えば、メモリカード等の記録媒体を挿脱可能に構成し、又、インターネット等の通信網との接続が可能に構成する。記録媒体は、例えば、中央制御部２９２ａ（のマイクロプロセッサ）にソフトウェア処理をさせるためのプログラムデータや、信号処理部３０４からの輝度系信号に基づく測光データの収束範囲や露光制御処理（電子シャッタ制御を含む）等のための各種の制御情報の設定値等の様々なデータを登録する等のために利用される。通信網を介しての場合も同様である。
【０１２３】
信号処理部３０４は、フロントエンド部３０２から入力される４種類の色信号に対して、補間処理、フィルタリング処理、マトリクス演算処理、輝度信号生成処理、色差信号生成処理等を行なう。信号処理部３０４によって生成された画像信号が図示しないデスプレイに供給され、撮像画像が表示される。或いは又、信号処理部３０４からの画像データが圧縮されて内部記憶媒体や外部記憶媒体等に記憶される。以下、信号処理部３０４の各機能部について説明する。
【０１２４】
信号処理部３０４は、黒レベル処理部３１２、画素欠陥補正部３１４、ホワイトバランス処理部３１６、補間処理部３２２、リニアマトリクス処理部３２４、ガンマ処理部３２６、感度補正処理部３３０、合焦情報処理部３３２、輝度信号処理部３４２、エッジ強調処理部３４４、色信号処理部３５２（色差信号処理部）、色差マトリクス処理部３５４、画像圧縮処理部３６０を備える。
【０１２５】
黒レベル処理部３１２は、フロントエンド部３０２から供給されてきた４種類の色信号の基準レベルをクランプするとともに、必要に応じて、その信号に含まれるノイズ成分（オフセット成分）を除去する。黒レベル処理部３１２からの画像信号が画素欠陥補正部３１４を経由して画素欠陥が補正された後にホワイトバランス処理部３１６に出力され、ホワイトバランス補正がなされる。即ち、被写体の色温度環境の違いや固体撮像装置１０４上のカラーフィルタ１００（Ｒ、Ｇｒ、Ｇｂ、Ｂ）による感度の違いによる各色間のアンバランスが補正される。例えば、ホワイトバランス処理部３１６は、ＲＧＢ画像の各画素値に適切な係数をかけることにより、被写体の無彩色の部分の色バランスが実際に無彩色となるように、ＲＧＢ画像のホワイトバランスを調整する。
【０１２６】
感度補正処理部３３０は、必要に応じて、画素欠陥補正部３１４とホワイトバランス処理部３１６の間の信号パスに介在して、固体撮像装置上と肉眼上での明るさの大小関係の逆転現象を防止するための感度補正処理を行なう。つまり、感度補正処理部３３０は、パターン化偏光子１０２が配置された画素の信号に基づいて、ブロック内の各画素の信号強度を補正することにより、固体撮像装置上と肉眼上での明るさの大小関係の逆転現象を防止する。
【０１２７】
合焦情報処理部３３２は、オートフォーカス対象の全領域の偏光子を配した画素から得られた偏光情報（実質的には輝度情報）に基づいて、オートフォーカス用の指標値（光学系のフォーカス制御用の合焦情報）を算出する。例えば、合焦情報処理部３３２は、オートフォーカス対象の全領域において偏光角度を１種類とする場合、偏光子を配した画素から得られた偏光情報のレベルそのものを使用して予め定められた算術式に基づいてオートフォーカス用の指標値（光学系のフォーカス制御用の合焦情報）を算出する。例えば、合焦情報処理部３３２は、オートフォーカス対象の全領域に配置された各偏光子により取得される偏光情報（つまり輝度情報）を合計し、この合計値を判定指標値として中央制御部２９２ａに通知する。或いは、合焦情報処理部３３２は、オートフォーカス対象の全領域において偏光角度差が９０度の２種類とする場合（例えば、ＴＥ偏光子とＴＭ偏光子の組合せや、４５度偏光子と１３５度偏光子との組合せ等）、先ず、オートフォーカス対象の全領域について、対の各偏光子を配した画素から得られる偏光情報（輝度情報）そのものを使用して予め定められた算術式に基づいて第１の指標値を算出する。例えば、合焦情報処理部３３２は、組ごとに、対の各偏光子により取得される偏光情報（つまり輝度情報）の差分の絶対値を第１の指標値として算出する。合焦情報処理部３３２は更に、オートフォーカス対象の全領域についての各組の第１の指標値を使用して予め定められた算術式に基づいて第２の指標値（判定指標値）を算出する。例えば、合焦情報処理部３３２は、オートフォーカス対象の全領域に配置された各偏光子の対ごとに算出された第２の指標値（つまり輝度差の絶対値）を合計し、この合計値（第２の指標値）を判定指標値として中央制御部２９２ａに通知する。
【０１２８】
何れの場合も、中央制御部２９２ａは、合焦情報処理部３３２から通知されたオートフォーカス用の判定指標値に基づき、山登りサーボ方式を利用して、光学焦点調整機構を制御して、自動的に焦点調整を行なう。例えば、試行動作で（フォーカス位置を動かしながら）、通知された判定指標値の山の傾斜を見つけ、更に、ピークを見つける。そして、ピークをいったん越えたことを判定し、ピークから行き過ぎた量だけフォーカスモータＦＭＴを逆回転してピークに戻す。
【０１２９】
図示した感度補正処理部３３０や合焦情報処理部３３２の信号パス上の配置は一例であり、これには限定されない。例えば、黒レベル処理部３１２と画素欠陥補正部３１４との間の信号パスに介在して感度補正処理を行なってもよい。更には、ホワイトバランス処理部３１６より後段の何れかの信号パスに介在して感度補正処理を行なってもよい。また、この例では、感度補正処理部３３０と合焦情報処理部３３２は、何れも、画素欠陥補正部３１４の出力を使用しているが、互いに異なる機能部の出力信号を使用する構成にしてもよい。例えば、感度補正処理部３３０は、図示の通り黒レベル処理部３１２と画素欠陥補正部３１４との間の信号パスに介在する構成にし、一方、合焦情報処理部３３２は、例えば補間処理部３２２の出力信号を使用する構成にしてもよい。この場合、合焦情報処理部３３２は、感度補正処理がなされた情報を使うことができるため、より高精度のオートフォーカス制御用の判定指標値を算出することができる。
【０１３０】
或いは又、合焦情報処理部３３２は、感度補正処理部３３０より前段に配置してもよい。例えば、感度補正処理部３３０は、図示の通り黒レベル処理部３１２と画素欠陥補正部３１４との間の信号パスに介在する構成にし、一方、合焦情報処理部３３２は、例えばＡＤ変換部２６４の出力信号を使用する構成にしてもよい。この場合、合焦情報処理部３３２を、撮像装置モジュール側に配置した製品形態で撮像装置２００のモジュール（撮像装置モジュール２０３）を提供することができる。
【０１３１】
ホワイトバランス処理部３１６の出力が補間処理部３２２に供給される。補間処理部３２２は、垂直方向の補間処理やフィルタリング処理のために、遅延素子例えば小規模なメモリを使用して時間的に異なる垂直方向の画像データを同時化する。補間処理部３２２は、又、同時化された複数の画像信号を、補間処理、フィルタ処理、高域周波数補正処理、及び、ノイズ処理部等も行なう。例えば、補間処理部３２２は、色フィルタ（Ｒ、Ｇｒ、Ｇｂ、Ｂ）の最小単位の２×２画素の色信号を同一空間の位相に補間する補間処理と、適切に信号帯域を制限するフィルタ処理と、信号帯域の高域成分を補正する高域周波数補正処理と、信号のノイズ成分を除去するノイズ処理等を行なう。
【０１３２】
補間処理部３２２で得られた画像信号（ＲＧｒＧｂＢの４色の信号）がリニアマトリクス処理部３２４に供給される。リニアマトリクス処理部３２４では、４入力３出力のマトリクス演算がなされる。３×４の行列のマトリクス係数を与えると、入力されたＲＧｒＧｂＢの４色の画像情報からＲＧＢ色出力を求めることができる。この際には、色再現性を高めるようなマトリクス係数を用いてリニアマトリクス変換を施す。リニアマトリクス処理部３２４からのＲＧＢ出力がガンマ補正処理部３２６Ｒ、ガンマ補正処理部３２６Ｇ、ガンマ補正処理部３２６Ｂにそれぞれ色別に供給される。階調変換部によって、表示装置が有する非線形特性の逆補正を予め行なうことで、最終的にリニアな特性が実現される。
【０１３３】
ガンマ補正処理部３２６Ｒ、ガンマ処理部３２６Ｇ、ガンマ処理部３２６Ｂの出力信号が輝度信号処理部３４２及び色信号処理部３５２にそれぞれ供給される。輝度信号処理部３４２は、ガンマ補正されたＲＧＢ信号を所定の合成比で合成することによって輝度信号を生成し、エッジ強調処理部３４４に供給する。エッジ強調処理部３４４は、必要に応じてエッジ強調処理を行なうことで、画像をシャープにする。色信号処理部３５２は、ガンマ補正されたＲＧＢ信号を所定の合成比で合成することにより色差信号を生成し色差マトリクス処理部３５４に供給する。色差マトリクス処理部３５４は、色差画像の画素値に適切なゲイン係数を乗じて色相及び／又は彩度の調整処理（色相・彩度調整）を行なう。これにより、色差信号Ｃｂ及び色差信号Ｃｒが時分割多重化された色差信号が形成される。
【０１３４】
画像圧縮処理部３６０は、エッジ強調処理部３４４や色差マトリクス処理部３５４から出力される画像データを、ＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ（Moving Picture Experts Group）等所定の方式により符号化し、符号化した画像データを保存先の記録デバイスに保存する。符号化した画像データの保存先として、例えば、フラッシュメモリ等の半導体メモリ、ハードディスク、磁気記録媒体、光磁気記録媒体、光記録媒体等が利用される。
【０１３５】
図示しないが、エッジ強調処理部３４４や色差マトリクス処理部３５４から出力される画像データは、画像表示部にも供給され、画像データに基づいて、例えばＬＣＤ（Liquid Crystal Display）等の表示デバイスの画面に表示される。
【０１３６】
［処理手順］
図１９は、撮像装置２００におけるオートフォーカス処理の処理手順の一例を示すフローチャートである。ここでは、固体撮像装置上と肉眼上での明るさの大小関係の逆転現象を防止するための感度補正処理との併用も考慮して、撮像エリア全体を「オートフォーカス対象の領域」とする場合で説明する。又、オートフォーカス制御用の判定指標値としては、一例として、ＴＥ画素出力値とＴＭ画素出力値の差分（大小関係を不問とするべく、詳しくはその絶対値）を利用する形態で説明する。
【０１３７】
中央制御部２９２ａは、被写体撮像（撮像モード）前のオートフォーカス時であるのか否かを判定する（Ｓ３１０）。オートフォーカス時であれば、中央制御部２９２ａは先ず、合焦情報処理部３３２に対して、オートフォーカス用の判定指標値の取得を指示する。
【０１３８】
合焦情報処理部３３２は、偏光子配置画素座標が登録されているデータベースを参照して、オートフォーカス対象領域内の処理対象の対のＴＭ偏光子とＴＥ偏光子を特定する（Ｓ３１２）。そして、オートフォーカス対象の全領域について、対のＴＥ偏光子とＴＭ偏光子のそれぞれから得られる偏光情報（輝度情報）そのものを使用して、組ごとに、差分値＝｜ＴＭ画素出力値−ＴＥ画素出力値｜を算出する（Ｓ３１４）。合焦情報処理部３３２は更に、オートフォーカス対象の全領域についての各組の差分値を合計し、この合計値を判定指標値として中央制御部２９２ａに通知する（Ｓ３１６）。中央制御部２９２ａは、フォーカスモータＦＭＴを駆動しながら、通知された判定指標値を使って山登り方式によるオートフォーカス制御を行ない、判定指標値のピーク点（できるだけ高い位置）を探索する（ピークサーチ）（Ｓ３１８）。判定指標値がほぼピーク点であると判断するとオートフォーカス制御を完了させる。
【０１３９】
撮像モード時であれば、中央制御部２９２ａは先ず、感度補正処理部３３０に対して、感度補正用の情報取得を指示する。ここで、本実施形態の感度補正処理は、静止画モードのときに機能し、動画モードのときには機能しない。即ち、動画モードのときには（Ｓ３５０−動画モード）、間引き対象の画素に偏光子を配置しているため、感度補正処理部３３０は、偏光子画素のデータを読み出さない（Ｓ３６０）。
【０１４０】
静止画モードのとき（Ｓ３５０−静止画モード）、感度補正処理部３３０は、予め偏光子配置画素座標が登録されているデータベース（入射角度情報データベースと記す）に基づいて、対のＴＭ偏光出力値とＴＥ偏光出力値を比較する（Ｓ３７０、Ｓ３７２）。比較結果（ＴＭ画素出力値−ＴＥ画素出力値）が「負」の場合、感度補正処理部３３０は、その画素の入射角度情報データベースと隣接Ｇ画素の出力量（例えば周辺領域のＧ画素の平均値）から、所望の補正値を感度補正量データベースから抽出する（Ｓ３７２−負、Ｓ３８０）。そして、感度補正処理部３３０は、偏光子画素のＧデータを、隣接Ｇ画素に補正値を加えた値で置き換えて、感度補正後の値とする（Ｓ３８２）。残りの通常の（非偏光子画素である）Ｇ画素やＲ画素やＢ画素については、自身のＲａｗデータに所望の補正値を加えた値を、感度補正後の値とする。但し、Ｒ画素やＢ画素については、Ｇ画素に対する補正値に対してＧ画素との感度比分の修正を行なう。
【０１４１】
比較結果（ＴＭ画素出力値−ＴＥ画素出力値）が「負」でない、つまり「正」の場合或いは「等しい」場合、感度補正処理部３３０は、偏光子画素のＧデータを隣接Ｇ画素の平均値で置き換える（Ｓ３７２≠「負」、Ｓ３９０）。
【実施例２】
【０１４２】
図２０は、実施例２の偏光子の配置例を示す図である。実施例１では、カラーフィルタ１００のＭ×Ｎブロック（横８×縦４の３２画素のブロック）内において、特定色の部分に複数種類（具体的には２種類）のパターン化偏光子１０２を配置し、且つ、同様の偏光子の組合せのブロックを周期的に配置していたが、実施例３では、更に、隣接ブロック間では、偏光子の組合せを異ならせる点に特徴がある。例えば、４５度の偏光波相当のみを通すパターン化偏光子１０２_45と１３５度の偏光波相当のみを通すパターン化偏光子１０２_135の組合せを更に併用する。そして、このようなブロックを「オートフォーカス対象の領域」に鏤める。その際には、それぞれ異なる偏光角のパターン化偏光子１０２が周期的に配置されるようにしてもよいしランダムに配置されるようにしてもよい。図は、前者の場合であって、Ｇｂラインにパターン化偏光子１０２TEとパターン化偏光子１０２_45とを周期的に（７画素おきに）配置し、Ｇｒラインにパターン化偏光子１０２TMとパターン化偏光子１０２_135とを周期的に（７画素おきに）配置した場合で示している。
【０１４３】
このような実施例２によれば、パターン化偏光子１０２TE、パターン化偏光子１０２TM、パターン化偏光子１０２_45、パターン化偏光子１０２_135が、「オートフォーカス対象の領域」に鏤められる。したがって、縦縞、横縞、斜め縞の全てに着目してオートフォーカス制御を行なうことができる。一般的な被写体であれば、あらゆる種類の偏光成分（偏光角）をほぼ網羅することができる。
【実施例３】
【０１４４】
図２１は、実施例３の偏光子の配置例を示す図である。実施例１では、カラーフィルタ１００のＭ×Ｎブロック（横８×縦４の３２画素のブロック）内において、特定色の部分に複数種類（具体的には２種類）のパターン化偏光子１０２を配置したが、実施例３では、１種類のパターン化偏光子１０２を配置する。パターン化偏光子１０２としては、例えば、パターン化偏光子１０２TMとパターン化偏光子１０２TEの何れか、或いは、４５度の偏光波相当のみを通すパターン化偏光子１０２_45と１３５度の偏光波相当のみを通すパターン化偏光子１０２_135の何れかを使用する。カラーフィルタ１００がベイヤー配列の場合、パターン化偏光子１０２を配置し得る色画素は４種類であり、何れを偏光子画素としてもよいし、原理的には、パターン化偏光子１０２に関してはパターン化偏光子１０２TMとパターン化偏光子１０２TEとパターン化偏光子１０２_45とパターン化偏光子１０２_135の何れを使用してもよい。したがって、選択し得る組合せとしては、４×４通りある。そして、このようなブロックを「オートフォーカス対象の領域」に鏤める。その際には、それぞれ異なる偏光角のパターン化偏光子１０２が周期的に配置されるようにしてもよいしランダムに配置されるようにしてもよい。図は、前者の場合であって、Ｇｂラインにはパターン化偏光子１０２TEのみ或いはパターン化偏光子１０２_45のみを配置し、Ｇｒラインにはパターン化偏光子１０２TMのみ或いはパターン化偏光子１０２_135のみを配置した場合で示している。
【０１４５】
このような実施例３によっても、実施例２と同様に、パターン化偏光子１０２TE、パターン化偏光子１０２TM、パターン化偏光子１０２_45、パターン化偏光子１０２_135が、「オートフォーカス対象の領域」に鏤められる。したがって、縦縞、横縞、斜め縞の全てに着目してオートフォーカス制御を行なうことができる。一般的な被写体であれば、あらゆる種類の偏光成分（偏光角）をほぼ網羅することができる。
【実施例４】
【０１４６】
図２２は、実施例４の偏光子の配置例を示す図である。実施例２や実施例３では、パターン化偏光子１０２TE、パターン化偏光子１０２TM、パターン化偏光子１０２_45、パターン化偏光子１０２_135の配置されるラインを特定のラインに決めていた。これに対して、実施例４は、偏光子が配置される対象ライン（行）及び対象カラム（列）のそれぞれに、パターン化偏光子１０２TE、パターン化偏光子１０２TM、パターン化偏光子１０２_45、パターン化偏光子１０２_135を隈無く配置する点に点に特徴がある。図は、実施例３に対する変形例で示している。先ず、ライン方向において、パターン化偏光子１０２TE、パターン化偏光子１０２TM、パターン化偏光子１０２_45、パターン化偏光子１０２_135を交互且つＧｂラインとＧｒラインで交互に配置している。更に、カラム方向においても、パターン化偏光子１０２TE、パターン化偏光子１０２TM、パターン化偏光子１０２_45、パターン化偏光子１０２_135を交互且つＧｂカラムとＧｒカラムで交互に配置している。近傍の４ブロックに着目したとき、どのような組合せにおいても、パターン化偏光子１０２TE、パターン化偏光子１０２TM、パターン化偏光子１０２_45、パターン化偏光子１０２_135が配置されている。
【０１４７】
このような実施例４によっても、実施例２や実施例３と同様に、パターン化偏光子１０２TE、パターン化偏光子１０２TM、パターン化偏光子１０２_45、パターン化偏光子１０２_135が、「オートフォーカス対象の領域」に鏤められる。したがって、縦縞、横縞、斜め縞の全てに着目してオートフォーカス制御を行なうことができる。一般的な被写体であれば、あらゆる種類の偏光成分（偏光角）をほぼ網羅することができる。
【０１４８】
＜本実施形態の纏め＞
図２３は、本実施形態の画素内偏光オートフォーカスと従前の他のオートフォーカス方式とを対比した図表である。画素内偏光オートフォーカスに関しては、特に、画素内偏光輝度差オートフォーカスの場合で示す。又、偏光子としては、パターン化偏光子１０２TE（ＴＥ画素）とパターン化偏光子１０２TM（ＴＭ画素）の対を使用する場合で示す。図２４は、本実施形態の画素内偏光オートフォーカスと感度補正とを対比した図表である。ここでは、３２画素（横８×縦４）に一組のＴＥ画素とＴＭ画素をベイヤー配列のＧｒ画素とＧｂ画素に配置する場合をベース配置として示している。
【０１４９】
［オートフォーカス］
コントラストオートフォーカス、位相差検知オートフォーカス、及び、画素内位相差オートフォーカスのそれぞれの特徴、長所、短所については、図１〜図３を参照して説明した通りであり、図２３には、それを纏めて記載してある。本実施形態の画素内偏光輝度差オートフォーカスは、偏光子を配した偏光画素を必要とする点で、他の方式とは全く異なった方式であるが、偏光画素から出力される情報（事実上の輝度情報）の確認のみでよく、単純かつ高速のオートフォーカス制御ができる。但し、偏光画素から出力される情報だけでは合焦の方向は不明であるので、山登りサーボ方式等を適用して合焦点をサーチすることが必要となる。
【０１５０】
［感度補正］
本実施形態の画素内偏光オートフォーカスと感度補正のそれぞれの特徴や偏光子の角度配置等については、既に説明した通りであり、図２４には、それを纏めて記載してある。ところで、従来技術は偏光による反射率の角度依存を考慮していない。そのため、極端な場合は、固体撮像装置上と肉眼上で感じる明るさの間に大小関係の逆転現象が有り得た。これに対して、本実施形態では、ブロックごとに、ベイヤー配列の色画素の一部に２種類の偏光子を配置し、これらの信号出力差に基づいて反射成分が多い領域を抽出し、感度補正により、ブロック内の各画素の信号レベルを補正する。肉眼で感じる感度と固体撮像装置上の感度が補正により一致する。これにより、感度の逆転現象が是正され、遠近感も同時に向上する。当該技術は、例えば広角レンズを用いる場合やその必要性が増す状況下で益々その有効性が高まっていくことが予想される。
【０１５１】
又、例えば、特開２０１０−１６３１５８号公報には、「偏光を利用」した撮像装置、及び偏光光データ処理方法の発明が開示されている。「偏光を利用」するという点では、本実施形態と共通する部分があるが、その利用形態は全く異なる。例えば、同公報（段落番号［０００８］には、「偏光成分と無偏光成分とを分離することで、画像のコントラストを改善することができるし、不要な情報を削除することもできる。」と記載されており、同公報に開示の発明も基本的にはこのような思想を前提としたものである。これに対して、本実施形態の感度補正において「偏光を利用」する際には、「偏光成分と無偏光成分とを分離する」というものではなく、「偏光成分から得られる情報に基づいて感度補正を行なうことにより、広義のコントラストを改善すると云うものである。両者の偏光の利形態は全く異なる。「感度補正」を要するのは、主に撮像エリアの周辺部である点に着目して、感度補正用の偏光子は主に撮像エリアの周辺部にのみ存在してればよい。これに対して、同公報に記載の発明は、撮像エリアの全面に亘って所定間隔で配置するものであり、偏光子の配置形態においても相違がある。又、偏光角度に関しては、同公報の発明では、少なくとも３種類の偏光角度の組を必要としている（段落番号［００２７］参照）。これに対して、本実施形態では、１種類でも構わない点において相違がある。
【０１５２】
以上、本明細書で開示する技術について実施形態を用いて説明したが、請求項の記載内容の技術的範囲は前記実施形態に記載の範囲には限定されない。本明細書で開示する技術の要旨を逸脱しない範囲で前記実施形態に多様な変更又は改良を加えることができ、そのような変更又は改良を加えた形態も本明細書で開示する技術の技術的範囲に含まれる。前記の実施形態は、請求項に係る技術を限定するものではなく、実施形態の中で説明されている特徴の組合せの全てが、本明細書で開示する技術が対象とする課題の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の技術が含まれており、開示される複数の構成要件における適宜の組合せにより種々の技術を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、本明細書で開示する技術が対象とする課題と対応した効果が得られる限りにおいて、この幾つかの構成要件が削除された構成も、本明細書で開示する技術として抽出され得る。
【０１５３】
前記実施形態の記載を踏まえれば、特許請求の範囲に記載の請求項に係る技術は一例であり、例えば、以下の技術が抽出される。以下列記する。
［付記１］
画素が配列された撮像部を有し、更に、所定数の画素を対象として、当該画素に重なるように偏光子が配置されている固体撮像装置と、
偏光子が配置された画素から出力された情報に基づいて、被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報を生成する合焦情報処理部、
とを備えている撮像装置。
［付記２］
合焦情報処理部により生成された合焦情報に基づいて、光学系のフォーカス制御を行なうフォーカス制御部を備えた付記１に記載の撮像装置。
［付記３］
被写体像を撮像部に導く光学系を備えている付記１又は付記２に記載の撮像装置。
［付記４］
固体撮像装置は、所定数の画素を１単位とするブロックごとに、ブロック内の総画素数よりも少ない数の画素を対象として、当該画素に重なるように偏光子が配置されている付記１乃至付記３の何れか１項に記載の撮像装置。
［付記５］
ブロック内に、それぞれ異なる角度の偏光主軸を有する複数種類の偏光子が配置されている付記４に記載の撮像装置。
［付記６］
偏光子の偏光主軸の角度の種類をＮとしたとき、それぞれの角度差は、１８０／Ｎである付記５に記載の撮像装置。
［付記７］
複数種類の偏光子の１つはＴＥ波相当のみを通す偏光子であり、
複数種類の偏光子のもう１つはＴＭ波相当のみを通す偏光子である付記５又は付記６に記載の撮像装置。
［付記８］
色分離を行なうカラーフィルタを有し、
ブロック内のカラーフィルタの一組の同色画素又は同色に準じる画素に重なるように偏光子が配置されている付記５乃至付記７の何れか１項に記載の撮像装置。
［付記９］
カラーフィルタは、緑色又は緑色に準じる色の色フィルタを複数持ち、
緑色又は緑色に準じる色の色フィルタと重なるように複数の偏光子が配置されており、
複数種類の偏光子の１つはＴＥ波相当のみを通す偏光子であり、
複数種類の偏光子のもう１つはＴＭ波相当のみを通す偏光子である付記８に記載の撮像装置。
［付記１０］
カラーフィルタは、２つの緑色と１つの赤色と１つの青色の各色フィルタがベイヤー配列されており、
緑色の色フィルタと重なるように２種類の偏光子が配置されており、
一方の偏光子はＴＥ波相当のみを通す偏光子であり、
他方の偏光子はＴＭ波相当のみを通す偏光子である付記９に記載の撮像装置。
［付記１１］
ブロック内には、１種類の偏光子が１つ配置されている付記１乃至付記４の何れか１項に記載の撮像装置。
［付記１２］
偏光子は、ＴＥ波相当のみを通す偏光子とＴＭ波相当のみを通す偏光子の何れかである付記１１に記載の撮像装置。
［付記１３］
色分離を行なうカラーフィルタを有し、
カラーフィルタは、２つの緑色と１つの赤色と１つの青色の各色フィルタがベイヤー配列されており、
緑色の色フィルタと重なるように、ＴＥ波相当のみを通す偏光子とＴＭ波相当のみを通す偏光子の何れかが配置されている付記１２に記載の撮像装置。
［付記１４］
動画撮像時に信号が読み出されない画素に重なるように偏光子が配置されている付記１乃至付記１３の何れか１項に記載の撮像装置。
［付記１５］
偏光子は、少なくとも撮像部の中央領域に配置されている付記１乃至付記１４の何れか１項に記載の撮像装置。
［付記１６］
偏光子は、撮像部の周辺領域にも配置されている付記１５に記載の撮像装置。
［付記１７］
画素が配列された撮像部を有し、
更に、撮像部の中央領域の所定数の画素を対象として、当該画素に重なるように偏光子が配置されており、
撮像部の周辺領域の画素については、偏光子が配置されていない固体撮像装置。
［付記１８］
画素が配列された撮像部を有し、更に、所定数の画素を対象として、当該画素に重なるように偏光子が配置されている固体撮像装置の偏光子が配置されている画素から出力された信号に基づいて、被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報を生成する工程と、
合焦情報を用いて、光学系のオートフォーカス制御を行なう工程、
とを有する撮像装置の合焦制御方法。
［付記１９］
オートフォーカス制御を行なう工程では、山登り方式のオートフォーカス制御を行なう付記１８に記載の合焦制御方法。
［付記２０］
画素が配列された撮像部を有し、更に、所定数の画素を対象として、当該画素に重なるように偏光子が配置されている固体撮像装置の偏光子が配置されている画素から出力された信号に基づいて生成された、被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報に基づいて、光学系のフォーカス制御を行なうフォーカス制御部としてコンピュータを機能させるプログラム。
【符号の説明】
【０１５４】
１００…カラーフィルタ、１０２…パターン化偏光子、１０４…固体撮像装置、２００…撮像装置、２０３…撮像装置モジュール、２０４…本体ユニット、２５０…撮像レンズ、２５３…フォーカスレンズ、２５４…ズームレンズ、２９２ａ…中央制御部、３００…画像処理装置、３０２…フロントエンド部、３０４…信号処理部、３３０…感度補正処理部、３３２…合焦情報処理部、ＦＭＴ…フォーカスモータ、ＺＭＴ…ズームモータ
【技術分野】
【０００１】
本明細書で開示する技術は、固体撮像装置、撮像装置、合焦制御方法、及び、プログラムに関する。
【背景技術】
【０００２】
ビデオカメラ（ビデオムービー）やデジタルカメラ等の撮像装置において、オートフォーカス（ＡＦ：Auto Focus）といった自動焦点（自動合焦）機能を装備したものが知られている。このオートフォーカスについては、例えば、測距のために基準となる信号を自ら出すか出さないかで、アクティブ方式とパッシブ方式に分類される。パッシブ方式の一例として、例えば、特開２０１１−１０３３３５号公報には、固体撮像装置（撮像素子）を利用した位相差オートフォーカス（画素内位相差オートフォーカスと記す）が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１０３３３５号公報
【０００４】
画素内位相差オートフォーカスは、例えば撮像素子の開口面積を半分にそれぞれ偏らせて各検知用画素に光学像を入射させる。例えば検知用画素は２画素ペアで相互に半開口としている。ピントがジャスピン（perfect focus）からずれると像が分離し、さらに前ピン（被写体よりも前にピントが合っている状態）と後ピン（被写体よりも後ろにピントが合っている状態）とで、像の分離方向が逆になるという特質がある。集光状態と開口のサイドの関係から相対する画素群の輝度分布が逆方向となることに基づく。このことが予め分かっているため、合焦の方向が分かる。そこで、この合焦の方向が予め分かっていることに基づき、ずれ量を検出してオートフォーカスを行なうようにしている。そのため、画素内での情報のみを使用した処理が可能であるという特徴がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、画素内位相差オートフォーカスでは、その手法が撮像素子の開口面積を半分にそれぞれ偏らせての素子利用であるため、各検知用画素の出力が落ちてしまい、両者の信号差が小さくなり、誤検知を起こし易い難点がある。又、２枚の画像の比較が必要なため、それなりに高速処理が必須になる難点もある。
【０００６】
従って、本開示の目的は、画素内位相差オートフォーカスとは異なる新たな方式のオートフォーカスの技術を提供することにある。好適には、複数枚の画像を必要とすることなく、誤検知を起こし難いオートフォーカスの技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本開示の第１の態様に係る撮像装置は、画素が配列された撮像部を有し、更に、所定数の画素を対象として、当該画素に重なるように偏光子が配置されている固体撮像装置と、偏光子が配置された画素から出力された情報に基づいて、被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報を生成する合焦情報処理部とを備えている。本開示の第１の態様に係る撮像装置の従属項に記載された各撮像装置は、本開示の第１の態様に係る撮像装置のさらなる有利な具体例を規定する。
【０００８】
本開示の第２の態様に係る固体撮像装置は、画素が配列された撮像部を有し、更に、撮像部の中央領域の所定数の画素を対象として、当該画素に重なるように偏光子が配置されており、撮像部の周辺領域の画素については、偏光子が配置されていないものである。
【０００９】
撮像装置や固体撮像装置はワンチップとして形成された形態であってもよいし、撮像部と、信号処理部又は光学系とが纏めてパッケージングされた、撮像機能を有するモジュール状の形態であってもよい。撮像装置は、例えば、カメラ（或いはカメラシステム）や携帯機器等の電子機器において撮像機能を実現するために使用される。また「撮像」は、通常のカメラ撮影時の像の撮り込みだけではなく、広義の意味として、指紋検出や、タッチパネル等の物理量分布検知半導体装置或いは物理情報取得装置（物理量分布検知装置）において物理量分布として圧力を利用して像情報を取得することも含む。
【００１０】
本開示の第３の態様に係る撮像装置の合焦制御方法は、画素が配列された撮像部を有し、更に、所定数の画素を対象として、当該画素に重なるように偏光子が配置されている固体撮像装置の偏光子が配置されている画素から出力された信号に基づいて、被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報を生成する工程と、合焦情報を用いて、光学系のオートフォーカス制御を行なう工程とを有する。
【００１１】
本開示の第４の態様に係るプログラムは、画素が配列された撮像部を有し、更に、所定数の画素を対象として、当該画素に重なるように偏光子が配置されている固体撮像装置の偏光子が配置されている画素から出力された信号に基づいて生成された、被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報に基づいて、光学系のフォーカス制御を行なうフォーカス制御部としてコンピュータを機能させるプログラムである。プログラムは、コンピュータ読取り可能な記憶媒体に格納されて提供されてもよいし、有線あるいは無線による通信手段を介した配信により提供されてもよい。
【００１２】
本開示の第２の態様に係る固体撮像装置、本開示の第３の態様に係る合焦制御方法、本開示の第４の態様に係るプログラムのそれぞれにおいては、本開示の第１の態様に係る撮像装置の従属項に記載された各技術・手法が同様に適用可能であり、それが適用された構成は、本開示の第２の態様に係る固体撮像装置、本開示の第３の態様に係る合焦制御方法、本開示の第４の態様に係るプログラムのさらなる有利な具体例を規定する。
【００１３】
要するに、本明細書で開示する技術では、少なくとも撮像部の中央領域の所定数の画素を対象として、当該画素に重なるように偏光子が配置されている固体撮像装置を使用する。そして、偏光子が配置されている画素から出力された信号に基づいて、被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報を生成し、この合焦情報を使用して光学系のフォーカス制御を行なう。一般的な固体撮像装置にあっては、画素（詳しくは光電変換部等）そのものは偏光に対して感度を有していないが、本開示の技術にあっては、偏光子を画素に配置して特定の方向の偏光成分を検知可能に構成し、偏光子が配置された画素（偏光画素）の検知情報をオートフォーカス制御に利用する。偏光画素から出力される検知情報は、従来から知られている種々のオートフォーカス制御（例えば山登り制御方式）用の情報として利用することができる。固体撮像装置に関しては偏光子を特定の画素に配置する必要性はあるが、その製造技術自体は公知の技術を利用することができ、又、オートフォーカス用の制御アルゴリズムを新たに開発しなくても既存の制御技術を利用できるので、本開示の技術の実現は容易である。
【発明の効果】
【００１４】
本開示の第１の態様に係る撮像装置、本開示の第２の態様に係る固体撮像装置、本開示の第３の態様に係る合焦制御方法、本開示の第４の態様に係るプログラムによれば、画素内位相差オートフォーカスとは異なる新たな方式のオートフォーカスの技術を提供することができる。これにより、仕様や用途に合わせたオートフォーカス方式の選択の幅を広げることができる。画素内位相差オートフォーカスとは異なり、撮像素子の開口面積を半分にそれぞれ偏らせての素子利用ではないので、出力信号差が小さくなることに起因する誤検知の問題は起きない。
【図面の簡単な説明】
【００１５】
【図１】図１は、コントラストオートフォーカスを説明する図である。
【図２】図２は、位相差検知オートフォーカスを説明する図である。
【図３】図３は、画素内位相差オートフォーカスを説明する図である。
【図４】図４は、偏光による反射率の角度依存の挙動を説明する図である。
【図５】図５（Ａ）〜図５（Ｂ）は、偏光状態によって反射率が変化することを説明する図である。
【図６】図６（Ａ）〜図６（Ｂ）は、電場と磁場の実振幅の違いを説明する図である。
【図７】図７は、偏光画素の出力信号の合焦状態の依存性を説明する図である。
【図８】図８（Ａ）〜図８（Ｂ）は、ＴＭ波用の偏光子とＴＥ波用の偏光子との対を、「オートフォーカス対象の領域」の４箇所に配置した場合の偏光画素の出力例を示す図である。
【図９】図９（Ａ）〜図９（Ｂ）は、オートフォーカス制御用の指標値の算出手法を説明する図（その１）である。
【図１０】図１０（Ａ）〜図１０（Ｂ）は、オートフォーカス制御用の指標値の算出手法を説明する図（その２）である。
【図１１】図１１は、比較例の偏光子の配置例を示す図である。
【図１２】図１２は、実施例１の偏光子の配置例を示す図である。
【図１３】図１３（Ａ）〜図１３（Ｂ）は、偏光子画素の配置位置を説明する図である。
【図１４】図１４は、感度補正非対象範囲の規定原理を説明する図である。
【図１５】図１５は、感度補正処理に使用される２種類のパターン化偏光子の特性例を説明する図である。
【図１６】図１６は、固体撮像装置に偏光子を積層する手法を説明する図である。
【図１７】図１７は、撮像装置の一実施形態を示す図である。
【図１８】図１８は、撮像装置及び画像処理装置の信号処理系の構成例を説明する図である。
【図１９】図１９は、撮像装置におけるオートフォーカス処理の処理手順の一例を示すフローチャートである。
【図２０】図２０は、実施例２の偏光子の配置例を示す図である。
【図２１】図２１は、実施例３の偏光子の配置例を示す図である。
【図２２】図２２は、実施例４の偏光子の配置例を示す図である。
【図２３】図２３は、本実施形態の画素内偏光オートフォーカスと従前の他のオートフォーカス方式とを対比した図表である。
【図２４】図２４は、本実施形態の画素内偏光オートフォーカスと感度補正とを対比した図表である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本明細書で開示する技術の実施形態について詳細に説明する。各機能要素について形態別に区別する際にはアルファベット或いは“_n”（ｎは数字）或いはこれらの組合せの参照子を付して記載し、特に区別しないで説明する際にはこの参照子を割愛して記載する。図面においても同様である。
【００１７】
説明は以下の順序で行なう。
１．全体概要
２．オートフォーカス方式の比較例
３．偏光による反射率の角度依存性について
４．斜め入射、偏光、反射率の関係
５．本実施形態のオートフォーカスの原理
６．実施例１：偏光子の配置位置、偏光子画素の配置位置
偏光子を周辺領域に配置する場合の感度補正、
固体撮像装置に偏光子を積層する手法、
撮像装置：全体概要
撮像装置及び画像処理装置、処理手順
７．実施例２：
８．実施例３
９．実施例４
10．本実施形態の纏め：オートフォーカス、感度補正
【００１８】
＜全体概要＞
先ず、基本的な事項について以下に説明する。本明細書で開示する撮像装置、固体撮像装置、合焦制御方法、プログラムにおいては、先ず、少なくとも撮像部の中央領域の所定数の画素を対象として、当該画素に重なるように偏光子が配置されている固体撮像装置を使用する。偏光子の配置態様が如何様であっても、単純に偏光子を配した画素（偏光画素）から得られる偏光情報（いわゆる輝度情報）をオートフォーカス制御用に利用するので、高速処理が可能である。画素内位相差オートフォーカスでは検出不可能な、例えば全面赤の被写体や全面青の被写体、中央赤、中央青の被写体等でも合焦状態に依存した偏光情報が得られるため、これらの画像においても正確な合焦位置を検出することができる。
【００１９】
偏光画素から出力される検知情報を使用した合焦位置の判定には、従来から知られている種々のオートフォーカス制御（例えば山登り制御方式）の技術を利用することができる。例えば、通常の山登りサーボ方式では、映像信号のコントラストが、できるだけ最大になるように光学焦点調整機構を制御して、コントラストのできるだけ高い位置を探索することにより、自動的に焦点調整を行なう。本明細書で開示する技術にあっては、コントラストに代えて、偏光画素から出力される検知情報を使い、その他は既存の山登りサーボ方式（もちろんこの方式には限らないが）の技術をそのまま流用することができる。固体撮像装置に関しては偏光子を特定の画素に配置する必要性はあるが、その他は既存の方式のまあでよく、装置規模をさほど増大させることなく応答の速いオートフォーカスを実現できる。
【００２０】
撮像装置の製品形態としては、偏光画素（偏光子が配置されている画素）を撮像部に備える固体撮像装置と、偏光画素から出力された情報に基づいて被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報を生成する合焦情報処理部とを備えた構成を最小構成要素とする。そして、製品仕様に合わせて、この最小構成要素に対して、例えば、合焦情報処理部により生成された合焦情報に基づいて光学系のフォーカス制御を行なうフォーカス制御部を備えた構成や、被写体像を撮像部に導く光学系を備えた構成、或いは、光学系及びフォーカス制御部の双方を備えた構成等とすることができる。
【００２１】
偏光子は、撮像領域全体に配置する必要はなく、少なくとも「オートフォーカス対象の領域」に配置されていればよく、その領域内の全ての画素に偏光子が配置されていることも必須ではなく、例えば、所定数の画素を一単位とするブロックごとに、ブロック内の総画素数よりも少ない数（例えば１個〜数個）の画素を対象として、当該画素に重なるように偏光子が配置されていればよい。
【００２２】
好適には、ブロック内に、それぞれ異なる角度の偏光主軸を有する複数種類の偏光子が配置されているのがよい。つまり、ブロック内の各偏光子の偏光角は異なっているのがよい。例えば、偏光子の偏光主軸の角度の種類をＮとしたとき、それぞれの角度差は１８０／Ｎであるのがよい。典型的には（最も好適なシンプルな構成では）、２画素ペアで、相互に異なる偏光状態（典型的には偏光角の差が９０度）を検出し、その検知情報を使用して予め定められた算術式に基づいて指標値を算出し、算出された指標値に基づいて合焦判定や光学系のフォーカス制御を行なう。もちろんこのことは必須でなく、ブロック相互間の各偏光子の偏光角はランダムに配置されたものであってもよい。
【００２３】
本開示に係る技術にあっては、好ましくは、複数種類の偏光子の１つはＴＥ波相当のみを通す偏光子であり、複数種類の偏光子のもう１つはＴＭ波相当のみを通す偏光子であるとよい。例えば、ブロック内にそれぞれ異なる偏光主軸を有する２種類の偏光子が配置されている構成をとることができる。この場合、その一方の偏光子はＴＥ波相当のみを通す偏光子であり、他方の偏光子はＴＭ波相当のみを通す偏光子であるのがよい。もちろん、ＴＥ波相当のみを通す偏光子とＴＭ波相当のみを通す偏光子との組合せ（水平垂直の偏光子の組合せ）に限らず、４５度の偏光波相当のみを通す偏光子と１３５度の偏光波相当のみを通す偏光子との組合せ（斜め方向の偏光子の組合せ）にしてもよいし、更には、水平垂直の偏光子及び斜め方向の偏光子の組合せにしてもよい。例えば、一般的な被写体像を考えた場合、横縞模様と縦縞模様の何れかに着目してオートフォーカス制御を行なえば十分であり、この場合、ＴＥ波相当のみを通す偏光子とＴＭ波相当のみを通す偏光子との組合せとすればよい。又、斜め縞模様に着目してオートフォーカス制御を行なう必要がある場合であれば、４５度の偏光波相当のみを通す偏光子と１３５度の偏光波相当のみを通す偏光子との組合せにすればよい。
【００２４】
本開示に係る技術は、色分離を行なうカラーフィルタを有しているいわゆるカラー画像撮像用の固体撮像装置や撮像装置に適用することができる。この場合、ブロック内のカラーフィルタの一組の同色画素又は同色に準じる画素に重なるように偏光子が配置されているのが好ましい。例えば、カラーフィルタは、緑色又は緑色に準じる色の色フィルタを複数持つ場合、好ましくは、緑色又は緑色に準じる色の色フィルタと重なるように複数の偏光子が配置されているとよい。この場合、複数種類の偏光子の１つはＴＥ波相当のみを通す偏光子であり、複数種類の偏光子のもう１つはＴＭ波相当のみを通す偏光子であるとよい。
【００２５】
「同色に準じる画素」或いは「緑色に準じる色」とは、完全に同じ色であることに限定されないことを意味し、実質的に同色と見なせる場合や、同色ではないが、同系統と云える色も含む意味である。例えば、緑に対して黄緑や青緑は「同色」に準じる色の関係にあると見做す。例えば、色再現を改善するために、赤（Ｒ）、緑（Ｇ）、青（Ｂ)の３色だったカラーフィルタに、エメラルド（青緑）を加え４色とする場合における緑とエメラルドとは「同色」に準じる色の関係にあると見做す。
【００２６】
本開示に係る技術において、カラーフィルタが例えば、２つの緑色と１つの赤色と１つの青色の各色フィルタがベイヤー配列されている場合は、緑色の色フィルタと重なるように２種類の偏光子が配置されているのがよく、この場合には、一方の偏光子はＴＥ波相当のみを通す偏光子であり、他方の偏光子はＴＭ波相当のみを通す偏光子であるのがよい。
【００２７】
本開示に係る技術においては、ブロック内には、１種類の偏光子が１つ配置されていてもよい。この場合、偏光子は、ＴＥ波相当のみを通す偏光子とＴＭ波相当のみを通す偏光子の何れかであるとよい。或いは又、４５度の偏光波相当のみを通す偏光子と１３５度の偏光波相当のみを通す偏光子の何れかとしてもよい。例えば、一般的な被写体像を考えた場合、横縞模様と縦縞模様の何れかに着目してオートフォーカス制御を行なえば十分であり、横縞模様に着目する場合であればＴＥ波相当のみを通す偏光子を使用すればよいし、縦縞模様に着目する場合であればＴＭ波相当のみを通す偏光子を使用すればよい。又、斜め縞模様に着目してオートフォーカス制御を行なう必要がある場合であれば、右斜め上方向の縞模様に着目する場合であれば４５度の偏光波相当のみを通す偏光子を使用すればよいし、左斜め上方向の縞模様に着目する場合であれば１３５度の偏光波相当のみを通す偏光子を使用すればよい。
【００２８】
例えば、色分離を行なうカラーフィルタを有し、カラーフィルタは、２つの緑色と１つの赤色と１つの青色の各色フィルタがベイヤー配列されている場合であれば、緑色の色フィルタと重なるように、ＴＥ波相当のみを通す偏光子とＴＭ波相当のみを通す偏光子の何れかが配置されているとよい。或いは又、４５度の偏光波相当のみを通す偏光子と１３５度の偏光波相当のみを通す偏光子の何れかが配置されていてもよい。
【００２９】
本開示に係る技術においては、動画撮像時に信号が読み出されない画素に重なるように偏光子が配置されていてもよい。動画時の信号処理に負荷を掛けることはない。
【００３０】
本開示に係る技術においては、撮像部の全領域に亘って偏光子が配置されていることに限らず、一部分に偏光子が配置されていてもよい。特に、オートフォーカス制御という点に着目した場合、主たる被写体（注目被写体）が通常、何処に配置されるかに応じて、偏光子を配置する「オートフォーカス対象の領域」を決めればよい。典型的には、オートフォーカスは通常被写体の中心位置で実現されることが望ましいので、偏光子は、少なくとも撮像部の中央領域に配置されていることが望ましい。
【００３１】
本開示に係る技術においては、偏光子は、撮像部の周辺領域にも配置されていてもよい。この場合、周辺領域の偏光子が配置された画素から出力される検知情報は、オートフォーカス制御に利用されてもよいし、周辺領域において発生し得る固体撮像装置上と肉眼上で感じる明るさの大小関係の逆転現象を補正するための感度補正に利用されてもよい。因みに、中央領域と周辺領域の区分けは例えば、ＴＥ波成分とＴＥ波成分との差が、画素の信号出力に対して１／５０程度未満の差しかつかない領域を中央領域とし、その周辺部を周辺領域とすればよい。
【００３２】
＜オートフォーカス方式の比較例＞
最初に、本開示のオートフォーカスの理解を容易にするべく、比較例のオートフォーカスについて説明する。図２３も参照するとよい。
【００３３】
［コントラストオートフォーカス］
図１は、コントラストオートフォーカスを説明する図である。ここで、図１（Ａ）は、ピントが合っている状態を示し、図１（Ｃ）は、ピントがずれている状態を示し、図１（Ｂ）は、それらの中間状態を示す。
【００３４】
コントラストオートフォーカスは、画素信号の出力観察を行なって合焦状態を検出するものであり、コントラストオートフォーカスでは、ピントが合っている状態では、図１（Ａ）に示すように、コントラストが高く、逆に、ピントがずれている状態では、図１（Ｃ）に示すように、コントラストが低くなる。そこで、全面スキャンをし、輝度コントラストが大となる状態を検出して、合焦検知を行なう、つまり、コントラストが大きければ合焦と判定する。このコントラストオートフォーカスは、画素信号の出力観察で対応可能であるため撮像用のセンサ（固体撮像装置）を活用できるが、焦点をずらして複数枚撮像する必要があるため（何度もスキャンするため）、応答（レスポンス）が遅く、オートフォーカススピードが遅いという欠点がある。つまり、被写体全面の周波数解析を判断材料とするため、かなりの枚数取得が必要でありその分時間を要する。又、周波数の高い画像の場合は、ＭＴＦ（Modulation Transfer Function）等の関係で合焦状態でも輝度コントラストが小さくなるため、周波数の高い画像の検知が苦手である。つまり、手法が高周波・低周波の分析であることから、元々、高周波の被写体に対しては苦手とする面がある。
【００３５】
［位相差検知オートフォーカス］
図２は、位相差検知オートフォーカスを説明する図である。位相差検知オートフォーカスでは、レンズを通して取り込んだ光をセパレートレンズで分離して各別の位相差検出用のセンサ（通常４領域のリニアセンサ）に入射させる。この方式は、近い箇所は大きくずれ遠い箇所はほとんどずれないという視差を利用するものであり、４箇所のリニアセンサで取り込んだ画像を重ね合わせてずれ量を測定（検出）して 距離を算出する。この位相差検知オートフォーカスは、撮像用のセンサ（固体撮像装置）とは別途に位相差検出用のセンサ（４領域のリニアセンサ）を設けるため、オートフォーカススピードを高速化することができる（応答が速い）。しかしながら、そのセンサに像を結ぶためのレンズ系（位相差検出用のセンサへの結像レンズ、位相差を設けるためのセパレートレンズ等）が必要であり、装置の大型化や高コストの点で不利となる。例えば、デジタルスチルカメラへの搭載は、重量や体積等の点から、採用し難い。又、距離誤検知を起こし易い難点もある。
【００３６】
［画素内位相差オートフォーカス］
図３は、画素内位相差オートフォーカスを説明する図である。画素内位相差オートフォーカスは、撮像素子の出力そのものを使うオートフォーカス方式の一例である。画素内位相差オートフォーカスは、例えば撮像素子の開口面積を半分にそれぞれ偏らせて各画素（画素Ａ群（Phase Detectin Sensor Ａ）と画素Ｂ群（Phase Detectin Sensor Ｂ））に像を入射させる。例えば検知用画素は２画素ペアで相互に半開口としている。ピントがずれると像が分離し、さらに前ピン（被写体よりも前にピントが合っている状態）と後ピン（被写体よりも後ろにピントが合っている状態）とで、画素Ａ群と画素Ｂ群とでは像の分離方向が逆になるという特質がある。集光状態と開口のサイドの関係から相対する画素群の輝度分布が逆方向となることに基づく。このことが予め分かっているため、合焦の方向が分かる。
【００３７】
この画素内位相差オートフォーカスでは、画素Ａ群と画素Ｂ群の合焦方向のずれ量を検出してオートフォーカスを行なうため、画素内での情報のみを使用した処理が可能である。しかしながら、画素内位相差オートフォーカスでは、開口面積を半分にそれぞれ偏らせての素子利用であるため、出力が落ちてしまうため、信号差が小さくなり、距離誤検知を起こし易いし、２枚の画像の比較が必要なため、応答が遅く、応答を速くしようとすると、それなりの高速処理が必須になる。
【００３８】
［本実施形態のオートフォーカス］
このように、比較例の各オートフォーカスは、装置規模や応答の面で依然として難点がある。そこで、本明細書で開示する技術では、装置規模をさほど増大させることなく応答の速いオートフォーカスを提案する。その基本的な手法は、偏光子を配置した画素（偏光画素）から取得された情報（偏光情報、実態としては輝度情報）を利用するというものである。一般的な固体撮像装置にあっては、画素の電荷検出部（光電変換素子）そのものは、偏光に対して感度を有していない。即ち、光の有する偏光情報は用いられずに捨てられているのが実情である。太陽光は無偏光であるが、その光を反射・散乱した光には反射面の表面状態に起因した偏光成分が含まれており、特定の方向に偏った偏光成分が多く含まれる。そこで、本明細書で開示する技術では、偏光子を画素に配置して特定の方向の偏光成分を検知し、その検知情報をオートフォーカス制御に利用する。
【００３９】
偏光子は、詳細には後述するが、撮像領域全体に配置する必要はなく、少なくとも「オートフォーカス対象の領域」に配置されていればよい。更には、「オートフォーカス対象の領域」の全ての画素に偏光子が配置されていることも必須ではなく、所定数の画素を一単位とするブロックごとに、１個〜数個の偏光画素が配置されていればよい。好適には、ブロック内の各偏光子の偏光角は異なっているのがよく、偏光子の偏光主軸の角度の種類をＮとしたとき、それぞれの角度差は１８０／Ｎであるのがよい。典型的には（最も好適なシンプルな構成では）、２画素ペアで、相互に異なる偏光状態（典型的には偏光角の差が９０度）を検出し、その検知情報を使用して予め定められた算術式に基づいて指標値を算出し、算出された指標値に基づいて合焦判定や光学系のフォーカス制御を行なう。もちろんこのことは必須でなく、ブロック相互間の各偏光子の偏光角はランダムに配置されたものであってもよい。
【００４０】
偏光子の配置態様が如何様であっても、単純に偏光子を配した画素（偏光画素）から得られる検知情報（偏光情報、実質的にはいわゆる輝度情報である）を利用するので、高速処理が可能である。特に、ブロック内に偏光角の異なる複数種類の偏光子を配置する態様ではそれら偏光画素の出力差を利用することができる。コントラストオートフォーカスや画素内位相差オートフォーカスでは検出不可能な、例えば全面赤の被写体や全面青の被写体、中央赤、中央青の被写体等でも合焦状態に依存した偏光情報が得られるため、これらの画像においても正確な合焦位置を検出することができる。
【００４１】
合焦位置の判定には、いわゆる山登り制御の技術（山登りサーボ方式）をそのまま利用することができるので、公知の当該山登り制御の技術の利点を有効に活用できるという特徴がある。通常の山登りサーボ方式では、映像信号の鮮鋭度（コントラスト）、つまり高周波成分が、できるだけ最大になるように光学焦点調整機構を制御して、コントラストのピーク点（できるだけ高い位置）を探索することにより、自動的に焦点調整を行なう。山登りサーボ方式は大別すると、山の傾斜やピークを見つける試行法と、ピエゾ素子等を利用して固体撮像装置を微少変動させながら合焦位置を見つける摂動法（いわゆるピエゾオートフォーカス）の２通りがある。例えば、試行法では、試行動作により山の傾斜を見つけるモード、ピークを見つけるモード、ピークをいったん越えたことを判定し、必要に応じてフィルタを切り替える操作のモード、ピークから行き過ぎた量だけモータを逆回転してピークに戻すモード、合焦状態を示すモードの各モードからなる。摂動法では、大まかには試行法に準じた動作をするが、固体撮像装置を微少変動させるので、前ピン側或いは後ピン側の何れにあっても、そこからの焦点位置の方向をほぼ即時に判断できるため、ピークを見つける（つまり合焦状態にする）動作が試行法よりも高速である利点がある。本実施形態では、試行法・摂動法を問わず、通常の映像信号に基づく鮮鋭度（コントラスト）に代えて偏光子を配した画素から得られる情報を使用する。以下、具体的に説明する。
【００４２】
＜偏光による反射率の角度依存性について＞
図４は、偏光による反射率の角度依存の挙動を説明する図である。完全にパッシブ（受動的）な被写体形状センシング方式として、偏光を利用する技術がある。これは非偏光の自然光を照射された被写体からの反射光（鏡面反射光又は拡散反射光）が、表面の向きや視点という幾何学的要因によって種々の部分偏光を呈することを利用する技術である。この情報の取得のためには、被写体各画素の部分偏光状態を偏光画像として取得する。人工光は通常偏光しているので、偏光画像を取得する場合、偏光の影響で反射率が高く透過率が低くなっている部分や、そうでない部分が現れる。
【００４３】
誘電率の異なる一組の材質で形成される界面を３パターン用意する。次にその各々の界面にＴＭ波（Transverse Magnetic Wave）、ＴＥ波（Transverse Electric Wave）を照射する。ＴＭ波は、ｐ偏光とも呼ばれ、磁場成分が入射面に対して横向きの波であり、磁場の進行方向横（切るという意）の成分が０（ゼロ）である。ＴＥ波は、ｓ偏光とも呼ばれ、電場成分が入射面に対して横向きの波であり、電場の進行方向（切るという意）の成分が０（ゼロ）である。そうすると、入射角度の大小によってＴＭ波、ＴＥ波がそれぞれ示す反射率の値が大きく異なっていく。尚、ＴＭ波、ＴＥ波はいわゆる偏光の一種である。
【００４４】
その依存を示したものが図４であり、ある界面での偏光の入射角による反射率（縦軸）の違いを示している。詳しくは、図４では、誘電率或いは屈折率の異なるある材料が積層されている際に、ＴＭ波、ＴＥ波を入射した際の入射角度と反射率の関係が示されている。入射角度０度では、ＴＭ波、ＴＥ波の別はそもそもつかないことから、界面３パターンともに、ＴＭ波、ＴＥ波の各反射率は同値を示している。しかしながら、入射角度が大きくなるにつれて、ＴＭ波の反射率は下がり、ＴＥ波の反射率は上がる。ＴＭ波の反射率は界面３パターンともに、入射角度を大きくするにつれ、反射率０まで下がり続ける。その後、急激に反射率が上がり、入射角度９０度の時点でＴＥ波の反射率と同値をとる。９０度ではもはやＴＭ波、ＴＥ波の別は区別できない。一方、ＴＥ波は入射角度を大きくするにつれその反射率は一方的に増加する。これらの挙動の違いは、ＴＭ波、ＴＥ波の電場、磁場の振動方向が９０度異なることに由来している。即ち、ＴＭ波は入射平面に対して、磁場が平行に振動する波であり、ＴＥ波は入射平面に対して、逆に電場が平行に振動する波であり、この両者の違いが入射平面に対する反射率の差を生む。このような関係は、界面での材料特性によって決まるものであり、感度にはよらない。
【００４５】
＜斜め入射、偏光、反射率の関係＞
図５〜図６は、斜め入射と偏光と反射率の関係を説明する図である。ここで、図５は、偏光状態によって反射率が変化することを説明する図である。図６は、電場と磁場の実振幅の違いを説明する図である。
【００４６】
一般的に偏光状態によって反射率は変化する。これは、図６（フレネルの公式に基づく）から導くことができる。図６（Ａ）は、ｐ偏光（ＴＭ波）の場合であり、その反射率は式（１−１）で表すことができる。図６（Ｂ）は、ｓ偏光（ＴＥ波）の場合であり、その反射率は式（１−２）で表すことができる。因みに、式（１）（式（１−１）及び式（１−２））において、屈折率ｎがない理由は、出射角度θ2が入射上下の材質の屈折率と入射角度θ1によって一意に決まるからである。
【００４７】
【数１】
【００４８】
図６に示すように、電場の実振幅Ｅと磁場の実振幅Ｍには大きな違いがある。具体的には、式（２）で示すように、「Ｅ：Ｈ≒４００：１」の関係がある。これより、偏光方向による反射率の差異が起こるか否かを考えるときには、主に電場のみを考えておけばよいことが分かる。
【００４９】
【数２】
【００５０】
＜本実施形態のオートフォーカスの原理＞
図７〜図９は、偏光子を配した画素から得られる情報（輝度情報）を利用する本実施形態のオートフォーカスの原理を説明する図である。ここで、図７は、偏光画素の出力信号の合焦状態の依存性を説明する図である。図８は、ＴＭ波用の偏光子（パターン化偏光子１０２TM）とＴＥ波用の偏光子（パターン化偏光子１０２TE）との対を、「オートフォーカス対象の領域」の４箇所に配置した場合の偏光画素の出力例を示す図である。図９及び図１０は、オートフォーカス制御用の指標値の算出手法を説明する図である。
【００５１】
本実施形態のオートフォーカスを画素内偏光オートフォーカスと称し、特に、複数種類の偏光角度を利用して、対の各偏光子を配した画素から得られる偏光情報（輝度情報）の差を利用する形態を画素内偏光輝度差オートフォーカスと称する。
【００５２】
偏光子を配した画素から得られる情報（輝度情報）は、合焦状態（前ピンか、ジャスピンか後ピンか）によって変わり、更には被写体と偏光角度との関係にも依存する。例えば、図７（図８も参照）に示すように、被写体像が主にｐ偏光成分となるような（図示のように縦縞模様の）場合には、ＴＭ波用の偏光子を配した画素から得られる情報としては、フォーカスが合っていれば輝度情報が高くなり、フォーカスが合っていなければ輝度情報が低くなる。このとき、ＴＥ波用の偏光子を配した画素から得られる情報としては、フォーカスが合っているか否かに拘わらず、輝度情報の高低には殆ど変化がなく、輝度情報が低くなる。
【００５３】
図示しないが、被写体像が主にｓ偏光成分となるような（横縞模様の）場合には、ＴＥ波用の偏光子を配した画素から得られる情報としては、フォーカスが合っていれば輝度情報が高くなり、フォーカスが合っていなければ輝度情報が低くなる。このとき、ＴＭ波用の偏光子を配した画素から得られる情報としては、フォーカスが合っているか否かに拘わらず、輝度情報の高低には殆ど変化がなく、輝度情報が低くなる。図示しないが、被写体像が主に斜め４５度の偏光成分となるような（右上がりの縞模様の）場合には、４５度偏光波用の偏光子（４５度偏光子）から得られる情報としては、フォーカスが合っていれば輝度情報が高くなり、フォーカスが合っていなければ輝度情報が低くなる。このとき、１３５度偏光波用（或いはＴＭ波用やＴＥ波用）の偏光子を配した画素から得られる情報としては、フォーカスが合っているか否かに拘わらず、輝度情報の高低には殆ど変化がなく、輝度情報が低くなる。図示しないが、被写体像が主に斜め１３５度の偏光成分となるような（左上がりの縞模様の）場合には、１３５度偏光波用の偏光子（１３５度偏光子）から得られる情報としては、フォーカスが合っていれば輝度情報が高くなり、フォーカスが合っていなければ輝度情報が低くなる。このとき、４５度偏光波用（或いはＴＭ波用やＴＥ波用）の偏光子を配した画素から得られる情報としては、フォーカスが合っているか否かに拘わらず、輝度情報の高低には殆ど変化がなく、輝度情報が低くなる。このように、偏光角度に関わらず、フォーカスが合っていれば偏光子を配した画素から得られる輝度情報が高くなる。尚、何れの場合も、フォーカスが合っている状態の方が情報量が増える（ヒストグラム上で分布量が増える）。
【００５４】
これらの点を踏まえると、偏光子を配した画素から得られる情報を利用することにより、フォーカスが合っているか否かの判定が可能であることが推測される。本明細書で開示する技術は、この点に着目してなされている。更には、必要に応じて（特に撮像領域の周辺部において）、偏光による反射率の角度依存性を考慮した感度補正処理を行なうことで、固体撮像装置上と肉眼上での明るさの大小関係の逆転現象を防止することができることが推測される。本明細書で開示する技術は、これらの点に着目してなされている。
【００５５】
原理的には、偏光角度はオートフォーカス対象の全領域において１種類でもよい。この場合、偏光子を配した画素から得られた偏光情報（輝度情報）そのものを使用して予め定められた算術式に基づいて指標値を算出し、算出された指標値に基づいて合焦判定を行なう。そのため、例えば、図９（Ａ）に示すように、オートフォーカス対象の全領域についての複数画素の情報の加算値を判定指標値とする場合には、判定指標値が飽和（オーバーフロー）し易い。
【００５６】
しかしながら、この場合でも、ほとんどの被写体は偏光しているため、「（Ａ＋Ｂ）＋（Ｃ＋Ｄ）＋…＝輝度値の合計」が得られる。輝度値の合計が飽和しない限りは、山登りサーボの技術を適用して、前ピン状態、合焦近傍状態、後ピン状態と、焦点位置を振っていき、輝度値の合計ができるだけ高くなる位置を見つけることにより、合焦させることができる。例えば、図９（Ｂ）に示すように、前ピン範囲内でのある位置Ｐ１での輝度値の合計値をＳＵＭ１、合焦近傍範囲内のある位置Ｐ２での輝度値の合計値をＳＵＭ２、後ピン範囲内でのある位置Ｐ３での輝度値の合計値をＳＵＭ３としたときに、「ＳＵＭ１＜ＳＵＭ３＜ＳＵＭ２」と仮になれば、位置Ｐ２と位置Ｐ３の間に（図９（Ｂ１）参照）、或いは、位置Ｐ２よりも少し位置Ｐ１より側に（図９（Ｂ２）参照）に、焦点位置（合焦点）があると推定することができる。
【００５７】
尚、ここでは偏光子の角度が１種類であるので、偏光子を配した画素から得られた偏光情報（輝度情報）そのもののレベルを使用する場合で説明したが、これに限らず、例えば、偏光子を配した画素に隣接する他の色画素との差を利用することもできる。この場合、後述の複数種類の偏光情報を利用する場合と同様の信号処理を行なうことができる。
【００５８】
合焦状態と偏光子を配した画素から得られる情報との間には、被写体像がどのような状態であるかが関係するので、判定性能を高めるには、複数種類の偏光情報を利用することが好ましい。例えば、一般的には、縦縞と横縞とに着目した判定で十分と考えられるため、この場合には、ＴＭ波相当のみを通す偏光子とＴＥ波相当のみを通す偏光子とを組み合わせて使用する（つまり、水平・垂直の組とする）。好適にはＴＭ波用の偏光子とＥＭ波用の偏光子とを隣接させて配置する。或いは斜め方向の縞模様に着目する場合であれば、４５度偏光波相当のみを通す４５度偏光波用の偏光子と１３５度偏光波相当のみを通す１３５度偏光波用の偏光子とを組み合わせて使用する（つまり、９０度の偏光差を持つ斜め方向の組とする）。好適には４５度偏光波用の偏光子と１３５度偏光波用の偏光子とを隣接させて配置する。或いは又、一組は水平・垂直とし、別の一組は斜め方向という置き方にしてもよい。もちろん、オートフォーカス対象の全領域において各組の向きを統一させる必然性はなく、各組の方向が異なるランダム配置にしてもよい。
【００５９】
複数種類の偏光角度の情報を利用する場合には、組ごとに各偏光子を配した画素から得られた偏光情報（輝度情報）そのものを使用して予め定められた算術式に基づいて第１の指標値を算出し、更に、オートフォーカス対象の全領域についての各組の第１の指標値を使用して予め定められた算術式に基づいて第２の指標値を算出し、算出された第２の指標値に基づいて合焦判定を行なう。このとき例えば、図１０（Ａ）に示すように、組ごとに偏光情報の差分をとり第１の指標値としての差分情報を求め、その差分情報に基づいて、オートフォーカス対象の全領域の複数画素の情報の加算値を第２の指標値として求めるとよい。例えば、ＴＥ波とＴＭ波の輝度差の変化を利用してオートフォーカス機能を担わせる。差分情報の加算値であるので、判定指標値は飽和し難くなる利点がある。
【００６０】
例えば、輝度Ａ＞輝度Ｂ、輝度Ｃ＜輝度Ｄ、…とすると、「（Ａ−Ｂ）＋（Ｄ−Ｃ）＋…＝差の合計」が得られる。ほとんどの被写体は偏光しているが、どのように偏光しているかは分からないため、単に出力の大きい方から小さい方をひいて判断してよい。出力値の大小判定を割愛するべく、差分の絶対値を使用してもよい。この場合も、山登りサーボの技術を適用して、前ピン状態、合焦近傍状態、後ピン状態と、焦点位置を振っていき、輝度差の合計ができるだけ高くなる位置を見つけることにより、合焦させることができる。例えば、図１０（Ｂ）に示すように、前ピン範囲内でのある位置Ｐ１での輝度差の合計値をＤＥＦ１、合焦近傍範囲内のある位置Ｐ２での輝度差の合計値をＤＥＦ２、後ピン範囲内でのある位置Ｐ３での輝度差の合計値をＤＥＦ３としたときに、「ＤＥＦ１＜ＤＥＦ３＜ＤＥＦ２」と仮になれば、位置Ｐ２と位置Ｐ３の間に（図１０（Ｂ１）参照）、或いは、位置Ｐ２よりも少し位置Ｐ１より側に（図１０（Ｂ２）参照）に、焦点位置（合焦点）があると推定することができる。
【００６１】
ここでは、何れの場合も、オートフォーカス用の判定指標値としては、輝度情報に基づく加算値を利用する場合で説明したが、これには限らない。例えば、平均値や中央値（メジアン）等を利用することもできる。
【００６２】
尚、偏光子或いは偏光子の組を所定間隔で撮像領域のオートフォーカス対象の領域に配置する。「所定間隔」とするのは、偏光子を配置する画素のために通常画像の撮像に悪影響を与えることを緩和するためである。通常画像撮像時における偏光子を配置した画素の扱いについては例えば、静止画、動画に関わらず偏光子を配置した画素の情報は無視する手法を適用してもよく、この場合は、「補正」ではなく、偏光子を有する画素と同じ検出波長帯を有し、偏光子を有していない隣接する画素の情報（輝度情報）によって「補間」により、偏光子が配置されている画素から得られる偏光情報（輝度情報）を算出する（見積もる）とよい。例えば、偏光子が配置されている画素から得られる偏光情報を、周辺画素の平均値で置き換える。或いは又、その周辺画素（好ましくは、偏光子を配置した画素は除く）の情報を使って補正により、より的確な画素情報を算出してもよい。例えば、偏光子が配置されている画素から得られる偏光情報（輝度情報）を、偏光子を有する画素と同じ検出波長帯を有し、偏光子を有していない隣接する画素の情報（輝度情報）によって補正する。何れの場合も、カラー撮像の場合には、同色のもの同士で対処するのがよい。
【００６３】
又、動画撮像時（ファインダーモード時を含む）には、ビデオレートに近づけるために、表示装置に表示するために必要な信号ライン或いは画素以外を間引くような駆動方法がとられるので、この点を考慮した「所定間隔」とすることが好ましい。即ち、偏光子をオートフォーカス対象の領域の全面に配置するのではなく、一部の画素に周期的に配置することで、偏光子画素は動画時に読み出されないいわゆる間引き画素に選択的に配置することが好ましい。これにより、動画時の信号処理に負荷を掛けることがなく、フレームレートに支障を与えることもない。
【実施例１】
【００６４】
［偏光子の配置位置］
図１１〜図１２は、偏光子の配置例を説明する図である。ここで、図１１は比較例の偏光子の配置例を示し、図１２は、実施例１の偏光子の配置例を示す。
【００６５】
何れの色画素を偏光子画素とするかにおいては、例えば、Ｍ×Ｎブロック内において、カラーフィルタ１００の一組の同色画素或いは同色に準じる１対の画素の組合せを選択して、それら選択した１対の画素上に偏光角度が異なる２種類のパターン化偏光子１０２を配置するのがよい。全画素領域に対してＭ×Ｎブロック周期で繰り返すことにより、全体的に偏光子画素を配置することもできるが、本実施形態においては、特に、後述する「オートフォーカス対象の領域」に配置すればよい。
【００６６】
図１１に示す比較例の場合、カラーフィルタ１００及びパターン化偏光子１０２が、固体撮像装置１０４（の撮像部）の撮像画素１０６の前面に重ねて配置されている。固体撮像装置１０４上にパターン化偏光子１０２を全面配置した典型例である。カラーフィルタ１００とパターン化偏光子１０２の配置の順番は任意である。入射光は、カラーフィルタ１００及びパターン化偏光子１０２を透過して固体撮像装置１０４に到達し、その撮像部の撮像画素１０６によって輝度が観測される。
【００６７】
一方、図１２に示す実施例１では、カラーフィルタ１００のＭ×Ｎブロック内において、特定色の部分にそれぞれ異なる偏光主軸を有する複数種類のパターン化偏光子１０２を各々配置する。パターン化偏光子１０２が配置される画素を偏光子画素と称する。パターン化偏光子１０２が配置されない画素を非偏光子画素と称する。複数種類のパターン化偏光子１０２とは、それぞれ異なる偏光主軸を有すればよいが、好ましくは、両者の偏光主軸の角度差を９０度とするとよい。「偏光主軸」とは、パターン化偏光子１０２を透過する光の偏波面（透過偏波面）に平行な軸である。
【００６８】
実施例１では、比較例とは異なり、パターン化偏光子１０２を全面配置するのではなく、一部の画素に周期的に配置する。この際には好ましくは、図１２に示すように、偏光子画素は動画時に読み出されないいわゆる間引き画素に選択的に配置することができる。これにより、動画時の信号処理に負荷を掛けることはない。よって、フレームレートに支障を与えることもない。
【００６９】
以下では、ベイヤー配列の固体撮像装置１０４を例にとって、２種類のパターン化偏光子１０２を配置する場合で説明する。図１２に示す例は、ベイヤー配列のＧ画素（Ｇｒ画素及びＧｂ画素）上に２種類のパターン化偏光子１０２を配置している。１つはＴＥ波相当のパターン化偏光子１０２TE、もう１つはＴＭ波相当のパターン化偏光子１０２TMである。ＴＥ波相当のパターン化偏光子１０２TEとＴＭ波相当のパターン化偏光子１０２TMとは、それぞれ異なる偏光主軸を有し、両者の偏光主軸の角度差は９０度である。その配置の頻度・間隔は、ベイヤー単位のＧｒ、Ｇｂへの配置を単位とし、一例として、横８×縦４を１ブロック（単位）に１つ位の間隔とする。図１２は、動画時に読み出されない間引きラインであってＧｂライン（Ｇｂ画素の水平ライン）のＧｂ画素にパターン化偏光子１０２TEを配置し、動画時に読み出されない間引きラインであってＧｒライン（Ｇｒ画素の水平ライン）のＧｒ画素にパターン化偏光子１０２TMを配置した例で示している。ＴＥ波相当の偏光はＴＭ波相当の偏光に対して反射率が高い。しかし、この差を肉眼では感じることができない。何故なら、肉眼の場合、視細胞の配置の影響でどんな光もほぼ入射角度がゼロで入射されるからである。
【００７０】
２つの偏光子画素から得られる輝度情報そのもの或いは感度差（つまり輝度差）を利用してオートフォーカスを実現することができるし、２つの偏光子画素から得られる感度差（つまり輝度差）を利用して画角全体に感度補正を施し、肉眼上と固体撮像装置１０４上の感度を一致させることもできる。後者の場合、オートフォーカスだけでなく、固体撮像装置上と肉眼上での明るさの大小関係の逆転現象を防止することができることができる。
【００７１】
配置間隔は、例えば１４００万画素の固体撮像装置を対象として考えた場合には６４０画素×４８０画素以上、即ち、ＶＧＡ相当以上となる。６４０画素×４８０画素以上即ちＶＧＡ相当以上であれば補正の意味は十分にあり、しかも、解像度の劣化が意識されるレベルでもない。
【００７２】
例えば、Ｇｒ画素にはＴＥ波相当のみを通すパターン化偏光子１０２TEを配置し、Ｇｂ画素にはＴＭ波相当のみを通すパターン化偏光子１０２TMを配置する。或いは逆に、Ｇｒ画素にはＴＭ波相当のみを通すパターン化偏光子１０２TMを配置し、Ｇｂ画素にはＴＥ波相当のみを通すパターン化偏光子１０２TEを配置してもよい。パターン化偏光子１０２TMを配置する画素をＴＭ画素と称し、パターン化偏光子１０２TEを配置する画素をＴＥ画素と称する。
【００７３】
つまり、ベイヤー配列のＧ画素上に一組の逆方向の偏光子画素を配置する。その配置の頻度・間隔は、ベイヤー単位のＧｒ、Ｇｂへの配置を単位とし、横８×縦４画素のブロックを単位に１つ位の間隔とする。ＧｒにはＴＥ波相当のみを通すパターン化偏光子１０２TEを配置し、ＧｂにはＴＭ波相当のみを通すパターン化偏光子１０２TEを配置する。或いは、ＧｒにはＴＭ波相当のみを通すパターン化偏光子１０２TMを配置し、ＧｂにはＴＥ波相当のみを通すパターン化偏光子１０２TMを配置する。これらの対の偏光子画素の輝度差の総和が最も最大の位置を合焦位置とする。
【００７４】
こうすることにより、ＴＥ波とＴＭ波の輝度差の変化を利用してオートフォーカス機能を実現することができる。単純に輝度差を総和するだけのため、高速処理が可能であるし、３２画素に一対の配置のため、補完がより精度を保持した状態で可能である。コントラストオートフォーカスや画素内位相差オートフォーカスでは検出不可能な、例えば全面赤の被写体や全面青の被写体、中央赤、中央青の被写体にも合焦位置を検出可能であるし、感度補正等の偏光情報も利用できる。
【００７５】
ここでは、ベイヤー配列のＧ画素（Ｇｒ画素及びＧｂ画素）上に２種類のパターン化偏光子１０２を配置する例で説明したが、これには限定されない。偏光子画素（或いは非偏光子画素）の組合せ色は任意である。例えば、Ｇｒ画素及びＧｂ画素の何れか一方とＲ画素及びＢ画素の何れか一方との組合せ、或いは、Ｒ画素とＢ画素の組合せとしてもよい。その組合せに応じて、感度補正処理において、色画素の感度の相違を「感度比」で補正すればよい。
【００７６】
［偏光子画素の配置位置］
図１３は、偏光子画素の配置位置を説明する図である。図１４は、感度補正非対象範囲の規定原理を説明する図である。図２４も参照するとよい。
【００７７】
偏光子画素を配置する「オートフォーカス対象の領域」としては、典型的には、図１３（Ａ）に示すように、撮像領域の中央寄りの位置である。例えば、撮像エリアの中心側は斜め入射の影響が少なく、感度補正を必要としないので、全画素領域に対して部分的に（詳しくは撮像エリアの中央側にのみ）偏光子画素を配置するのがよい。これは入射角度が小さい場合、固体撮像装置１０４上と肉眼上での明るさの大小関係の逆転現象が起こり得ないか若しくはその差が軽微であり、敢えて感度補正する必要がないと考えられるからである。例えば、全画素領域の１／２０〜１／３０程度の周辺領域を除く領域に偏光子を配置するとよい。画素領域（撮像エリア）の中央位置への配置が優先されることが望ましいのは、オートフォーカスは通常被写体の中心位置で実現されることが望ましいからである。但し、原理的には、その配置位置は画素領域の中央位置には限定されず、周辺領域であってもよいし、図１３（Ｂ）に示すように全面でもよい。主たる被写体（注目被写体）が通常、何処に配置されるかに応じて、偏光子画素を配置する「オートフォーカス対象の領域」を決めればよい。尚、図１３（Ｂ）に示す場合において、周辺部の感度補正対象領域は、オートフォーカス対象の領域としないようにしてもよい。つまり、偏光子画素の配置箇所は撮像エリアの全面を対象とするが、「オートフォーカス対象の領域」は図１３（Ａ）に示す撮像領域の中央寄りの領域のみであり、周辺部は感度補正対象領域専用とする形態である。図１３（Ｂ）に示す場合において、周辺部の感度補正対象領域と中央部の感度補正不要領域との間に偏光子を配置しない緩衝領域を設けてもよい。
【００７８】
因みに、前述のように、撮像領域の周辺部では、偏光による反射率の角度依存性により感度の逆転現象が見られるため、この点を考慮した感度補正処理を行なうことで、固体撮像装置上と肉眼上での明るさの大小関係の逆転現象を防止する技術を併用することが好ましい。この場合、感度補正用の偏光子を配した画素から得られる情報を合焦用にも使用することができる。つまり、同じ偏光子を感度補正用と合焦用とに兼用することができる。
【００７９】
例えば、ＴＥ波成分とＴＥ波成分との差が、画素の信号出力に対して１／５０程度未満の差しかつかない中央側の領域を感度補正不要領域とし、当該感度補正不要領域の周辺の領域を、感度補正対象領域とする。そして、図１３（Ａ）に示すように、「オートフォーカス対象の領域」を撮像領域の中央寄りの位置とする場合には、この感度補正不要領域（全体或いは一部）を「オートフォーカス対象の領域」に割り当てる。こうすることで、当該領域の偏光子画素は専らオートフォーカス用に使用すればよい。或いは、図１３（Ｂ）に示すように、「オートフォーカス対象の領域」を撮像領域の周辺部にも割り当てる場合は、感度補正対象領域の偏光子画素は、オートフォーカス用と感度補正用とに兼用する。
【００８０】
例えば、信号出力が１５０ミリボルト（ｍＶ）に対して３ミリボルト未満の差しかつかない撮像エリア中心側の領域を感度補正不要領域とし、この感度補正不要領域を除いた撮像部の周辺領域を感度補正対象領域とする。前記条件の撮像エリア中心側の領域は、概ね入射角度１０度程度以内の領域となるが、この領域は感度補正対象除外可能である。
【００８１】
入射角度１０度以下の範囲を感度補正非対象範囲（感度補正不要領域）とすることができる理由について、図１４を参照して説明する。固体撮像装置１０４の撮像画素１０６の検知部（いわゆるフォトダイオードが典型例）は、例えば、シリコン基板（Ｓｉ：屈折率ｎは３．８）上にシリコンナイトライドＳｉＮ（屈折率ｎは２．１）が積層され、その上層にオンチップレンズ１０８及び保護層１０９が配置されている。
【００８２】
図１４に示すような簡略化した撮像画素１０６で算出した場合、大気中からシリコン到達で単純計算では凡そ５０パーセント程度の光が透過される。例えば、固体撮像装置１０４に、ある決まった光学条件を照射する際、“感度”と云われる出力量を比較すると、ＴＭ波／ＴＥ波の出力差は入射角度３０度で、約１０〜１５ミリボルト程度となる。視感度として、認識できる光量の差異はおよそ１０パーセント程度であるので、計算上は１５０ミリボルトの感度に対しては入射角度３０度以下は非補正対象となる。但し、固体撮像装置１０４はガンマ（γ）カーブやゲイン等、様々な出力補正が可能であることから、差異の認識は範囲をもう少し小さいと仮定する。これを３〜５ミリボルトとした。その差異がつく入射角度は、図１４に示す屈折率の積層組合せを例とすると、１０度程度となる。これにより、１０度程度以下の入射角度範囲を感度補正省略可能対象である理由とする。
【００８３】
尚、感度補正対象領域の偏光子の偏光角度（向き）は、統一されていることが望まし。その限りにおいて、斜め方向（４５度や１３５度等）でもよいし、１種類に限らず複数種類の偏光角度の組合せでもよい。複数種類の偏光角度の組合せとすることにより、輝度差を感度補正に利用することができる。又、「偏光角度が統一」という点においては、一組の偏光角度の組合せは、別の一組の偏光角度の組合せと統一がとれていることが望ましい。これに対して、「オートフォーカス対象の領域」の偏光子の偏光角度（向き）は、ランダム配置可能である。ある一組は水平垂直、別の一組は斜め方向という置き方でもよい。換言すると、感度補正対象領域の偏光子により得られる偏光情報（輝度情報）は、必ずオートフォーカス制御用にも使えるのに対して、「オートフォーカス対象の領域」の偏光子により得られる偏光情報（輝度情報）は、必ずしも、感度補正にも使えるとは云えない。
【００８４】
［偏光子を周辺領域に配置する場合の感度補正］
図１５は、感度補正処理に使用される２種類のパターン化偏光子１０２TE及びパターン化偏光子１０２TMの特性例を説明する図である。
【００８５】
固体撮像装置上と肉眼上での明るさの大小関係の逆転現象を防止するための感度補正処理に当たっては、偏光子が配された画素（偏光子画素と記す）から得られる情報に基づいて予め定められた条件に従って補正係数（補正量）を求め、この補正係数を使用して対象画素の輝度情報を補正するとよい。偏光子が配置される画素（偏光子画素と記す）はもちろんのこと、偏光子が配置されない画素（非偏光子画素と記す）も同様に補正する。この際には、入射角度と出力感度から求められる「感度差異による感度補正テーブル」を予め用意しておき、この感度差異による感度補正テーブルに従って１つ或いは１組の偏光子が網羅（担当）する領域の各画素の情報を一律に補正する。例えば、撮像画素１０６の「上層構造」と、「レンズ・固体撮像装置の位置関係」が決定すれば、画角（レンズ環境を含む）の位置による入射角度θが決定する。この画角位置（換言すると入射角度）と出力感度Ｓから求められる「感度差異による感度補正テーブル」に従って、どの程度補正するかを決定付ける補正量（補正係数）は、例えば、ＴＥ波とＴＭ波の差や、輝度画素（カラー撮像の場合はＧ画素と対応）とＴＥ波の差に基づく値を使用する。因みに、感度補正テーブルは、どの程度補正するかを決定付ける補正量（補正係数）を持つものであるが、例えば、ＴＥ波とＴＭ波の差を単純に上乗せする、若しくは、輝度画素（カラー撮像の場合はＧ画素と対応）とＴＥ波の差を単純に上乗せするということではなく、所定値の係数を掛けた値を使用する。係数値は０を採ってもよく、その場合は実態としては補正なしと等価である。係数の最大値は例えば０．５程度とすればよい。
【００８６】
又、カラー撮像の場合の感度補正に当たっては、色分離フィルタの色による感度の相違も考慮に入れる。例えば、ＴＭ画素やＴＥ画素として選択したＧ画素に対するＲ画素やＢ画素の感度の違いを示す指標を感度比とする。Ｒ画素の感度比についてはＲ画素出力値／Ｇ画素出力値、Ｂ画素の感度比についてはＢ画素出力値／Ｇ画素出力値とする。各画素出力値は、無偏光・無彩色時の出力値である。
【００８７】
尚、この感度補正の前提として、偏光子（つまり偏光子画素）の特性を予め知っておく必要がある。この「特性」は、例えば、予め定めた入射角度θにおける予め定めた出力相当光量の場合の出力値を使用することができる。この点について図１５を参照して説明する。例えば、図１５（Ａ）に示すように、無偏光波をＴＭ画素とＴＥ画素のそれぞれで受光することにより、そのときの感度データが得られる。即ち、例えば、ＴＭ画素とＴＥ画素のそれぞれで得られる出力値（ＴＭ画素出力値とＴＥ画素出力値）の差分Ｄ（＝ＴＭ画素出力値−ＴＥ画素出力値）の情報を、予め定めた入射角度θ（例えば４０度）と予め定めた出力相当光量（例えば１５０ミリボルト相当光量）のそれぞれについて求めることにより、非偏光時の差異値Ｄ（＝ＴＭ画素出力値−ＴＥ画素出力値）で構成されるテーブルデータを感度データとして取得することができる。そのデータベースを非偏光値感度データベースと記す。差分（差異値）Ｄは、入射角度θと、感度Ｓのパラメータであり、Ｄ（θ，Ｓ）と表すことができる。
【００８８】
又、図１５（Ｂ）に示すように、１００パーセントＴＭ波をＴＭ画素とＴＥ画素のそれぞれで受光することにより、そのときの感度データが得られる。即ち、１００パーセントＴＭ波に偏光している際のＴＭ画素出力値とＴＥ画素出力値の差分（＝ＴＭ画素出力値−ＴＥ画素出力値）の情報を、予め定めた入射角度θと予め定めた出力相当光量のそれぞれについて求めることにより、１００パーセントＴＭ波に偏光している際の差異値Ｄ’（＝ＴＭ画素出力値−ＴＥ画素出力値）で構成されるテーブルデータを感度データとして取得することができる。そのデータベースを１００パーセントＴＭ波感度データベースと記す。差分（差異値）Ｄ’も、入射角度θと、感度Ｓのパラメータであり、Ｄ’（θ，Ｓ）と表すことができる。図の例では、ＴＭ波に対してＴＭ画素は十分な感度を持っている。
【００８９】
更に、図１５（Ｃ）に示すように、１００パーセントＴＥ波をＴＥ画素とＴＥ画素のそれぞれで受光することにより、そのときの感度データが得られる。即ち、１００パーセントＴＥ波に偏光している際のＴＭ画素出力値とＴＥ画素出力値の差分（＝ＴＭ画素出力値−ＴＥ画素出力値）の情報を、予め定めた入射角度θと予め定めた出力相当光量のそれぞれについて求めることにより、１００パーセントＴＥ波に偏光している際の差異値Ｄ”（＝ＴＭ画素出力値−ＴＥ画素出力値）で構成されるテーブルデータを感度データとして取得することができる。そのデータベースを１００パーセントＴＥ波感度データベースと記す。差分（差異値）Ｄ”も、入射角度θと、感度Ｓのパラメータであり、Ｄ”（θ，Ｓ）と表すことができる。図の例では、ＴＥ波に対してＴＥ画素は感度が低下している。これは、ＴＥ波に対して余分に反射されたことが要因であり後述のように感度補正を要する。
【００９０】
そして、実際の感度補正に当たっては、予め定めた条件で算出される補正量（補正係数）を、各感度データベースと同様にして、入射角度θ及び偏光子を使用しない場合の出力値に対応付けて規定した感度補正テーブルを使用する。例えば、入射角度４０度程度の１５０ミリボルト相当光量の場合の補正係数を例に説明する。先ず、（ＴＭ成分＋ＴＥ成分）＝全電磁波１００パーセントと定義する。通常状態（非偏光状態）では、ＴＭ画素とＴＥ画素の画素出力値は概ね同じである（実際には図１５（Ａ）に示すように差分Ｄが存在する）。ここで、このような感度差のある画素（ＴＥ画素とＴＥ画素）を１００％補正しようとすると、ほぼ全画素を修正する必要があり、処理負担が大きくなる。その対策として、補正対象画素を減らすべく、どのような状態の画素を補正対象画素とするかに基づき、適度な補正係数を設定するのが好ましい。例えば、“ＴＭ成分＜ＴＥ成分”を満たす際のみ補正することにする。例えば、“ＴＭ出力値＜ＴＥ出力値”を示した際には、その差異値（＝ＴＭ出力値−ＴＥ出力値）の絶対値分の５割程度を補正量としてＲａｗデータに上乗せすることにより、ＴＥ波に対して余分に反射された出力の感度補正を行なう。例えば、ベイヤ配列のＧ画素を偏光子画素に割り当てる場合であれば、隣接Ｇ画素（の平均値）に前述の補正量を加えた値を、偏光子画素のＧデータとして置き換えて、感度補正後の値とする。残りの通常のＧ画素やＲ画素やＢ画素については、自身のＲａｗデータに前述の補正量を加えた値を、感度補正後の値とする。
【００９１】
［固体撮像装置に偏光子を積層する手法］
図１６は、固体撮像装置に偏光子を積層する手法を説明する図である。ここでは、被写体の通常画像（輝度画像やカラー画像）と偏光画像を同時に取得する技術を利用する。この技術としては、例えば、「川嶋貴之、佐藤尚、川上彰二郎、長嶋聖、太田晋一、青木孝文：“パターン化偏光子を用いた偏光イメージングデバイスと利用技術の開発”、電子情報通信学会大会講演論文集、特殊号：情報・システム２、２００６年０３月０８日発行、５２頁（参考文献１と記す）」や「青山勉、“フォトニック結晶の光通信から光産業への展開”、［online］、［平成２３年２月２日検索］、インターネット＜ＵＲＬ：http://www.nbci.jp/file/060724-6.pdf＞（参考文献２と記す）」には、輝度画像と被写体の部分偏光の画像を同時に取得するため、複数の異なる偏光主軸を有するパターン化偏光子を固体撮像装置に空間的に配置することが開示されている。パターン化偏光子としては、フォトニック結晶や構造複屈折波長板アレイが利用されている。或いは、特開２００７−８６７２０号公報（参考文献３と記す）に記載の製造技術を利用することもできる。当該製造技術は企業や大学から発表されており、実用化レベルとなっている。因みに、固体撮像装置１０４は、ＣＣＤのみならず、ＣＭＯＳセンサでもよいし、その他のイメージデバイスを使用することができ、特に条件等はない。
【００９２】
例えば、パターン化偏光子１０２の偏光子パターンは溝形成技術と積層技術により、所望の領域ごとにあらゆる方向に、形成が可能である。溝形成技術としては、電子ビームリソグラフィ、フォトリソグラフィ、干渉露光法、ナノプリンティング等、従来のエッチング技術を使用でき、積層技術としては自己クローニング法やマルチパターン形成技術を使用する。溝深さは、例えば０．２マイクロメートル（２００ナノメートル）程度とする。これは、むら発生を十分に抑制可能とするレベルである。溝幅は、波長の半分程度で効果を発揮することが確認されている。
【００９３】
又、材質が透明かつ高屈折率の材料を選択して形成するとよい。溝パターン非形成、全面膜展開も当然許容されることから、本実施形態の構成（特定画素上にのみパターン化偏光子１０２のパターンを作成）は可能と判断できる。又、ＣＣＤ等とこのマルチパターンの結合も例えば非特許文献１等おいて実用レベルとしての成功事例が報告されている。
【００９４】
例えば、図１６（Ａ）に示すように、透明膜１２０及び透明膜１２２の２層を交互に積層させることで実現でき、全体の層厚は１００ｎｍ〜５００ｎｍ程度の薄膜化が可能である。尚、パターン化偏光子１０２を作成したくない箇所には、図１６（Ｂ）に示すように、単に透明膜を施すとよい（溝形成は行なわない）。
【００９５】
［撮像装置：全体概要］
図１７は、撮像装置の一実施形態を示す図である。撮像装置は、例えば、デジタルスチルカメラとして提供される。このデジタルスチルカメラは、静止画撮像動作時にカラー画像を撮像し得るカメラとして適用されるようになっている。
【００９６】
撮像装置２００は、固体撮像装置１０４（ＣＣＤ固体撮像素子）、撮像レンズ５０、及び、固体撮像装置１０４を駆動制御する駆動装置の一例である駆動制御部２９６を有する撮像装置モジュール２０３と、撮像装置モジュール２０３により得られる撮像信号に基づいて映像信号を生成しモニタ出力したり所定の記憶メディアに画像を格納したりする本体ユニット２０４とを備えている。
【００９７】
撮像装置モジュール２０３内の駆動制御部２９６には、固体撮像装置１０４を駆動するための各種のパルス信号を生成するタイミング信号生成部２４０と、このタイミング信号生成部２４０からのパルス信号を受けて、固体撮像装置１０４を駆動するためのドライブパルスに変換するドライバ２４２（駆動部）と、固体撮像装置１０４やドライバ２４２等に電源供給する駆動電源２４６とが設けられている。
【００９８】
撮像装置２００の処理系統は、大別して、光学系２０５、信号処理系２０６、記録系２０７、表示系２０８、及び、制御系２０９から構成されている。撮像装置モジュール２０３と本体ユニット２０４が、図示しない外装ケースに収容されて、実際の製品（完成品）が仕上がる。
【００９９】
光学系２０５は、固体撮像装置１０４のセンサ部（電荷生成部）における信号電荷の蓄積を停止させる機能を持つ機構的なシャッタ２５２（メッカシャッタ）、撮像レンズ２５０と、集光された光画像を光電変換して電気信号に変換する固体撮像装置１０４とから構成されている。撮像レンズ２５０は、被写体の光画像を集光するレンズユニット（フォーカスレンズ２５３とズームレンズ２５４）、フォーカスレンズ２５３を駆動するフォーカスモータＦＭＴ、ズームレンズ２５４を駆動するズームモータＺＭＴ、光画像の光量を調整する絞り２５６を有する。
【０１００】
信号処理系２０６は、プリアンプ部２６２とＡＤ（Analog/Digital）変換部２６４と画像処理部２６６とから構成されている。プリアンプ部２６２とＡＤ変換部２６４とを纏めてアナログフロントエンドとも称する。図示しないが、必要に応じて、固体撮像装置１０４とプリアンプ部２６２との間にバッファ部を設ける。バッファ部は、固体撮像装置１０４から出力されたＣＣＤ出力信号を、劣化することなく、アナログフロントエンドに供給するための受渡し機能を持つ部分であり、固体撮像装置１０４とは別の集積回路（ＩＣ）とされる。
【０１０１】
プリアンプ部２６２は、例えば、固体撮像装置１０４からの撮像信号をサンプリングすることによってノイズを低減させるＣＤＳ（Correlated Double Sampling：相関２重サンプリング）回路や、撮像信号を増幅するゲインコントロール処理用の増幅アンプや、撮像信号をクランプ（CLAMP）するクランプ回路等を有する。ＡＤ変換部２６４プリアンプ部２６２が出力するアナログ信号をデジタル信号に変換する。
【０１０２】
画像処理部２６６は、ＤＳＰ（Digital Signal Processor）で構成されており、ＡＤ変換部２６４から入力されるデジタル信号に所定の画像処理を施す。例えば、画像処理部２６６は、黒レベル補正処理部、画素欠陥補正部、ホワイトバランス処理部、補間処理部、信号分離部、色信号処理部（Ｃ-proc）、輝度信号処理部（Ｙ-proc）等を有する。信号分離部は、例えばリニアマトリクス処理を利用して、色フィルタとして原色フィルタ以外のものが使用されているときにＡＤ変換部２６４から供給されるデジタル撮像信号をＲ（赤）信号、Ｇ（緑）信号、Ｂ（青）信号（纏めて原色信号ＲＧＢとも記す）に分離する原色分離機能を具備する。色信号処理部は、信号分離部によって分離されたて原色信号ＲＧＢに基づいて色信号Ｃに関しての信号処理を行なう。例えば、ホワイトバランス補正、ガンマ補正、色差マトリクス処理等を行なう。輝度信号処理部は、信号分離部によって分離された原色信号ＲＧＢに基づいて輝度信号Ｙに関しての信号処理を行なう。例えば、高周波輝度信号生成処理と、低周波輝度信号生成処理と、輝度信号生成処理等を行なう。高周波輝度信号生成処理では、信号分離部から供給される原色信号ＲＧＢに基づいて比較的周波数が高い成分までをも含む輝度信号YHを生成する。低周波輝度信号生成処理では、ホワイトバランスが調整された原色信号ＲＧＢに基づいて比較的周波数が低い成分のみを含む輝度信号YLを生成する。輝度信号生成処理では、２種類の輝度信号YH及び輝度信号YLに基づいて輝度信号Ｙを生成する。輝度信号YLは露光制御にも利用される。
【０１０３】
記録系２０７は、画像信号を記憶するフラッシュメモリ等のメモリ２７２（記録媒体）と、画像処理部２６６が処理した画像信号を符号化してメモリ２７２に記録し、又、読み出して復号し画像処理部２６６に供給するＣＯＤＥＣ２７４（Code/Decode あるいはCompression/Decompression）とから構成されている。
【０１０４】
表示系２０８は、ＤＡ（Digital/Analog）変換部２８２とビデオエンコーダ２８４とビデオモニタ２８６とから構成されている。ＤＡ変換部２８２は、画像処理部２６６が処理した画像信号をアナログ化する。ビデオエンコーダ２８４は、アナログ化された画像信号を後段のビデオモニタ２８６に適合する形式のビデオ信号にエンコードする。ビデオモニタ２８６は、液晶（ＬＣＤ；Liquid Crystal Display）や有機ＥＬ等の表示デバイスを具備し、入力されるビデオ信号に対応する画像を表示することにより電子ファインダとしても機能する。
【０１０５】
制御系２０９は、カメラ制御部２９２と、露出コントローラ２９４（露出制御部）と、駆動制御部２９６と、操作部２９８とを備える。カメラ制御部２９２は、ＣＰＵ（Central Processing Unit）やマイクロプロセッサ（microprocessor）で構成された中央制御部２９２ａと、読出専用の記憶部であるＲＯＭ（Read Only Memory）、或いは随時読出し・書込みが可能なメモリであるＲＡＭ（Random Access Memory）等を具備する記憶部２９２ｂや、図示を割愛したその他の周辺部材を有している。中央制御部２９２ａは、コンピュータが行なう演算と制御の機能を超小型の集積回路に集約させたＣＰＵを代表例とする電子計算機の中枢をなすものと同様である。
【０１０６】
制御系２０９は、露出コントローラ２９４（露出制御部）、タイミング信号生成部２４０（タイミングジェネレータ；ＴＧ）を具備した駆動制御部２９６、操作部２９８を有する。中央制御部２９２ａは、撮像装置２００のバス２９９に接続された画像処理部２６６、ＣＯＤＥＣ２７４、メモリ２７２、露出コントローラ２９４（露出制御部）、タイミング信号生成部２４０を制御する。
【０１０７】
カメラ制御部２９２は、システム全体を制御するものであり、例えば、撮像装置２００のバス２９９に接続された画像処理部２６６、ＣＯＤＥＣ２７４、メモリ２７２、露出コントローラ２９４、及び、タイミング信号生成部２４０を制御する。ＲＯＭにはカメラ制御部２９２の制御プログラム等が格納されている。ＲＡＭにはカメラ制御部２９２が各種処理を行なうためのデータ等が格納される。カメラ制御部２９２は、メモリカード等の記録媒体を挿脱可能に構成し、或いは又、インターネット等の通信網との接続が可能に構成するとよい。このためには、図示しないが例えば、カメラ制御部２９２は、中央制御部２９２ａや記憶部２９２ｂの他に、メモリ読出部や通信Ｉ／Ｆ（インタフェース）を備えるようにする。
【０１０８】
露出コントローラ２９４は、画像処理部２６６に送られた画像の明るさが適度な明るさを保つようにシャッタ２５２や絞り２５６を制御する。駆動制御部２９６は、固体撮像装置１０から画像処理部６６までの各機能部の動作タイミングを制御するタイミング信号生成部２４０（タイミングジェネレータ；ＴＧ）、ドライバ２４２、駆動電源２４６を有する。アナログフロントエンド（プリアンプ部２６２とＡＤ変換部２６４）、タイミング信号生成部２４０、ドライバ２４２を纏めて、ＣＣＤカメラフロントエンドとも称する。
【０１０９】
操作部２９８は、ユーザがシャッタタイミングやその他のコマンドを入力するためのユーザインタフェースであり、ユーザによる操作の下に撮像装置２００が持つ様々な機能について操作指令を発する。ビデオモニタ２８６は、撮像装置２００のファインダの役割も担っている。ユーザが操作部２９８に含まれるシャッタボタンを押下した場合、カメラ制御部２９２は、タイミング信号生成部２４０に対し、シャッタボタンが押下された直後の画像信号を取り込み、その後は画像処理部２６６の図示しない画像メモリに画像信号が上書きされないように信号処理系２０６を制御させる。その後、画像処理部２６６の画像メモリに書き込まれた画像データは、ＣＯＤＥＣ２７４によって符号化されてメモリ２７２に記録される。以上のような撮像装置２００の動作によって、１枚の画像データの取り込みが完了する。
【０１１０】
撮像装置２００では、オートフォーカス（ＡＦ）、オートホワイトバランス（ＡＷＢ）、自動露光（ＡＥ）等の自動制御装置を備えている。これらの制御は、固体撮像装置１０４から得られる出力信号を使用して処理する。例えば、被写体からの光は、シャッタ２５２とレンズユニット（フォーカスレンズ２５３とズームレンズ２５４）を透過し、絞り２５６により調整されて、適度な明るさで固体撮像装置１０４に入射する。このとき、フォーカスレンズ２５３は中央制御部２９２ａからの制御情報に基づいてフォーカスモータＦＭＴにより駆動され、被写体からの光からなる映像が、固体撮像装置１０４上で結像されるように、試行法の山登りサーボ方式により焦点位置が調整される。摂動法の山登りサーボ方式によるオートフォーカスとする場合には、図中に破線で示すように、固体撮像装置１０４を光軸方向に微少変動させるピエゾ素子（ＰＩＥＺＯ）等の摂動部材及びこれを駆動する駆動部ＰＤＲＶを設け、この摂動部材を中央制御部２９２ａからの制御情報に基づいて駆動部ＰＤＲＶにより駆動する。露出コントローラ２９４は、画像処理部２６６に送られた画像の明るさが適度な明るさを保つようにその制御値が中央制御部２９２ａにより設定され、その制御値に従って絞り２５６を制御する。具体的には、中央制御部２９２ａが画像処理部２６６に保持されている画像から適当な個数の輝度値のサンプルを獲得し、その平均値が予め定められた適当とされる輝度の範囲に収まるように絞り２５６の制御値を設定する。
【０１１１】
タイミング信号生成部２４０は、中央制御部２９２ａにより制御され、固体撮像装置１０４、プリアンプ部２６２、ＡＤ変換部２６４、画像処理部２６６の動作に必要とされるタイミングパルスを発生し、各部に供給する。操作部２９８は、ユーザが、撮像装置２００を動作させるとき操作される。
【０１１２】
図示した例は、信号処理系２０６のプリアンプ部２６２とＡＤ変換部２６４を撮像装置モジュール２０３に内蔵しているが、このような構成に限らず、撮像装置モジュール２０３をどのような形態にするかは、販売形態や製品仕様に基づいて決めればよい。撮像装置モジュール２０３をどのような形態にするかに拘わらず、撮像装置モジュール２０３と本体ユニット２０４とは着脱可能な構成にするのがよい。例えば、プリアンプ部２６２やＡＤ変換部２６４を本体ユニット２０４内に設ける構成を採ることもできる。Ｄ／Ａ変換部を画像処理部２６６内に設ける構成を採ることもできる。又、画像処理部２６６の一部（或いは全部）の機能部を撮像装置モジュール２０３側に設ける構成を採ることもできる。更には、撮像装置モジュール２０３は、撮像レンズ２５０を備えない形態としてもよい。この場合、撮像装置モジュール２０３は、撮像レンズ２５０を着脱可能な構成にする。
【０１１３】
タイミング信号生成部２４０を撮像装置モジュール２０３に内蔵しているが、このような構成に限らず、タイミング信号生成部２４０を本体ユニット２０４内に設ける構成を採ることもできる。タイミング信号生成部２４０とドライバ２４２とが別体のものとしているが、このような構成に限らず、両者を一体化させたもの（ドライバ内蔵のタイミングジェネレータ）としてもよい。こうすることで、よりコンパクトな（小型の）撮像装置２００を構成できる。
【０１１４】
タイミング信号生成部２４０やドライバ２４２は、それぞれ個別のディスクリート部材で回路構成されたものでもよいが、１つの半導体基板上に回路形成されたＩＣ（Integrated Circuit）として提供されるものであるのがよい。こうすることで、コンパクトにできるだけなく、部材の取扱いが容易になるし、両者を低コストで実現できる。撮像装置２００の製造が容易になる。
【０１１５】
使用する固体撮像装置１０４との関わりの強い部分であるタイミング信号生成部２４０やドライバ２４２を固体撮像装置１０４と共通の基板に搭載することで一体化させる、或いは、撮像装置モジュール２０３内に搭載することで一体化させると、部材の取扱いや管理が簡易になる。これらがモジュールとして一体となっているので、撮像装置２００（の完成品）の製造も容易になる。撮像装置モジュール２０３は、光学系２０５からのみ構成されていてもよい。
【０１１６】
［撮像装置及び画像処理装置］
図１８は、撮像装置及び画像処理装置の信号処理系の構成例を説明する図である。
【０１１７】
撮像装置２００は、固体撮像装置１０４及びＡＤ変換部２６４や図示しないプリアンプ部２６２で成るフロントエンド部３０２と、信号処理部３０４と、中央制御部２９２ａとを備える。
【０１１８】
固体撮像装置１０４（ここではＣＣＤとする）は、図示しないカラーフィルタ１００として、ベイヤー配列の４色カラーフィルタが設けられている。カラーフィルタ１００は、赤色（Ｒ）の光のみを透過するＲフィルタと、青色（Ｂ）の光のみを透過するＢフィルタと、第１の波長帯域の緑色（Ｇ）の光のみを透過するＧｒフィルタと、第２の波長帯域の緑色（Ｇ）の光のみを透過するＧｂフィルタとの合計４個を最小単位とする構成を有する。固体撮像装置１０４からＡＤ変換部２６４には、カラーフィルタ１００の４色カラーフィルタの色と対応した４種類の色信号（Ｒ信号、Ｇｒ信号、Ｇｂ信号、Ｂ信号）が入力される。ＡＤ変換部２６４は、４種類の色信号をデジタルデータに変換する。
【０１１９】
信号処理部３０４は、フロントエンド部３０２の後段に設けられ、図示しないカラーフィルタ１００及びパターン化偏光子１０２を有する固体撮像装置１０４により得られた撮像信号（画素からの偏光成分及び無偏光成分の各信号）に対して信号処理を施す。信号処理部３０４は、例えば、ＬＳＩ(Large Scale Integrated Circuit：大規模集積回路)や信号処理用のプロセッサ（例えば、ＤＳＰ：Digital Signal Processor）の構成とされている。信号処理部３０４は、フロントエンド部３０２と着脱可能な構成であってもよい。
【０１２０】
信号処理部３０４内の各機能部は、図示しないマイクロコンピュータインタフェースを介して、ＣＰＵ（Central Processing Unit）或いはマイコン等で構成された中央制御部２９２ａとバス接続されている。信号処理部３０４と中央制御部２９２ａとで画像処理装置３００が構成される。
【０１２１】
中央制御部２９２ａは、所定のプログラムにしたがって、例えば撮像装置２００や画像処理装置３００の全体の動作を制御する。更には、信号処理部３０４を構成する各機能部がマイクロコンピュータインタフェースを介して中央制御部２９２ａによって制御される。中央制御部２９２ａは、図示しないが、ＣＰＵ等のプロセッサ及び各種設定値等のデータを保持するメモリからなる機能部である。画像データの輝度情報の解析や明るさ判別、各種の設定処理等、撮像装置２００や画像処理装置３００の全体の処理を制御する。又、本実施形態の特徴点として、オートフォーカス制御や、固体撮像装置上と肉眼上での明るさの大小関係の逆転現象を防止するための感度補正処理をソフトウェア処理で行なうこともできる。
【０１２２】
中央制御部２９２ａは、プログラムの更新或いは新規インストールを、記憶媒体やネットワークを通じて行なうことを可能にする。例えば、メモリカード等の記録媒体を挿脱可能に構成し、又、インターネット等の通信網との接続が可能に構成する。記録媒体は、例えば、中央制御部２９２ａ（のマイクロプロセッサ）にソフトウェア処理をさせるためのプログラムデータや、信号処理部３０４からの輝度系信号に基づく測光データの収束範囲や露光制御処理（電子シャッタ制御を含む）等のための各種の制御情報の設定値等の様々なデータを登録する等のために利用される。通信網を介しての場合も同様である。
【０１２３】
信号処理部３０４は、フロントエンド部３０２から入力される４種類の色信号に対して、補間処理、フィルタリング処理、マトリクス演算処理、輝度信号生成処理、色差信号生成処理等を行なう。信号処理部３０４によって生成された画像信号が図示しないデスプレイに供給され、撮像画像が表示される。或いは又、信号処理部３０４からの画像データが圧縮されて内部記憶媒体や外部記憶媒体等に記憶される。以下、信号処理部３０４の各機能部について説明する。
【０１２４】
信号処理部３０４は、黒レベル処理部３１２、画素欠陥補正部３１４、ホワイトバランス処理部３１６、補間処理部３２２、リニアマトリクス処理部３２４、ガンマ処理部３２６、感度補正処理部３３０、合焦情報処理部３３２、輝度信号処理部３４２、エッジ強調処理部３４４、色信号処理部３５２（色差信号処理部）、色差マトリクス処理部３５４、画像圧縮処理部３６０を備える。
【０１２５】
黒レベル処理部３１２は、フロントエンド部３０２から供給されてきた４種類の色信号の基準レベルをクランプするとともに、必要に応じて、その信号に含まれるノイズ成分（オフセット成分）を除去する。黒レベル処理部３１２からの画像信号が画素欠陥補正部３１４を経由して画素欠陥が補正された後にホワイトバランス処理部３１６に出力され、ホワイトバランス補正がなされる。即ち、被写体の色温度環境の違いや固体撮像装置１０４上のカラーフィルタ１００（Ｒ、Ｇｒ、Ｇｂ、Ｂ）による感度の違いによる各色間のアンバランスが補正される。例えば、ホワイトバランス処理部３１６は、ＲＧＢ画像の各画素値に適切な係数をかけることにより、被写体の無彩色の部分の色バランスが実際に無彩色となるように、ＲＧＢ画像のホワイトバランスを調整する。
【０１２６】
感度補正処理部３３０は、必要に応じて、画素欠陥補正部３１４とホワイトバランス処理部３１６の間の信号パスに介在して、固体撮像装置上と肉眼上での明るさの大小関係の逆転現象を防止するための感度補正処理を行なう。つまり、感度補正処理部３３０は、パターン化偏光子１０２が配置された画素の信号に基づいて、ブロック内の各画素の信号強度を補正することにより、固体撮像装置上と肉眼上での明るさの大小関係の逆転現象を防止する。
【０１２７】
合焦情報処理部３３２は、オートフォーカス対象の全領域の偏光子を配した画素から得られた偏光情報（実質的には輝度情報）に基づいて、オートフォーカス用の指標値（光学系のフォーカス制御用の合焦情報）を算出する。例えば、合焦情報処理部３３２は、オートフォーカス対象の全領域において偏光角度を１種類とする場合、偏光子を配した画素から得られた偏光情報のレベルそのものを使用して予め定められた算術式に基づいてオートフォーカス用の指標値（光学系のフォーカス制御用の合焦情報）を算出する。例えば、合焦情報処理部３３２は、オートフォーカス対象の全領域に配置された各偏光子により取得される偏光情報（つまり輝度情報）を合計し、この合計値を判定指標値として中央制御部２９２ａに通知する。或いは、合焦情報処理部３３２は、オートフォーカス対象の全領域において偏光角度差が９０度の２種類とする場合（例えば、ＴＥ偏光子とＴＭ偏光子の組合せや、４５度偏光子と１３５度偏光子との組合せ等）、先ず、オートフォーカス対象の全領域について、対の各偏光子を配した画素から得られる偏光情報（輝度情報）そのものを使用して予め定められた算術式に基づいて第１の指標値を算出する。例えば、合焦情報処理部３３２は、組ごとに、対の各偏光子により取得される偏光情報（つまり輝度情報）の差分の絶対値を第１の指標値として算出する。合焦情報処理部３３２は更に、オートフォーカス対象の全領域についての各組の第１の指標値を使用して予め定められた算術式に基づいて第２の指標値（判定指標値）を算出する。例えば、合焦情報処理部３３２は、オートフォーカス対象の全領域に配置された各偏光子の対ごとに算出された第２の指標値（つまり輝度差の絶対値）を合計し、この合計値（第２の指標値）を判定指標値として中央制御部２９２ａに通知する。
【０１２８】
何れの場合も、中央制御部２９２ａは、合焦情報処理部３３２から通知されたオートフォーカス用の判定指標値に基づき、山登りサーボ方式を利用して、光学焦点調整機構を制御して、自動的に焦点調整を行なう。例えば、試行動作で（フォーカス位置を動かしながら）、通知された判定指標値の山の傾斜を見つけ、更に、ピークを見つける。そして、ピークをいったん越えたことを判定し、ピークから行き過ぎた量だけフォーカスモータＦＭＴを逆回転してピークに戻す。
【０１２９】
図示した感度補正処理部３３０や合焦情報処理部３３２の信号パス上の配置は一例であり、これには限定されない。例えば、黒レベル処理部３１２と画素欠陥補正部３１４との間の信号パスに介在して感度補正処理を行なってもよい。更には、ホワイトバランス処理部３１６より後段の何れかの信号パスに介在して感度補正処理を行なってもよい。また、この例では、感度補正処理部３３０と合焦情報処理部３３２は、何れも、画素欠陥補正部３１４の出力を使用しているが、互いに異なる機能部の出力信号を使用する構成にしてもよい。例えば、感度補正処理部３３０は、図示の通り黒レベル処理部３１２と画素欠陥補正部３１４との間の信号パスに介在する構成にし、一方、合焦情報処理部３３２は、例えば補間処理部３２２の出力信号を使用する構成にしてもよい。この場合、合焦情報処理部３３２は、感度補正処理がなされた情報を使うことができるため、より高精度のオートフォーカス制御用の判定指標値を算出することができる。
【０１３０】
或いは又、合焦情報処理部３３２は、感度補正処理部３３０より前段に配置してもよい。例えば、感度補正処理部３３０は、図示の通り黒レベル処理部３１２と画素欠陥補正部３１４との間の信号パスに介在する構成にし、一方、合焦情報処理部３３２は、例えばＡＤ変換部２６４の出力信号を使用する構成にしてもよい。この場合、合焦情報処理部３３２を、撮像装置モジュール側に配置した製品形態で撮像装置２００のモジュール（撮像装置モジュール２０３）を提供することができる。
【０１３１】
ホワイトバランス処理部３１６の出力が補間処理部３２２に供給される。補間処理部３２２は、垂直方向の補間処理やフィルタリング処理のために、遅延素子例えば小規模なメモリを使用して時間的に異なる垂直方向の画像データを同時化する。補間処理部３２２は、又、同時化された複数の画像信号を、補間処理、フィルタ処理、高域周波数補正処理、及び、ノイズ処理部等も行なう。例えば、補間処理部３２２は、色フィルタ（Ｒ、Ｇｒ、Ｇｂ、Ｂ）の最小単位の２×２画素の色信号を同一空間の位相に補間する補間処理と、適切に信号帯域を制限するフィルタ処理と、信号帯域の高域成分を補正する高域周波数補正処理と、信号のノイズ成分を除去するノイズ処理等を行なう。
【０１３２】
補間処理部３２２で得られた画像信号（ＲＧｒＧｂＢの４色の信号）がリニアマトリクス処理部３２４に供給される。リニアマトリクス処理部３２４では、４入力３出力のマトリクス演算がなされる。３×４の行列のマトリクス係数を与えると、入力されたＲＧｒＧｂＢの４色の画像情報からＲＧＢ色出力を求めることができる。この際には、色再現性を高めるようなマトリクス係数を用いてリニアマトリクス変換を施す。リニアマトリクス処理部３２４からのＲＧＢ出力がガンマ補正処理部３２６Ｒ、ガンマ補正処理部３２６Ｇ、ガンマ補正処理部３２６Ｂにそれぞれ色別に供給される。階調変換部によって、表示装置が有する非線形特性の逆補正を予め行なうことで、最終的にリニアな特性が実現される。
【０１３３】
ガンマ補正処理部３２６Ｒ、ガンマ処理部３２６Ｇ、ガンマ処理部３２６Ｂの出力信号が輝度信号処理部３４２及び色信号処理部３５２にそれぞれ供給される。輝度信号処理部３４２は、ガンマ補正されたＲＧＢ信号を所定の合成比で合成することによって輝度信号を生成し、エッジ強調処理部３４４に供給する。エッジ強調処理部３４４は、必要に応じてエッジ強調処理を行なうことで、画像をシャープにする。色信号処理部３５２は、ガンマ補正されたＲＧＢ信号を所定の合成比で合成することにより色差信号を生成し色差マトリクス処理部３５４に供給する。色差マトリクス処理部３５４は、色差画像の画素値に適切なゲイン係数を乗じて色相及び／又は彩度の調整処理（色相・彩度調整）を行なう。これにより、色差信号Ｃｂ及び色差信号Ｃｒが時分割多重化された色差信号が形成される。
【０１３４】
画像圧縮処理部３６０は、エッジ強調処理部３４４や色差マトリクス処理部３５４から出力される画像データを、ＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ（Moving Picture Experts Group）等所定の方式により符号化し、符号化した画像データを保存先の記録デバイスに保存する。符号化した画像データの保存先として、例えば、フラッシュメモリ等の半導体メモリ、ハードディスク、磁気記録媒体、光磁気記録媒体、光記録媒体等が利用される。
【０１３５】
図示しないが、エッジ強調処理部３４４や色差マトリクス処理部３５４から出力される画像データは、画像表示部にも供給され、画像データに基づいて、例えばＬＣＤ（Liquid Crystal Display）等の表示デバイスの画面に表示される。
【０１３６】
［処理手順］
図１９は、撮像装置２００におけるオートフォーカス処理の処理手順の一例を示すフローチャートである。ここでは、固体撮像装置上と肉眼上での明るさの大小関係の逆転現象を防止するための感度補正処理との併用も考慮して、撮像エリア全体を「オートフォーカス対象の領域」とする場合で説明する。又、オートフォーカス制御用の判定指標値としては、一例として、ＴＥ画素出力値とＴＭ画素出力値の差分（大小関係を不問とするべく、詳しくはその絶対値）を利用する形態で説明する。
【０１３７】
中央制御部２９２ａは、被写体撮像（撮像モード）前のオートフォーカス時であるのか否かを判定する（Ｓ３１０）。オートフォーカス時であれば、中央制御部２９２ａは先ず、合焦情報処理部３３２に対して、オートフォーカス用の判定指標値の取得を指示する。
【０１３８】
合焦情報処理部３３２は、偏光子配置画素座標が登録されているデータベースを参照して、オートフォーカス対象領域内の処理対象の対のＴＭ偏光子とＴＥ偏光子を特定する（Ｓ３１２）。そして、オートフォーカス対象の全領域について、対のＴＥ偏光子とＴＭ偏光子のそれぞれから得られる偏光情報（輝度情報）そのものを使用して、組ごとに、差分値＝｜ＴＭ画素出力値−ＴＥ画素出力値｜を算出する（Ｓ３１４）。合焦情報処理部３３２は更に、オートフォーカス対象の全領域についての各組の差分値を合計し、この合計値を判定指標値として中央制御部２９２ａに通知する（Ｓ３１６）。中央制御部２９２ａは、フォーカスモータＦＭＴを駆動しながら、通知された判定指標値を使って山登り方式によるオートフォーカス制御を行ない、判定指標値のピーク点（できるだけ高い位置）を探索する（ピークサーチ）（Ｓ３１８）。判定指標値がほぼピーク点であると判断するとオートフォーカス制御を完了させる。
【０１３９】
撮像モード時であれば、中央制御部２９２ａは先ず、感度補正処理部３３０に対して、感度補正用の情報取得を指示する。ここで、本実施形態の感度補正処理は、静止画モードのときに機能し、動画モードのときには機能しない。即ち、動画モードのときには（Ｓ３５０−動画モード）、間引き対象の画素に偏光子を配置しているため、感度補正処理部３３０は、偏光子画素のデータを読み出さない（Ｓ３６０）。
【０１４０】
静止画モードのとき（Ｓ３５０−静止画モード）、感度補正処理部３３０は、予め偏光子配置画素座標が登録されているデータベース（入射角度情報データベースと記す）に基づいて、対のＴＭ偏光出力値とＴＥ偏光出力値を比較する（Ｓ３７０、Ｓ３７２）。比較結果（ＴＭ画素出力値−ＴＥ画素出力値）が「負」の場合、感度補正処理部３３０は、その画素の入射角度情報データベースと隣接Ｇ画素の出力量（例えば周辺領域のＧ画素の平均値）から、所望の補正値を感度補正量データベースから抽出する（Ｓ３７２−負、Ｓ３８０）。そして、感度補正処理部３３０は、偏光子画素のＧデータを、隣接Ｇ画素に補正値を加えた値で置き換えて、感度補正後の値とする（Ｓ３８２）。残りの通常の（非偏光子画素である）Ｇ画素やＲ画素やＢ画素については、自身のＲａｗデータに所望の補正値を加えた値を、感度補正後の値とする。但し、Ｒ画素やＢ画素については、Ｇ画素に対する補正値に対してＧ画素との感度比分の修正を行なう。
【０１４１】
比較結果（ＴＭ画素出力値−ＴＥ画素出力値）が「負」でない、つまり「正」の場合或いは「等しい」場合、感度補正処理部３３０は、偏光子画素のＧデータを隣接Ｇ画素の平均値で置き換える（Ｓ３７２≠「負」、Ｓ３９０）。
【実施例２】
【０１４２】
図２０は、実施例２の偏光子の配置例を示す図である。実施例１では、カラーフィルタ１００のＭ×Ｎブロック（横８×縦４の３２画素のブロック）内において、特定色の部分に複数種類（具体的には２種類）のパターン化偏光子１０２を配置し、且つ、同様の偏光子の組合せのブロックを周期的に配置していたが、実施例３では、更に、隣接ブロック間では、偏光子の組合せを異ならせる点に特徴がある。例えば、４５度の偏光波相当のみを通すパターン化偏光子１０２_45と１３５度の偏光波相当のみを通すパターン化偏光子１０２_135の組合せを更に併用する。そして、このようなブロックを「オートフォーカス対象の領域」に鏤める。その際には、それぞれ異なる偏光角のパターン化偏光子１０２が周期的に配置されるようにしてもよいしランダムに配置されるようにしてもよい。図は、前者の場合であって、Ｇｂラインにパターン化偏光子１０２TEとパターン化偏光子１０２_45とを周期的に（７画素おきに）配置し、Ｇｒラインにパターン化偏光子１０２TMとパターン化偏光子１０２_135とを周期的に（７画素おきに）配置した場合で示している。
【０１４３】
このような実施例２によれば、パターン化偏光子１０２TE、パターン化偏光子１０２TM、パターン化偏光子１０２_45、パターン化偏光子１０２_135が、「オートフォーカス対象の領域」に鏤められる。したがって、縦縞、横縞、斜め縞の全てに着目してオートフォーカス制御を行なうことができる。一般的な被写体であれば、あらゆる種類の偏光成分（偏光角）をほぼ網羅することができる。
【実施例３】
【０１４４】
図２１は、実施例３の偏光子の配置例を示す図である。実施例１では、カラーフィルタ１００のＭ×Ｎブロック（横８×縦４の３２画素のブロック）内において、特定色の部分に複数種類（具体的には２種類）のパターン化偏光子１０２を配置したが、実施例３では、１種類のパターン化偏光子１０２を配置する。パターン化偏光子１０２としては、例えば、パターン化偏光子１０２TMとパターン化偏光子１０２TEの何れか、或いは、４５度の偏光波相当のみを通すパターン化偏光子１０２_45と１３５度の偏光波相当のみを通すパターン化偏光子１０２_135の何れかを使用する。カラーフィルタ１００がベイヤー配列の場合、パターン化偏光子１０２を配置し得る色画素は４種類であり、何れを偏光子画素としてもよいし、原理的には、パターン化偏光子１０２に関してはパターン化偏光子１０２TMとパターン化偏光子１０２TEとパターン化偏光子１０２_45とパターン化偏光子１０２_135の何れを使用してもよい。したがって、選択し得る組合せとしては、４×４通りある。そして、このようなブロックを「オートフォーカス対象の領域」に鏤める。その際には、それぞれ異なる偏光角のパターン化偏光子１０２が周期的に配置されるようにしてもよいしランダムに配置されるようにしてもよい。図は、前者の場合であって、Ｇｂラインにはパターン化偏光子１０２TEのみ或いはパターン化偏光子１０２_45のみを配置し、Ｇｒラインにはパターン化偏光子１０２TMのみ或いはパターン化偏光子１０２_135のみを配置した場合で示している。
【０１４５】
このような実施例３によっても、実施例２と同様に、パターン化偏光子１０２TE、パターン化偏光子１０２TM、パターン化偏光子１０２_45、パターン化偏光子１０２_135が、「オートフォーカス対象の領域」に鏤められる。したがって、縦縞、横縞、斜め縞の全てに着目してオートフォーカス制御を行なうことができる。一般的な被写体であれば、あらゆる種類の偏光成分（偏光角）をほぼ網羅することができる。
【実施例４】
【０１４６】
図２２は、実施例４の偏光子の配置例を示す図である。実施例２や実施例３では、パターン化偏光子１０２TE、パターン化偏光子１０２TM、パターン化偏光子１０２_45、パターン化偏光子１０２_135の配置されるラインを特定のラインに決めていた。これに対して、実施例４は、偏光子が配置される対象ライン（行）及び対象カラム（列）のそれぞれに、パターン化偏光子１０２TE、パターン化偏光子１０２TM、パターン化偏光子１０２_45、パターン化偏光子１０２_135を隈無く配置する点に点に特徴がある。図は、実施例３に対する変形例で示している。先ず、ライン方向において、パターン化偏光子１０２TE、パターン化偏光子１０２TM、パターン化偏光子１０２_45、パターン化偏光子１０２_135を交互且つＧｂラインとＧｒラインで交互に配置している。更に、カラム方向においても、パターン化偏光子１０２TE、パターン化偏光子１０２TM、パターン化偏光子１０２_45、パターン化偏光子１０２_135を交互且つＧｂカラムとＧｒカラムで交互に配置している。近傍の４ブロックに着目したとき、どのような組合せにおいても、パターン化偏光子１０２TE、パターン化偏光子１０２TM、パターン化偏光子１０２_45、パターン化偏光子１０２_135が配置されている。
【０１４７】
このような実施例４によっても、実施例２や実施例３と同様に、パターン化偏光子１０２TE、パターン化偏光子１０２TM、パターン化偏光子１０２_45、パターン化偏光子１０２_135が、「オートフォーカス対象の領域」に鏤められる。したがって、縦縞、横縞、斜め縞の全てに着目してオートフォーカス制御を行なうことができる。一般的な被写体であれば、あらゆる種類の偏光成分（偏光角）をほぼ網羅することができる。
【０１４８】
＜本実施形態の纏め＞
図２３は、本実施形態の画素内偏光オートフォーカスと従前の他のオートフォーカス方式とを対比した図表である。画素内偏光オートフォーカスに関しては、特に、画素内偏光輝度差オートフォーカスの場合で示す。又、偏光子としては、パターン化偏光子１０２TE（ＴＥ画素）とパターン化偏光子１０２TM（ＴＭ画素）の対を使用する場合で示す。図２４は、本実施形態の画素内偏光オートフォーカスと感度補正とを対比した図表である。ここでは、３２画素（横８×縦４）に一組のＴＥ画素とＴＭ画素をベイヤー配列のＧｒ画素とＧｂ画素に配置する場合をベース配置として示している。
【０１４９】
［オートフォーカス］
コントラストオートフォーカス、位相差検知オートフォーカス、及び、画素内位相差オートフォーカスのそれぞれの特徴、長所、短所については、図１〜図３を参照して説明した通りであり、図２３には、それを纏めて記載してある。本実施形態の画素内偏光輝度差オートフォーカスは、偏光子を配した偏光画素を必要とする点で、他の方式とは全く異なった方式であるが、偏光画素から出力される情報（事実上の輝度情報）の確認のみでよく、単純かつ高速のオートフォーカス制御ができる。但し、偏光画素から出力される情報だけでは合焦の方向は不明であるので、山登りサーボ方式等を適用して合焦点をサーチすることが必要となる。
【０１５０】
［感度補正］
本実施形態の画素内偏光オートフォーカスと感度補正のそれぞれの特徴や偏光子の角度配置等については、既に説明した通りであり、図２４には、それを纏めて記載してある。ところで、従来技術は偏光による反射率の角度依存を考慮していない。そのため、極端な場合は、固体撮像装置上と肉眼上で感じる明るさの間に大小関係の逆転現象が有り得た。これに対して、本実施形態では、ブロックごとに、ベイヤー配列の色画素の一部に２種類の偏光子を配置し、これらの信号出力差に基づいて反射成分が多い領域を抽出し、感度補正により、ブロック内の各画素の信号レベルを補正する。肉眼で感じる感度と固体撮像装置上の感度が補正により一致する。これにより、感度の逆転現象が是正され、遠近感も同時に向上する。当該技術は、例えば広角レンズを用いる場合やその必要性が増す状況下で益々その有効性が高まっていくことが予想される。
【０１５１】
又、例えば、特開２０１０−１６３１５８号公報には、「偏光を利用」した撮像装置、及び偏光光データ処理方法の発明が開示されている。「偏光を利用」するという点では、本実施形態と共通する部分があるが、その利用形態は全く異なる。例えば、同公報（段落番号［０００８］には、「偏光成分と無偏光成分とを分離することで、画像のコントラストを改善することができるし、不要な情報を削除することもできる。」と記載されており、同公報に開示の発明も基本的にはこのような思想を前提としたものである。これに対して、本実施形態の感度補正において「偏光を利用」する際には、「偏光成分と無偏光成分とを分離する」というものではなく、「偏光成分から得られる情報に基づいて感度補正を行なうことにより、広義のコントラストを改善すると云うものである。両者の偏光の利形態は全く異なる。「感度補正」を要するのは、主に撮像エリアの周辺部である点に着目して、感度補正用の偏光子は主に撮像エリアの周辺部にのみ存在してればよい。これに対して、同公報に記載の発明は、撮像エリアの全面に亘って所定間隔で配置するものであり、偏光子の配置形態においても相違がある。又、偏光角度に関しては、同公報の発明では、少なくとも３種類の偏光角度の組を必要としている（段落番号［００２７］参照）。これに対して、本実施形態では、１種類でも構わない点において相違がある。
【０１５２】
以上、本明細書で開示する技術について実施形態を用いて説明したが、請求項の記載内容の技術的範囲は前記実施形態に記載の範囲には限定されない。本明細書で開示する技術の要旨を逸脱しない範囲で前記実施形態に多様な変更又は改良を加えることができ、そのような変更又は改良を加えた形態も本明細書で開示する技術の技術的範囲に含まれる。前記の実施形態は、請求項に係る技術を限定するものではなく、実施形態の中で説明されている特徴の組合せの全てが、本明細書で開示する技術が対象とする課題の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の技術が含まれており、開示される複数の構成要件における適宜の組合せにより種々の技術を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、本明細書で開示する技術が対象とする課題と対応した効果が得られる限りにおいて、この幾つかの構成要件が削除された構成も、本明細書で開示する技術として抽出され得る。
【０１５３】
前記実施形態の記載を踏まえれば、特許請求の範囲に記載の請求項に係る技術は一例であり、例えば、以下の技術が抽出される。以下列記する。
［付記１］
画素が配列された撮像部を有し、更に、所定数の画素を対象として、当該画素に重なるように偏光子が配置されている固体撮像装置と、
偏光子が配置された画素から出力された情報に基づいて、被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報を生成する合焦情報処理部、
とを備えている撮像装置。
［付記２］
合焦情報処理部により生成された合焦情報に基づいて、光学系のフォーカス制御を行なうフォーカス制御部を備えた付記１に記載の撮像装置。
［付記３］
被写体像を撮像部に導く光学系を備えている付記１又は付記２に記載の撮像装置。
［付記４］
固体撮像装置は、所定数の画素を１単位とするブロックごとに、ブロック内の総画素数よりも少ない数の画素を対象として、当該画素に重なるように偏光子が配置されている付記１乃至付記３の何れか１項に記載の撮像装置。
［付記５］
ブロック内に、それぞれ異なる角度の偏光主軸を有する複数種類の偏光子が配置されている付記４に記載の撮像装置。
［付記６］
偏光子の偏光主軸の角度の種類をＮとしたとき、それぞれの角度差は、１８０／Ｎである付記５に記載の撮像装置。
［付記７］
複数種類の偏光子の１つはＴＥ波相当のみを通す偏光子であり、
複数種類の偏光子のもう１つはＴＭ波相当のみを通す偏光子である付記５又は付記６に記載の撮像装置。
［付記８］
色分離を行なうカラーフィルタを有し、
ブロック内のカラーフィルタの一組の同色画素又は同色に準じる画素に重なるように偏光子が配置されている付記５乃至付記７の何れか１項に記載の撮像装置。
［付記９］
カラーフィルタは、緑色又は緑色に準じる色の色フィルタを複数持ち、
緑色又は緑色に準じる色の色フィルタと重なるように複数の偏光子が配置されており、
複数種類の偏光子の１つはＴＥ波相当のみを通す偏光子であり、
複数種類の偏光子のもう１つはＴＭ波相当のみを通す偏光子である付記８に記載の撮像装置。
［付記１０］
カラーフィルタは、２つの緑色と１つの赤色と１つの青色の各色フィルタがベイヤー配列されており、
緑色の色フィルタと重なるように２種類の偏光子が配置されており、
一方の偏光子はＴＥ波相当のみを通す偏光子であり、
他方の偏光子はＴＭ波相当のみを通す偏光子である付記９に記載の撮像装置。
［付記１１］
ブロック内には、１種類の偏光子が１つ配置されている付記１乃至付記４の何れか１項に記載の撮像装置。
［付記１２］
偏光子は、ＴＥ波相当のみを通す偏光子とＴＭ波相当のみを通す偏光子の何れかである付記１１に記載の撮像装置。
［付記１３］
色分離を行なうカラーフィルタを有し、
カラーフィルタは、２つの緑色と１つの赤色と１つの青色の各色フィルタがベイヤー配列されており、
緑色の色フィルタと重なるように、ＴＥ波相当のみを通す偏光子とＴＭ波相当のみを通す偏光子の何れかが配置されている付記１２に記載の撮像装置。
［付記１４］
動画撮像時に信号が読み出されない画素に重なるように偏光子が配置されている付記１乃至付記１３の何れか１項に記載の撮像装置。
［付記１５］
偏光子は、少なくとも撮像部の中央領域に配置されている付記１乃至付記１４の何れか１項に記載の撮像装置。
［付記１６］
偏光子は、撮像部の周辺領域にも配置されている付記１５に記載の撮像装置。
［付記１７］
画素が配列された撮像部を有し、
更に、撮像部の中央領域の所定数の画素を対象として、当該画素に重なるように偏光子が配置されており、
撮像部の周辺領域の画素については、偏光子が配置されていない固体撮像装置。
［付記１８］
画素が配列された撮像部を有し、更に、所定数の画素を対象として、当該画素に重なるように偏光子が配置されている固体撮像装置の偏光子が配置されている画素から出力された信号に基づいて、被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報を生成する工程と、
合焦情報を用いて、光学系のオートフォーカス制御を行なう工程、
とを有する撮像装置の合焦制御方法。
［付記１９］
オートフォーカス制御を行なう工程では、山登り方式のオートフォーカス制御を行なう付記１８に記載の合焦制御方法。
［付記２０］
画素が配列された撮像部を有し、更に、所定数の画素を対象として、当該画素に重なるように偏光子が配置されている固体撮像装置の偏光子が配置されている画素から出力された信号に基づいて生成された、被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報に基づいて、光学系のフォーカス制御を行なうフォーカス制御部としてコンピュータを機能させるプログラム。
【符号の説明】
【０１５４】
１００…カラーフィルタ、１０２…パターン化偏光子、１０４…固体撮像装置、２００…撮像装置、２０３…撮像装置モジュール、２０４…本体ユニット、２５０…撮像レンズ、２５３…フォーカスレンズ、２５４…ズームレンズ、２９２ａ…中央制御部、３００…画像処理装置、３０２…フロントエンド部、３０４…信号処理部、３３０…感度補正処理部、３３２…合焦情報処理部、ＦＭＴ…フォーカスモータ、ＺＭＴ…ズームモータ
【特許請求の範囲】
【請求項１】
画素が配列された撮像部を有し、更に、所定数の画素を対象として、当該画素に重なるように偏光子が配置されている固体撮像装置と、
偏光子が配置された画素から出力された情報に基づいて、被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報を生成する合焦情報処理部、
とを備えている撮像装置。
【請求項２】
合焦情報処理部により生成された合焦情報に基づいて、光学系のフォーカス制御を行なうフォーカス制御部を備えた請求項１に記載の撮像装置。
【請求項３】
被写体像を撮像部に導く光学系を備えている請求項１に記載の撮像装置。
【請求項４】
固体撮像装置は、所定数の画素を１単位とするブロックごとに、ブロック内の総画素数よりも少ない数の画素を対象として、当該画素に重なるように偏光子が配置されている請求項１に記載の撮像装置。
【請求項５】
ブロック内に、それぞれ異なる角度の偏光主軸を有する複数種類の偏光子が配置されている請求項４に記載の撮像装置。
【請求項６】
偏光子の偏光主軸の角度の種類をＮとしたとき、それぞれの角度差は、１８０／Ｎである請求項５に記載の撮像装置。
【請求項７】
複数種類の偏光子の１つはＴＥ波相当のみを通す偏光子であり、
複数種類の偏光子のもう１つはＴＭ波相当のみを通す偏光子である請求項５に記載の撮像装置。
【請求項８】
色分離を行なうカラーフィルタを有し、
ブロック内のカラーフィルタの一組の同色画素又は同色に準じる画素に重なるように偏光子が配置されている請求項５に記載の撮像装置。
【請求項９】
カラーフィルタは、緑色又は緑色に準じる色の色フィルタを複数持ち、
緑色又は緑色に準じる色の色フィルタと重なるように複数の偏光子が配置されており、
複数種類の偏光子の１つはＴＥ波相当のみを通す偏光子であり、
複数種類の偏光子のもう１つはＴＭ波相当のみを通す偏光子である請求項８に記載の撮像装置。
【請求項１０】
カラーフィルタは、２つの緑色と１つの赤色と１つの青色の各色フィルタがベイヤー配列されており、
緑色の色フィルタと重なるように２種類の偏光子が配置されており、
一方の偏光子はＴＥ波相当のみを通す偏光子であり、
他方の偏光子はＴＭ波相当のみを通す偏光子である請求項９に記載の撮像装置。
【請求項１１】
ブロック内には、１種類の偏光子が１つ配置されている請求項１に記載の撮像装置。
【請求項１２】
偏光子は、ＴＥ波相当のみを通す偏光子とＴＭ波相当のみを通す偏光子の何れかである請求項１１に記載の撮像装置。
【請求項１３】
色分離を行なうカラーフィルタを有し、
カラーフィルタは、２つの緑色と１つの赤色と１つの青色の各色フィルタがベイヤー配列されており、
緑色の色フィルタと重なるように、ＴＥ波相当のみを通す偏光子とＴＭ波相当のみを通す偏光子の何れかが配置されている請求項１２に記載の撮像装置。
【請求項１４】
動画撮像時に信号が読み出されない画素に重なるように偏光子が配置されている請求項１に記載の撮像装置。
【請求項１５】
偏光子は、少なくとも撮像部の中央領域に配置されている請求項１に記載の撮像装置。
【請求項１６】
偏光子は、撮像部の周辺領域にも配置されている請求項１５に記載の撮像装置。
【請求項１７】
画素が配列された撮像部を有し、
更に、撮像部の中央領域の所定数の画素を対象として、当該画素に重なるように偏光子が配置されており、
撮像部の周辺領域の画素については、偏光子が配置されていない固体撮像装置。
【請求項１８】
画素が配列された撮像部を有し、更に、所定数の画素を対象として、当該画素に重なるように偏光子が配置されている固体撮像装置の偏光子が配置されている画素から出力された信号に基づいて、被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報を生成する工程と、
合焦情報を用いて、光学系のオートフォーカス制御を行なう工程、
とを有する撮像装置の合焦制御方法。
【請求項１９】
オートフォーカス制御を行なう工程では、山登り方式のオートフォーカス制御を行なう請求項１８に記載の合焦制御方法。
【請求項２０】
画素が配列された撮像部を有し、更に、所定数の画素を対象として、当該画素に重なるように偏光子が配置されている固体撮像装置の偏光子が配置されている画素から出力された信号に基づいて生成された、被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報に基づいて、光学系のフォーカス制御を行なうフォーカス制御部としてコンピュータを機能させるプログラム。
【請求項１】
画素が配列された撮像部を有し、更に、所定数の画素を対象として、当該画素に重なるように偏光子が配置されている固体撮像装置と、
偏光子が配置された画素から出力された情報に基づいて、被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報を生成する合焦情報処理部、
とを備えている撮像装置。
【請求項２】
合焦情報処理部により生成された合焦情報に基づいて、光学系のフォーカス制御を行なうフォーカス制御部を備えた請求項１に記載の撮像装置。
【請求項３】
被写体像を撮像部に導く光学系を備えている請求項１に記載の撮像装置。
【請求項４】
固体撮像装置は、所定数の画素を１単位とするブロックごとに、ブロック内の総画素数よりも少ない数の画素を対象として、当該画素に重なるように偏光子が配置されている請求項１に記載の撮像装置。
【請求項５】
ブロック内に、それぞれ異なる角度の偏光主軸を有する複数種類の偏光子が配置されている請求項４に記載の撮像装置。
【請求項６】
偏光子の偏光主軸の角度の種類をＮとしたとき、それぞれの角度差は、１８０／Ｎである請求項５に記載の撮像装置。
【請求項７】
複数種類の偏光子の１つはＴＥ波相当のみを通す偏光子であり、
複数種類の偏光子のもう１つはＴＭ波相当のみを通す偏光子である請求項５に記載の撮像装置。
【請求項８】
色分離を行なうカラーフィルタを有し、
ブロック内のカラーフィルタの一組の同色画素又は同色に準じる画素に重なるように偏光子が配置されている請求項５に記載の撮像装置。
【請求項９】
カラーフィルタは、緑色又は緑色に準じる色の色フィルタを複数持ち、
緑色又は緑色に準じる色の色フィルタと重なるように複数の偏光子が配置されており、
複数種類の偏光子の１つはＴＥ波相当のみを通す偏光子であり、
複数種類の偏光子のもう１つはＴＭ波相当のみを通す偏光子である請求項８に記載の撮像装置。
【請求項１０】
カラーフィルタは、２つの緑色と１つの赤色と１つの青色の各色フィルタがベイヤー配列されており、
緑色の色フィルタと重なるように２種類の偏光子が配置されており、
一方の偏光子はＴＥ波相当のみを通す偏光子であり、
他方の偏光子はＴＭ波相当のみを通す偏光子である請求項９に記載の撮像装置。
【請求項１１】
ブロック内には、１種類の偏光子が１つ配置されている請求項１に記載の撮像装置。
【請求項１２】
偏光子は、ＴＥ波相当のみを通す偏光子とＴＭ波相当のみを通す偏光子の何れかである請求項１１に記載の撮像装置。
【請求項１３】
色分離を行なうカラーフィルタを有し、
カラーフィルタは、２つの緑色と１つの赤色と１つの青色の各色フィルタがベイヤー配列されており、
緑色の色フィルタと重なるように、ＴＥ波相当のみを通す偏光子とＴＭ波相当のみを通す偏光子の何れかが配置されている請求項１２に記載の撮像装置。
【請求項１４】
動画撮像時に信号が読み出されない画素に重なるように偏光子が配置されている請求項１に記載の撮像装置。
【請求項１５】
偏光子は、少なくとも撮像部の中央領域に配置されている請求項１に記載の撮像装置。
【請求項１６】
偏光子は、撮像部の周辺領域にも配置されている請求項１５に記載の撮像装置。
【請求項１７】
画素が配列された撮像部を有し、
更に、撮像部の中央領域の所定数の画素を対象として、当該画素に重なるように偏光子が配置されており、
撮像部の周辺領域の画素については、偏光子が配置されていない固体撮像装置。
【請求項１８】
画素が配列された撮像部を有し、更に、所定数の画素を対象として、当該画素に重なるように偏光子が配置されている固体撮像装置の偏光子が配置されている画素から出力された信号に基づいて、被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報を生成する工程と、
合焦情報を用いて、光学系のオートフォーカス制御を行なう工程、
とを有する撮像装置の合焦制御方法。
【請求項１９】
オートフォーカス制御を行なう工程では、山登り方式のオートフォーカス制御を行なう請求項１８に記載の合焦制御方法。
【請求項２０】
画素が配列された撮像部を有し、更に、所定数の画素を対象として、当該画素に重なるように偏光子が配置されている固体撮像装置の偏光子が配置されている画素から出力された信号に基づいて生成された、被写体像を撮像部に導く光学系のフォーカス制御用の合焦情報に基づいて、光学系のフォーカス制御を行なうフォーカス制御部としてコンピュータを機能させるプログラム。
【図４】
【図５】
【図６】
【図１１】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２３】
【図２４】
【図１】
【図２】
【図３】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図２０】
【図２１】
【図２２】
【図５】
【図６】
【図１１】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２３】
【図２４】
【図１】
【図２】
【図３】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１３−５７７６９（Ｐ２０１３−５７７６９Ａ）
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願番号】特願２０１１−１９５５９０（Ｐ２０１１−１９５５９０）
【出願日】平成２３年９月８日（２０１１．９．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願日】平成２３年９月８日（２０１１．９．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]