撮像素子および撮像装置
【課題】偏光画像データを出力する従来のカメラでは、偏光画像データと共に同一被写体を捉える通常のカラー画像データを出力することができなかった。
【解決手段】上記課題を解決すべく、撮像素子は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、少なくとも一部の前記光電変換素子のそれぞれに一対一に対応して設けられたカラーフィルタと、少なくとも一部の前記光電変換素子のそれぞれに一対一に対応して設けられたフォトニック結晶偏光子とを備える。
【解決手段】上記課題を解決すべく、撮像素子は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、少なくとも一部の前記光電変換素子のそれぞれに一対一に対応して設けられたカラーフィルタと、少なくとも一部の前記光電変換素子のそれぞれに一対一に対応して設けられたフォトニック結晶偏光子とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子および撮像装置に関する。
【背景技術】
【０００２】
偏光を用いたイメージング技術分野において、パターン化されたフォトニック結晶偏光子を撮像素子上に組み合わせたカメラが知られている。このカメラにより撮像された画像データを解析すれば、被写体表面で反射する反射光の偏光分布情報を取得できる。この偏光分布情報は、例えば被写体表面の傾き検出などに利用される。
［先行技術文献］
［非特許文献］川上彰二郎、川嶋隆之他、"フォトニック結晶偏光子を用いた偏光イメージングカメラの開発"第３２回光学シンポジウム、講演番号３、２００７年７月５日
【発明の概要】
【発明が解決しようとする課題】
【０００３】
上記のカメラによれば、一度の撮影動作により得られる画像データは、偏光情報が取得できる偏光画像データのみであった。したがって、当該偏光画像データに対応するカラー画像データは得られなかった。偏光画像データを出力するカメラと、通常のカラー画像データを出力するカメラとを並べて撮影したとしても、撮影タイミングの同期、画角の調整などが困難であった。
【課題を解決するための手段】
【０００４】
本発明の第１の態様における撮像素子は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、少なくとも一部の前記光電変換素子のそれぞれに一対一に対応して設けられたカラーフィルタと、少なくとも一部の前記光電変換素子のそれぞれに一対一に対応して設けられたフォトニック結晶偏光子とを備える。本発明の第２の態様における撮像装置は、上記の撮像素子を備える。
【０００５】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００６】
【図１】本発明の実施形態に係るデジタルカメラの構成を説明する図である。
【図２】本発明の実施形態に係る撮像素子の断面を表す概略図である。
【図３】偏光子パターンに対する明暗パターンを説明する図である。
【図４】偏光子の方位角と受光強度との関係を示す図である。
【図５】視差画素の配列パターンを説明する説明図である。
【図６】視差画素と被写体の関係を説明する概念図である。
【図７】視差画像を生成する処理を説明する概念図である。
【図８】ベイヤー配列と他の配列のカラーフィルターパターンを説明する図である。
【図９】撮像素子の出力と生成される画像データの関係を示す概念図である。
【図１０】撮像素子における第１配列を説明する説明図である。
【図１１】撮像素子における第２配列を説明する説明図である。
【図１２】撮像素子における第３配列を説明する説明図である。
【図１３】撮像素子における第４配列を説明する説明図である。
【図１４】撮像素子における第５配列を説明する説明図である。
【図１５】撮像素子における第６配列を説明する説明図である。
【図１６】撮像素子における第７配列を説明する説明図である。
【図１７】輪郭抽出処理を示すフロー図である。
【図１８】光学ファインダから観察される被写体像および測距領域を示す図である。
【発明を実施するための形態】
【０００７】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００８】
撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンに対してカラー画像データと偏光画像データを一度の撮影により生成できるように構成されている。偏光画像データは、被写体表面の反射光の偏光状態を表す画像データである。また、本実施形態に係るデジタルカメラは、追加的な機能として、視差画像データを生成できる。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。
【０００９】
図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０およびＡＦセンサ２１１を備える。
【００１０】
なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をｚ軸プラス方向と定め、ｚ軸と直交する平面において紙面手前へ向かう方向をｘ軸プラス方向、紙面上方向をｙ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
【００１１】
撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。
【００１２】
Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。特に、画像処理部２０５は、偏光画像データを処理して被写体像の輪郭を抽出する輪郭抽出部２３１を有する。具体的な処理の詳細については、後述する。
【００１３】
画像処理部２０５は、他にも、撮像素子１００の画素配列に即して、入力される画像信号からカラー画像データおよび偏光画像データを生成したり、選択された画像フォーマットに従って画像データを調整したりする機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示され得る。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録され得る。
【００１４】
ＡＦユニットのＡＦセンサ２１１は、被写体空間に対して複数の測距領域が設定された位相差センサであり、それぞれの測距領域において被写体像のデフォーカス量を検出する。一連の撮影シーケンスは、操作部２０８がユーザの操作を受けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。例えば、制御部２０１は、ＡＦセンサ２１１の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。
【００１５】
次に、撮像素子１００の構成について詳細に説明する。図２は、本発明の実施形態に係る撮像素子１００の断面を表す概略図である。撮像素子１００は、被写体側から順に、偏光子１０１、カラーフィルタ１０２、開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。
【００１６】
光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。また、各光電変換素子１０８に一対一に対応して設けられた開口部１０４を有する開口マスク１０３が、配線層に接して設けられている。開口部１０４は、後述するように、対応する光電変換素子１０８ごとにシフトさせて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。
【００１７】
一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり有効光束の全体を通過させる開口部１０４を有する開口マスク１０３が設けられているとも言える。視差を生じさせることはないが、実質的には配線１０６によって形成される開口１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない有効光束の全体を通過させる開口マスクと捉えることもできる。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列しても良いし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成しても良い。
【００１８】
カラーフィルタ１０２は、開口マスク１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されれば良いが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列すると良い。例えば赤色波長帯を透過させる赤フィルタ、緑色波長帯を透過させる緑フィルタ、および青色波長帯を透過させる青フィルタを格子状に配列すると良い。また、特定の光電変換素子１０８には、対応するカラーフィルタ１０２を設けなくても良い。あるいは、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタを配列しても良い。具体的な配列については後述する。
【００１９】
偏光子１０１は、カラーフィルタ１０２上に設けられている。偏光子１０１は、入射される被写体光束を偏光方向により透過率を異ならせて射出する光学素子である。偏光子１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。偏光子１０１は、対応する光電変換素子１０８により、透過させる偏光方向が異なるように設けられている。また、対応する光電変換素子１０８によっては、特定方向への偏光特性を有さない偏光子１０１が設けられている。なお、本実施形態においては、特定方向への偏光特性を有さない場合も、以下のように偏光特性を有する偏光子と共に形成されるので、便宜上、偏光子１０１として説明する。
【００２０】
偏光子１０１は、フォトニック結晶偏光子により構成される。フォトニック結晶偏光子は、屈折率の異なる光学材料が周期的に並んだ構造体である。特に面内方向に微細な凹凸溝を設けると、入射光に対して面内異方性を生じさせる。すなわち、凹凸溝に沿った方向に偏光成分を有する入射光ほど良く透過させる。この方向を方位角という。凹凸溝を設けない場合は、特定方向への偏光特性を有さない偏光子１０１となる。つまり、方位角を有さない。
【００２１】
フォトニック結晶偏光子は、具体的には、ＳｉＯ２、Ｎｂ２Ｏ５、Ａｌ２Ｏ５などのスパッタ成膜可能な材料を用いて自己クローニング成膜技術等により形成される。特に、一つ一つの光電変換素子１０８に対応させて、凹凸溝の方向を変えることができる。また、凹凸溝を設けず、特定方向への偏光特性を与えないこともできる。したがって、フォトニック結晶偏光子は、異なる偏光特性を有する偏光子１０１も、特定方向への偏光特性を有さない偏光子１０１も纏めて一体的に形成することができる。
【００２２】
このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、カラーフィルタ１０２および偏光子１０１の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。また、特定方向への偏光特性を有する偏光子１０１が設けられた画素を偏光画素、特定方向への偏光特性を有さない偏光子１０１が設けられた画素を偏光なし画素と呼ぶ。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。
【００２３】
なお、個々の画素に対応させて、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズであるマイクロレンズを設けることもできる。マイクロレンズは、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていても良い。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。
【００２４】
偏光子１０１について更に説明する。図３は、偏光子パターンに対する明暗パターンを説明する図である。特に図３（ａ）は、偏光子パターンを示す図であり、図３（ｂ）は、入射する被写体光束の光量を概念的に示す図である。
【００２５】
上述のように、偏光子１０１は、形成された凹凸溝の方向により、入射される被写体光束をその偏光方向によって透過率を異ならせて射出する。本実施形態においては、図示するように、それぞれ０°、４５°、９０°、１３５°の方向に方位角を有する４つの偏光子１０１が組み合わされて、一組の偏光子パターンが形成される。
【００２６】
この偏光子パターンを通過する被写体光束は、様々な明暗パターンを生成する。例えば、０°方向の直線偏光から成る被写体光束は、０°の方位角を有する偏光子１０１に対してほぼ透過するのに対して、４５°および１３５°の方位角を有する偏光子１０１に対しては半減し、９０°の方位角を有する偏光子１０１に対してはほぼ遮断される。また、円偏光から成る被写体光束は、いずれの偏光子１０１に対しても半減する。つまり、入射光束が、入射する偏光子１０１の方位角成分をどれだけ含むかにより、光電変換素子１０８へ届く光量が変化する。
【００２７】
図４は、偏光子１０１の方位角と光電変換素子１０８の受光光量との関係を示す図である。具体的には、互いに近接する０°、４５°、９０°、１３５°の方位角をそれぞれ有する偏光画素の受光光量を示す。なお、これらの偏光画素は、同色のカラーフィルタ１０２に対応して設けられているものとする。横軸は、偏光子１０１の方位角であり、サンプリングポイントである０°、４５°、９０°、１３５°を明示的に示す。縦軸は、光電変換素子１０８の受光光量であり、ひいては光電変換された電荷量を示す。
【００２８】
ここでは、例として被写体光束Ｂ１と被写体光束Ｂ２を受光した場合について説明する。被写体光束Ｂ１の場合、各偏光画素は、白丸で示される光量を受光する。この白丸を滑らかに繋ぐコサインカーブを当てはめると、ｆ１（θ）となる。このとき、ｆ１（θ）の最大値はＦ１となる。また、被写体光束Ｂ２の場合、各偏光画素は、黒丸で示される光量を受光する。この黒丸を滑らかに繋ぐコサインカーブを当てはめると、ｆ２（θ）となる。このとき、ｆ２（θ）の最大値はＦ２となる。それぞれのコサインカーブは、偏光情報を含む。
【００２９】
当てはめられたコサインカーブは、一般化すると、ｆ（θ）＝Ａ×ｃｏｓ｛（π／２）θ＋２φ｝＋Ｍで、表される。ここで、ｆ（θ）の最大値となるＡ＋Ｍは、偏光子１０１が無い場合の受光光量とみなすことができる。また、偏光状態は、Ａ、Ｍ、φから決定される。したがって、上述のように、偏光子パターンが０°、４５°、９０°、１３５°の偏光子１０１を含めば、それぞれの偏光画素の出力から、偏光子１０１が設けられていない場合の受光光量と、被写体光束の偏光状態が決定される。
【００３０】
このようにして、被写体光束の偏光状態が決定されると、反射面である被写体表面の法線方向を推定することができる。それぞれの偏光画素の出力を寄せ集めれば、被写体像に対応する法線マップを生成することができる。法線方向に対応する色を割り当てれば、視覚化された偏光マップを生成することもできる。偏光マップは、被写体像を被写体表面の法線方向で視覚化した画像である。例えば、法線方向が不連続となる部分は、割り当てられた色の変化も急激となるので、色の急激な変化として表現される境界により互いに異なる被写体として認識できる。したがって、画像処理における被写体分離において、法線マップまたは偏光マップを活用できる。なお、本実施形態においては、法線マップを被写体表面の反射光の偏光状態を表す偏光画像データとして扱う。
【００３１】
次に視差画素について説明する。図５は、視差画素の配列パターンを説明する説明図である。ここでは、説明を簡単にすべく、カラーフィルタ１０２の配色については後に言及を再開するまで考慮しない。カラーフィルタ１０２の配色に言及しない以下の説明においては、同色のカラーフィルタ１０２を有する視差画素のみを寄せ集めたイメージセンサであると捉えることができる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ１０２における隣接画素として考えても良い。なお、本実施形態においては、偏向画素と視差画素は排他的に配列される。すなわち、視差を生じさせる開口部１０４を持つ画素は、方位角を有する偏光子１０１を有さない。
【００３２】
図５に示すように、開口マスク１０３の開口部１０４は、それぞれの画素の中心に対して相対的にシフトして設けられている。そして、隣接する画素同士を比較しても、それぞれの開口部１０４は互いに変位した位置に設けられている。
【００３３】
図の例においては、それぞれの画素に対する開口部１０４の位置として、互いに左右方向にシフトした６種類の開口マスク１０３が用意されている。そして、撮像素子１００の全体は、紙面左側から右側へ徐々にシフトする開口マスク１０３をそれぞれ有する６つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。つまり、撮像素子１００は、一組の光電変換素子群を含む繰り返しパターン１１０が、周期的に敷き詰められて構成されていると言える。
【００３４】
なお、例えば左右方向にシフトした３種類の開口マスク１０３をそれぞれ有する３つの視差画素を一組とする場合、真ん中の画素の開口部１０４は、画素の中心に対してシフトしない。しかし、このような場合も、隣接する開口部１０４と開口面積を一致させるなどにより、後述の手法によって互いに視差を与える視差画像を生成することができる。したがって、このように奇数種類の開口マスク１０３に対応する組み合わせに対しても、繰り返しパターン１１０を定義することができる。
【００３５】
図６は、視差画素と被写体の関係を説明する概念図である。特に図６（ａ）は撮像素子１００のうち撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔの光電変換素子群を示し、図６（ｂ）は周辺部分に配列されている繰り返しパターン１１０ｕの光電変換素子群を模式的に示している。図６（ａ）、（ｂ）における被写体３０は、撮影レンズ２０に対して合焦位置に存在する。図６（ｃ）は、図６（ａ）に対応して、撮影レンズ２０に対して非合焦位置に存在する被写体３１を捉えた場合の関係を模式的に示している。
【００３６】
まず、撮影レンズ２０が合焦状態に存在する被写体３０を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ２０の瞳を通過して撮像素子１００へ導かれるが、被写体光束が通過する全体の断面領域に対して、６つの部分領域Ｐａ〜Ｐｆが規定されている。そして、例えば繰り返しパターン１１０ｔ、１１０ｕを構成する光電変換素子群の紙面左端の画素は、拡大図からもわかるように、部分領域Ｐｆから射出された被写体光束のみが光電変換素子１０８へ到達するように、開口マスク１０３の開口部１０４ｆの位置が定められている。同様に、右端の画素に向かって、部分領域Ｐｅに対応して開口部１０４ｅの位置が、部分領域Ｐｄに対応して開口部１０４ｄの位置が、部分領域Ｐｃに対応して開口部１０４ｃの位置が、部分領域Ｐｂに対応して開口部１０４ｂの位置が、部分領域Ｐａに対応して開口部１０４ａの位置がそれぞれ定められている。
【００３７】
別言すれば、例えば部分領域Ｐｆと左端画素の相対的な位置関係によって定義される、部分領域Ｐｆから射出される被写体光束の主光線Ｒｆの傾きにより、開口部１０４ｆの位置が定められていると言っても良い。そして、合焦位置に存在する被写体３０からの被写体光束を、開口部１０４ｆを介して光電変換素子１０８が受光する場合、その被写体光束は、点線で図示するように、光電変換素子１０８上で結像する。同様に、右端の画素に向かって、主光線Ｒｅの傾きにより開口部１０４ｅの位置が、主光線Ｒｄの傾きにより開口部１０４ｄの位置が、主光線Ｒｃの傾きにより開口部１０４ｃの位置が、主光線Ｒｂの傾きにより開口部１０４ｂの位置が、主光線Ｒａの傾きにより開口部１０４ａの位置がそれぞれ定められていると言える。
【００３８】
図６（ａ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１と交差する被写体３０上の微小領域Ｏｔから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｔから放射される光束を受光している。微小領域Ｏｔは、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。同様に、図６（ｂ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１から離間した被写体３０上の微小領域Ｏｕから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｕから放射される光束を受光している。微小領域Ｏｕも、微小領域Ｏｔと同様に、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。
【００３９】
つまり、被写体３０が合焦位置に存在する限りは、撮像素子１００上における繰り返しパターン１１０の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン１１０において、対応する画素同士は同じ部分領域からの被写体光束を受光している。つまり、図においては、例えば繰り返しパターン１１０ｔ、１１０ｕのそれぞれの左端の画素は、同じ部分領域Ｐｆからの被写体光束を受光している。
【００４０】
撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置と、周辺部分に配列されている繰り返しパターン１１０ｕにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Ｐｆからの被写体光束を受光するための開口マスクという点で、これらを同一種類の開口マスクとして扱うことができる。したがって、図６の例では、撮像素子１００上に配列される視差画素のそれぞれは、６種類の開口マスクの一つを備えると言える。
【００４１】
次に、撮影レンズ２０が非合焦状態に存在する被写体３１を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体３１からの被写体光束は、撮影レンズ２０の瞳の６つの部分領域Ｐａ〜Ｐｆを通過して、撮像素子１００へ到達する。ただし、非合焦位置に存在する被写体３１からの被写体光束は、光電変換素子１０８上ではなく他の位置で結像する。例えば、図６（ｃ）に示すように、被写体３１が被写体３０よりも撮像素子１００に対して遠い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１側で結像する。逆に、被写体３１が被写体３０よりも撮像素子１００に対して近い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１とは反対側で結像する。
【００４２】
したがって、非合焦位置に存在する被写体３１のうち、微小領域Ｏｔ'から放射される被写体光束は、６つの部分領域Ｐａ〜Ｐｆのいずれを通過するかにより、異なる組の繰り返しパターン１１０における対応画素に到達する。例えば、部分領域Ｐｄを通過した被写体光束は、図６（ｃ）の拡大図に示すように、主光線Ｒｄ'として、繰り返しパターン１１０ｔ'に含まれる、開口部１０４ｄを有する光電変換素子１０８へ入射する。そして、微小領域Ｏｔ'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン１１０ｔ'に含まれる光電変換素子１０８へは入射せず、他の繰り返しパターンにおける対応する開口部を有する光電変換素子１０８へ入射する。換言すると、繰り返しパターン１１０ｔ'を構成する各光電変換素子１０８へ到達する被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。すなわち、開口部１０４ｄに対応する１０８へは主光線をＲｄ'とする被写体光束が入射し、他の開口部に対応する光電変換素子１０８へは主光線をＲａ＋、Ｒｂ＋、Ｒｃ＋、Ｒｅ＋、Ｒｆ＋とする被写体光束が入射するが、これらの被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。このような関係は、図６（ｂ）における周辺部分に配列されている繰り返しパターン１１０ｕにおいても同様である。
【００４３】
すると、撮像素子１００の全体で見た場合、例えば、開口部１０４ａに対応する光電変換素子１０８で捉えた被写体像Ａと、開口部１０４ｄに対応する光電変換素子１０８で捉えた被写体像Ｄは、合焦位置に存在する被写体に対する像であれば互いにずれが無く、非合焦位置に存在する被写体に対する像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Ｐａと部分領域Ｐｄの距離により、方向と量が定まる。つまり、被写体像Ａと被写体像Ｄは、互いに視差像となる。この関係は、他の開口部に対しても同様であるので、開口部１０４ａから１０４ｆに対応して、６つの視差像が形成されることになる。
【００４４】
したがって、このように構成されたそれぞれの繰り返しパターン１１０において、互いに対応する画素の出力を寄せ集めると、視差画像が得られる。つまり、６つの部分領域Ｐａ〜Ｐｆうちの特定の部分領域から射出された被写体光束を受光した画素の出力は、視差画像を形成する。
【００４５】
図７は、視差画像を生成する処理を説明する概念図である。図は、左列から順に、開口部１０４ｆに対応する視差画素の出力を集めて生成される視差画像データＩｍ＿ｆの生成の様子、開口部１０４ｅの出力による視差画像データＩｍ＿ｅの生成の様子、開口部１０４ｄの出力による視差画像データＩｍ＿ｄの生成の様子、開口部１０４ｃの出力による視差画像データＩｍ＿ｃの生成の様子、開口部１０４ｂの出力による視差画像データＩｍ＿ｂの生成の様子、開口部１０４ａの出力による視差画像データＩｍ＿ａの生成の様子を表す。まず開口部１０４ｆの出力による視差画像データＩｍ＿ｆの生成の様子について説明する。
【００４６】
６つの視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０は、横一列に配列されている。したがって、開口部１０４ｆを有する視差画素は、撮像素子１００上において、左右方向に６画素おき、かつ、上下方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、視差画像が得られる。
【００４７】
しかし、本実施形態における撮像素子１００の各画素は正方画素であるので、単に寄せ集めただけでは、横方向の画素数が１／６に間引かれた結果となり、縦長の画像データが生成されてしまう。そこで、このように縦横のアスペクト比が本来のアスペクト比と異なるような場合には、補間処理を施す。図の例によれば、横方向に６倍の画素数とする補間処理を施すことにより、本来のアスペクト比の画像として視差画像データＩｍ＿ｆを生成する。ただし、そもそも補間処理前の視差画像データが横方向に１／６に間引かれた画像であるので、横方向の解像度は、縦方向の解像度よりも低下している。つまり、生成される視差画像データの数と、解像度の向上は相反関係にあると言える。
【００４８】
同様にして、視差画像データＩｍ＿ｅ〜視差画像データＩｍ＿ａが得られる。すなわち、デジタルカメラ１０は、横方向に視差を有する６視点の視差画像を生成することができる。なお、上記の例では、横一列を繰り返しパターン１１０として周期的に配列される例を説明したが、繰り返しパターン１１０はこれに限らない。縦一列の繰り返しパターンであっても、斜め方向を組み合わせた繰り返しパターンであっても構わない。
【００４９】
図８は、ベイヤー配列と他の配列のカラーフィルタパターンを説明する図である。図８（ａ）は、いわゆるベイヤー配列であり、図８（ｂ）は、他のカラーフィルタ配列の例である。
【００５０】
図８（ａ）に示すように、ベイヤー配列は、緑フィルタが左上と右下の２画素に、赤フィルタが左下の１画素に、青フィルタが右上の１画素に割り当てられる配列である。ここでは、緑フィルタが割り当てられた左上の画素をＧｂ画素とし、同じく緑色フィルタが割り当てられた右下の画素をＧｒ画素とする。また、赤色フィルタが割り当てられた画素をＲ画素と、青色が割り当てられた画素をＢ画素とする。
【００５１】
また、図８（ｂ）に示すように、他のカラーフィルタ配列は、図８（ａ）で示したベイヤー配列のＧｒ画素を緑フィルタが割り当てられるＧ画素として維持する一方、Ｇｂ画素をカラーフィルタが割り当てられないＷ画素に変更した配列である。なお、Ｗ画素は、上述のように、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタが配列されていても良い。このようなＷ画素を含むカラーフィルタ配列を採用すれば、撮像素子が出力するカラー情報の精度は若干低下するものの、カラーフィルタが設けられている場合に比較して受光する光量を多くすることができる。
【００５２】
このようなカラーフィルタ１０２の配列に対して、視差画素と視差なし画素を、および偏向画素と偏光なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターン１１０が設定され得る。撮像素子１００からは、設定される繰り返しパターン１１０の違いにより、性質の異なる画像データが出力される。図９は、撮像素子１００の出力と、生成される画像データの関係を示す概念図である。
【００５３】
例えば撮像素子１００の有効画素が１２００万画素の場合、画素出力も１２００万であるが、いかなる構造の画素からの出力であるかにより、出力値の意味合いが異なる。例えばＲ画素であって偏光なし画素かつ視差なし画素である画素からの出力であれば、出力値は、被写体光束の赤色成分としての単独出力を表す。一方、例えばＧ画素であって４５°の方位角を有する偏向画素かつ視差なし画素であれば、被写体光束の緑色成分と４５°方向の偏光成分が重なった重畳出力を表す。更に、例えばＢ画素であって偏光なし画素かつ視差画素であれば、被写体光束のうち青色成分であって特定入射角成分である重畳出力を表す。
【００５４】
したがって、重畳出力をその意味に即して分離したり、周辺画素の出力から補間したりする処理を施すことにより、撮像素子からの出力から、カラー２Ｄ画像データ、偏光画像データおよび視差画像データを生成することができる。カラー２Ｄ画像データは、被写体像を視差のない通常のカラー画像として捉えた画像データである。偏光画像データは、上述のように、被写体表面の反射光の偏光状態を表す画像データである。本実施形態においては、法線マップを偏光画像データとして扱う。また、視差画像データは、例えばいわゆる立体視の場合、Ｌ画像データとＲ画像データの２つの画像データを含む。もちろん、撮像素子１００が視差画素を含まない場合は、視差画像データは生成されない。
【００５５】
繰り返しパターン１１０において、単独出力となる画素を相対的に増やせば、解像度の高いカラー２Ｄ画像を出力させることができる。この場合、偏向画素および視差画素は相対的に少ない割合となるので、偏光画像データの精度、視差画像の画質は低下する。多くのカラー画素を偏向画素とすれば、偏光画像データの精度は上がるが、受光光量低下に伴ってカラー２Ｄ画像の画質が低下する。また、視差画素の割合を増やせば、視差画像としては画質が向上するが、視差なし画素は相対的に減少するので、解像度の低い２Ｄ画像が出力される。このようなトレードオフの関係において、何れの画素を偏向画素とするか、あるいは偏光なし画素とするか、また、何れの画素を視差画素とするか、あるいは視差なし画素とするかにより、様々な特徴を有する繰り返しパターン１１０が設定される。
【００５６】
以下に特徴的な配列について順次説明する。なお、以下の例において視差画素を配列する場合は、開口部１０４が画素中心よりも左側に偏心した視差Ｌ画素と、同じく右側に偏心した視差Ｒ画素の２種類を想定する。つまり、このような視差画素から出力される２視点の視差画像は、いわゆる立体視を実現する。上述のように異なる視点による複数の視差画像を出力させたい場合には、視差画素の種類を増やせば良い。
【００５７】
図１０は、撮像素子１００における第１配列を説明する説明図である。第１配列のカラーフィルタ配列はベイヤー配列である。そして、Ｒフィルタ、Ｇフィルタ、Ｂフィルタが配列されるいずれの画素にも偏光子が配列されている。また、（ｘ，ｙ）の画素に着目した場合、（ｘ−１，ｙ＋１）、（ｘ＋１，ｙ＋１）、（ｘ−１，ｙ−１）（ｘ−１，ｙ＋１）の同一色上に設けられた各画素の偏光子は、０°、４５°、９０°、１３５°のいずれかの方位角を有する。カラーフィルタ配列と偏光子配列の組み合わせから成る、最小繰り返し単位である繰り返しパターン１１０は、図示するように４画素×４画素により規定される。なお、第１配列は、視差画素を含まない。
【００５８】
このような配列において、画像データの生成について説明する。パターン１１０１は、Ｒ画素を中心とする四隅がＢ画素のパターンである。四隅のＢ画素は４種の方位角を有する偏向画素である。そこで、四隅のＢ画素の出力から図４を用いて説明した分離アルゴリズムにより、中心のＲ画素の座標における青色の光量値を算出する。なお、この座標における青色の光量値の算出には、Ｒ画素の出力を用いない。
【００５９】
パターン１１０２は、Ｇ画素を中心とする四隅がＧ画素のパターンである。この場合も、パターン１１０１の場合と同様に、四隅の出力から中心座標における緑色の光量値を算出する。パターン１１０３は、Ｂ画素を中心とする四隅がＲ画素のパターンである。この場合も、パターン１１０１の場合と同様に、四隅の出力から中心座標における赤色の光量値を算出する。
【００６０】
このようにして算出された各座標における赤色、緑色、青色のいずれかの光量値による画像データは、ベイヤー配列相当の画像データとなる。したがって、この画像データに、ベイヤー配列に対する格子補間処理を施せば、カラー２Ｄ画像データを生成することができる。
【００６１】
このような配列においては、偏光画像データも、パターン１１０１、１１０２、１１０３の各単位において生成される。例えば、パターン１１０１においては、四隅のＢ画素の出力に分離アルゴリズムを適用することにより、中心のＲ画素の座標における青色の偏光情報を算出できる。このようにして、ベイヤー配列相当の偏光情報を算出できれば、さらに格子補間処理を施して、偏光画像データを生成することができる。
【００６２】
図１１は、撮像素子における第２配列を説明する説明図である。第２配列のカラーフィルタ配列は、図８（ｂ）で示す他のカラーフィルタ配列である。そして、Ｗフィルタが配列される画素に偏光子が配列されている。また、Ｇフィルタが配列される画素に視差Ｌ画素または視差Ｒ画素が配列されている。また、パターン１２０１で示すように、（ｘ，ｙ）のＧ画素に着目した場合、（ｘ−１，ｙ＋１）、（ｘ＋１，ｙ＋１）、（ｘ−１，ｙ−１）（ｘ−１，ｙ＋１）の各画素の偏光子は、０°、４５°、９０°、１３５°のいずれかの方位角を有する。カラーフィルタ配列、偏光子配列および視差画素配列の組み合わせから成る、最小繰り返し単位である繰り返しパターン１１０は、図示するように４画素×４画素により規定される。
【００６３】
このような配列において、画像データの生成について説明する。パターン１２０２は、Ｗ画素を中心とする四隅がＧ画素のパターンである。四隅のＧ画素は視差Ｌ画素の２画素と視差Ｒ画素の２画素から成る。そこで、これらの光量値の平均を算出し、中心のＷ画素の座標における緑色の光量値とする。このようにしてＷ画素の座標における緑色の光量値を算出したら、さらに、パターン１２０１における中心画素の緑色の光量値として、四隅の緑色の光量値の平均を算出して適用する。
【００６４】
このようにして算出された各座標における赤色、緑色、青色のいずれかの光量値による画像データは、ベイヤー配列相当の画像データとなる。したがって、この画像データに、ベイヤー配列に対する格子補間処理を施せば、カラー２Ｄ画像データを生成することができる。
【００６５】
このような配列において偏光画像データは、例えば、パターン１１０１においては、四隅のＷ画素の出力に分離アルゴリズムを適用することにより、中心のＧ画素の座標における偏光情報を算出できる。第２配列の場合、偏光画素は、Ｗ画素に重ねて配列されているので、色成分の重畳のない精度の高い偏光画像データが生成される。
【００６６】
図１２は、撮像素子における第３配列を説明する説明図である。第３配列のカラーフィルタ配列はベイヤー配列である。そして、ＲフィルタおよびＢフィルタが配列される画素に偏光子が配列されている。（ｘ，ｙ）のＲ画素またはＢ画素に着目した場合、（ｘ−１，ｙ＋１）、（ｘ＋１，ｙ＋１）、（ｘ−１，ｙ−１）（ｘ−１，ｙ＋１）の各画素の偏光子は、０°、４５°、９０°、１３５°のいずれかの方位角を有する。また、Ｇフィルタが配列される画素に視差Ｌ画素または視差Ｒ画素が配列されている。カラーフィルタ配列、偏光子配列および視差画素配列の組み合わせから成る、最小繰り返し単位である繰り返しパターン１１０は、図示するように４画素×４画素により規定される。
【００６７】
このような配列において、画像データの生成について説明する。パターン１３０１は、Ｒ画素を中心とする四隅がＢ画素のパターンである。四隅のＢ画素は４種の方位角を有する偏向画素である。そこで、四隅のＢ画素の出力から図４を用いて説明した分離アルゴリズムにより、中心のＲ画素の座標における青色の光量値を算出する。なお、この座標における青色の光量値の算出には、Ｒ画素の出力を用いない。
【００６８】
パターン１３０２は、Ｂ画素を中心とする四隅がＲ画素のパターンである。この場合も、パターン１３０１の場合と同様に、四隅の出力から中心座標における赤色の光量値を算出する。また、左上と右下の関係で隣接する視差Ｌ画素と視差Ｒ画素は、それぞれＧ画素であるので、それぞれの座標における緑色の光量値をこれら２画素の平均値とする。
【００６９】
このようにして算出された各座標における赤色、緑色、青色のいずれかの光量値による画像データは、ベイヤー配列相当の画像データとなる。したがって、この画像データに、ベイヤー配列に対する格子補間処理を施せば、カラー２Ｄ画像データを生成することができる。
【００７０】
このような配列においては、偏光画像データも、パターン１３０１、１３０２の各単位において生成される。例えば、パターン１３０１においては、四隅のＢ画素の出力に分離アルゴリズムを適用することにより、中心のＲ画素の座標における青色の偏光情報を算出できる。
【００７１】
図１３は、撮像素子における第４配列を説明する説明図である。第４配列のカラーフィルタ配列はベイヤー配列である。そして、Ｇフィルタが配列される画素に偏光子が配列されている。（ｘ，ｙ）のＧ画素に着目した場合、（ｘ−１，ｙ＋１）、（ｘ＋１，ｙ＋１）、（ｘ−１，ｙ−１）（ｘ−１，ｙ＋１）の各画素の偏光子は、０°、４５°、９０°、１３５°のいずれかの方位角を有する。また、ＲフィルタおよびＢフィルタが配列される画素にそれぞれ視差Ｌ画素および視差Ｒ画素が配列されている。カラーフィルタ配列、偏光子配列および視差画素配列の組み合わせから成る、最小繰り返し単位である繰り返しパターン１１０は、図示するように４画素×４画素により規定される。
【００７２】
このような配列において、画像データの生成について説明する。パターン１４０１は、Ｇ画素を中心とする四隅がＧ画素のパターンである。四隅のＧ画素は４種の方位角を有する偏向画素である。そこで、四隅のＧ画素の出力から図４を用いて説明した分離アルゴリズムにより、中心のＧ画素の座標における緑色の光量値を算出する。なお、この座標における緑色の光量値の算出には、中心のＧ画素の出力を用いない。Ｒ画素は視差画素であるので、開口サイズ分のゲイン調整を行うことにより、簡易的に視差なし画素の赤色の光量値とする。同様に、Ｂ画素も視差画素であるので、開口サイズ分のゲイン調整を行うことにより、簡易的に視差なし画素の青色の光量値とする。
【００７３】
このようにして算出された各座標における赤色、緑色、青色のいずれかの光量値による画像データは、ベイヤー配列相当の画像データとなる。したがって、この画像データに、ベイヤー配列に対する格子補間処理を施せば、カラー２Ｄ画像データを生成することができる。
【００７４】
このような配列においては、偏光画像データも、パターン１４０１の単位において生成される。例えば、パターン１４０１においては、四隅のＧ画素の出力に分離アルゴリズムを適用することにより、中心のＧ画素の座標における緑色の偏光情報を算出できる。
【００７５】
図１４は、撮像素子における第５配列を説明する説明図である。第５配列のカラーフィルタ配列はベイヤー配列である。そして、Ｒフィルタ、Ｇフィルタ、Ｂフィルタが配列されるいずれの画素にも偏光子が配列されている。ただし、Ｇフィルタについては、ベイヤー配列における２つのＧフィルタの一方に偏光子が配列される。偏光子が配列されない他方には、視差Ｌ画素または視差Ｒ画素が配列される。また、パターン１５０１で示すように、（ｘ，ｙ）のＲ画素に着目した場合、（ｘ−１，ｙ＋１）、（ｘ＋１，ｙ＋１）、（ｘ−１，ｙ−１）（ｘ−１，ｙ＋１）の各画素の偏光子は、０°、４５°、９０°、１３５°のいずれかの方位角を有する。同様に、パターン１５０２で示すように、（ｘ，ｙ）のＧ画素に着目した場合、（ｘ−１，ｙ＋１）、（ｘ＋１，ｙ＋１）、（ｘ−１，ｙ−１）（ｘ−１，ｙ＋１）の各画素の偏光子は、０°、４５°、９０°、１３５°のいずれかの方位角を有する。同様に、パターン１５０３で示すように、（ｘ，ｙ）のＢ画素に着目した場合、（ｘ−１，ｙ＋１）、（ｘ＋１，ｙ＋１）、（ｘ−１，ｙ−１）（ｘ−１，ｙ＋１）の各画素の偏光子は、０°、４５°、９０°、１３５°のいずれかの方位角を有する。カラーフィルタ配列、偏光子配列および視差画素配列の組み合わせから成る、最小繰り返し単位である繰り返しパターン１１０は、図示するように４画素×４画素により規定される。
【００７６】
このような配列において、画像データの生成について説明する。パターン１５０１は、Ｒ画素を中心とする四隅がＢ画素のパターンである。四隅のＢ画素は４種の方位角を有する偏向画素である。そこで、四隅のＢ画素の出力から図４を用いて説明した分離アルゴリズムにより、中心のＲ画素の座標における青色の光量値を算出する。なお、この座標における青色の光量値の算出には、Ｒ画素の出力を用いない。
【００７７】
パターン１５０２は、Ｇ画素を中心とする四隅がＧ画素のパターンである。この場合も、パターン１５０１の場合と同様に、四隅の出力から中心座標における緑色の光量値を算出する。パターン１５０３は、Ｂ画素を中心とする四隅がＲ画素のパターンである。この場合も、パターン１５０１の場合と同様に、四隅の出力から中心座標における赤色の光量値を算出する。また、パターン１５０４は、Ｇ画素を中心とする四隅がＧ画素のパターンである。四隅のＧ画素は視差Ｌ画素の２画素と視差Ｒ画素の２画素から成る。そこで、これらの光量値の平均を算出し、中心のＧ画素の座標における緑色の光量値とする。
【００７８】
このようにして算出された各座標における赤色、緑色、青色のいずれかの光量値による画像データは、ベイヤー配列相当の画像データとなる。したがって、この画像データに、ベイヤー配列に対する格子補間処理を施せば、カラー２Ｄ画像データを生成することができる。
【００７９】
このような配列においては、偏光画像データも、パターン１５０１、１５０２、１５０３の各単位において生成される。例えば、パターン１５０１においては、四隅のＢ画素の出力に分離アルゴリズムを適用することにより、中心のＲ画素の座標における青色の偏光情報を算出できる。
【００８０】
図１５は、撮像素子における第６配列を説明する説明図である。第６配列は第３配列に対して視差画素の配列が若干異なる。画像データの生成については第３配列における生成と同様であるので、説明を省略する。
【００８１】
図１６は、撮像素子における第７配列を説明する説明図である。第７配列のカラーフィルタ配列はベイヤー配列である。そして、ベイヤー配列における２つのＧフィルタの一方に偏光子が配列されている。偏光子が配列されない他方には、視差Ｌ画素または視差Ｒ画素が配列される。パターン１７０１で示すように、（ｘ，ｙ）のＧ画素に着目した場合、（ｘ−１，ｙ＋１）、（ｘ＋１，ｙ＋１）、（ｘ−１，ｙ−１）（ｘ−１，ｙ＋１）の各画素の偏光子は、０°、４５°、９０°、１３５°のいずれかの方位角を有する。また、Ｒフィルタ、Ｂフィルタが配列される画素にも視差Ｌ画素または視差Ｒ画素が配列されている。カラーフィルタ配列、偏光子配列および視差画素配列の組み合わせから成る、最小繰り返し単位である繰り返しパターン１１０は、図示するように４画素×４画素により規定される。
【００８２】
このような配列において、画像データの生成について説明する。パターン１７０１は、Ｇ画素を中心とする四隅がＧ画素のパターンである。四隅のＧ画素は４種の方位角を有する偏向画素である。そこで、四隅のＧ画素の出力から図４を用いて説明した分離アルゴリズムにより、中心のＧ画素の座標における緑色の光量値を算出する。なお、この座標における緑色の光量値の算出には、中心のＧ画素の出力を用いない。（ｘ，ｙ）におけるＲ画素は視差画素であるが、（ｘ−２，ｙ）および（ｘ＋２，ｙ）のＲ画素の出力と平均処理を行うことにより、（ｘ，ｙ）の赤色の光量値を算出する。同様に、（ｘ，ｙ）におけるＢ画素は視差画素であるが、（ｘ−２，ｙ）および（ｘ＋２，ｙ）のＢ画素の出力と平均処理を行うことにより、（ｘ，ｙ）の青色の光量値を算出する。パターン１７０２は、Ｇ画素を中心とする四隅がＧ画素のパターンである。四隅のＧ画素は視差Ｌ画素の２画素と視差Ｒ画素の２画素から成る。そこで、これらの光量値の平均を算出し、中心のＧ画素の座標における緑色の光量値とする。
【００８３】
このようにして算出された各座標における赤色、緑色、青色のいずれかの光量値による画像データは、ベイヤー配列相当の画像データとなる。したがって、この画像データに、ベイヤー配列に対する格子補間処理を施せば、カラー２Ｄ画像データを生成することができる。
【００８４】
このような配列においては、偏光画像データも、パターン１７０１の単位において生成される。例えば、パターン１７０１においては、四隅のＧ画素の出力に分離アルゴリズムを適用することにより、中心のＧ画素の座標における緑色の偏光情報を算出できる。
【００８５】
次に、上述のような撮像素子１００を備えるデジタルカメラ１０における画像処理について説明する。上述のように、デジタルカメラ１０は、撮像素子１００からの出力信号を取得して、被写体像であるカラー２Ｄ画像データと、被写体表面の反射の偏光状態を表す偏光画像データとを生成する。また、撮像素子１００が視差画素を備えるのであれば、視差画像データも生成する。これらの画像処理は、画像処理部２０５が実行する。ここでは、特に偏光画像データを利用して被写体像の輪郭情報を抽出する画像処理について説明する。図１７は、輪郭抽出処理を示すフロー図である。フローは、例えば露光動作を終え撮像素子１００が画像信号を出力する時点から開始する。
【００８６】
ステップＳ１０１において、画像処理部２０５は、撮像素子１００の出力信号を取得する。そしてステップＳ１０２で、画像処理部２０５は、上述の手法により、カラー２Ｄ画像データおよび偏光画像データを生成する。
【００８７】
ステップＳ１０３では、画像処理部２０５の輪郭抽出部２３１は、偏光画像データに対して微分処理を実行する。偏光画像データは、上述のように、被写体表面の法線方向を示す法線マップを含み、輪郭抽出部２３１は、この法線マップに対して微分処理を施す。被写体の境界においては、被写体表面の法線方向が急激に変化するので、輪郭抽出部２３１は、微分処理を施すことにより、被写体の境界線を抽出することができる。ステップＳ１０４へ進み、輪郭抽出部２３１は、抽出した境界線の相互の連続性等を考慮してこれらを繋ぎ合わせ、被写体の輪郭を決定する処理を実行する。
【００８８】
ステップＳ１０５へ進み、輪郭抽出部２３１は、カラー２Ｄ画像データの画像と偏光画像データの画像の間でマッチング処理を実行し、それぞれの画像間の対応関係を取得する。そして、輪郭抽出部２３１は、ステップＳ１０６へ進み、ステップＳ１０４で決定した被写体の輪郭をカラー２Ｄ画像に当てはめ、カラー２Ｄ画像データにおける輪郭情報を確定し、一連の処理を終了する。
【００８９】
なお、上述のフローによれば、輪郭抽出部２３１は、偏光画像データから被写体の輪郭を決定したが、視差画像データの情報を加味して決定しても良い。視差画像データは、被写体像間の奥行き差に応じた視差を生じているので、奥行き情報であるいわゆるデプスマップを微分処理すれば、同様に被写体の輪郭情報を取得できる。したがって、両者の輪郭情報を合成処理すれば、より精確な被写体輪郭を決定することができる。
【００９０】
次に、ＡＦセンサ２１１と撮像素子１００の関係について説明する。図１８は、光学ファインダから観察される被写体像および測距領域４６０を示す図である。ＡＦセンサ２１１は、被写体空間に対して二次元的かつ離散的に配置される複数の測距領域４６０を有する。図の例の場合、１１点の測距領域４６０が、全体として略菱形形状に離散的に配置されている。ＡＦセンサ２１１は、それぞれの測距領域４６０に対応するデフォーカス量を独立に出力することができる。制御部２０１は、例えば近点優先等のアルゴリズムにより選択された測距領域４６０のデフォーカス量を検出して、合焦に至るフォーカスレンズの移動量および移動方向を決定する。さらに制御部２０１は、これらの情報に従ってフォーカスレンズを移動させる。
【００９１】
上述の説明においては、撮像素子１００の偏光子１０１は、２次元的な平面上に繰り返しパターン１１０をもって均等に配列されていた。しかし、重要な被写体は合焦される被写体であることを考慮すれば、撮像素子１００における偏光子１０１の配列領域を、ＡＦセンサ２１１の複数の測距領域に対応する領域に限っても良い。このように構成すれば、偏光画素を削減できるので、カラー２Ｄ画像データの画質向上が望める。
【００９２】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００９３】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００９４】
１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、３０、３１ 被写体、１００ 撮像素子、１０１ 偏光子、１０２ カラーフィルタ、１０３ 開口マスク、１０４ 開口部、１０５ 配線層、１０６ 配線、１０７ 開口、１０８ 光電変換素子、１０９ 基板、１１０ 繰り返しパターン、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ 駆動部、２０５ 画像処理部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ ＬＣＤ駆動回路、２１１ ＡＦセンサ、２２０ メモリカード、２３１ 輪郭抽出部、４６０ 測距領域、１１０１、１１０２、１１０３、１２０１、１２０２、１３０１、１３０２、１４０１、１５０１、１５０２、１５０３、１５０４、１７０１、１７０２ パターン
【技術分野】
【０００１】
本発明は、撮像素子および撮像装置に関する。
【背景技術】
【０００２】
偏光を用いたイメージング技術分野において、パターン化されたフォトニック結晶偏光子を撮像素子上に組み合わせたカメラが知られている。このカメラにより撮像された画像データを解析すれば、被写体表面で反射する反射光の偏光分布情報を取得できる。この偏光分布情報は、例えば被写体表面の傾き検出などに利用される。
［先行技術文献］
［非特許文献］川上彰二郎、川嶋隆之他、"フォトニック結晶偏光子を用いた偏光イメージングカメラの開発"第３２回光学シンポジウム、講演番号３、２００７年７月５日
【発明の概要】
【発明が解決しようとする課題】
【０００３】
上記のカメラによれば、一度の撮影動作により得られる画像データは、偏光情報が取得できる偏光画像データのみであった。したがって、当該偏光画像データに対応するカラー画像データは得られなかった。偏光画像データを出力するカメラと、通常のカラー画像データを出力するカメラとを並べて撮影したとしても、撮影タイミングの同期、画角の調整などが困難であった。
【課題を解決するための手段】
【０００４】
本発明の第１の態様における撮像素子は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、少なくとも一部の前記光電変換素子のそれぞれに一対一に対応して設けられたカラーフィルタと、少なくとも一部の前記光電変換素子のそれぞれに一対一に対応して設けられたフォトニック結晶偏光子とを備える。本発明の第２の態様における撮像装置は、上記の撮像素子を備える。
【０００５】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００６】
【図１】本発明の実施形態に係るデジタルカメラの構成を説明する図である。
【図２】本発明の実施形態に係る撮像素子の断面を表す概略図である。
【図３】偏光子パターンに対する明暗パターンを説明する図である。
【図４】偏光子の方位角と受光強度との関係を示す図である。
【図５】視差画素の配列パターンを説明する説明図である。
【図６】視差画素と被写体の関係を説明する概念図である。
【図７】視差画像を生成する処理を説明する概念図である。
【図８】ベイヤー配列と他の配列のカラーフィルターパターンを説明する図である。
【図９】撮像素子の出力と生成される画像データの関係を示す概念図である。
【図１０】撮像素子における第１配列を説明する説明図である。
【図１１】撮像素子における第２配列を説明する説明図である。
【図１２】撮像素子における第３配列を説明する説明図である。
【図１３】撮像素子における第４配列を説明する説明図である。
【図１４】撮像素子における第５配列を説明する説明図である。
【図１５】撮像素子における第６配列を説明する説明図である。
【図１６】撮像素子における第７配列を説明する説明図である。
【図１７】輪郭抽出処理を示すフロー図である。
【図１８】光学ファインダから観察される被写体像および測距領域を示す図である。
【発明を実施するための形態】
【０００７】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００８】
撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンに対してカラー画像データと偏光画像データを一度の撮影により生成できるように構成されている。偏光画像データは、被写体表面の反射光の偏光状態を表す画像データである。また、本実施形態に係るデジタルカメラは、追加的な機能として、視差画像データを生成できる。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。
【０００９】
図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０およびＡＦセンサ２１１を備える。
【００１０】
なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をｚ軸プラス方向と定め、ｚ軸と直交する平面において紙面手前へ向かう方向をｘ軸プラス方向、紙面上方向をｙ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
【００１１】
撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。
【００１２】
Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。特に、画像処理部２０５は、偏光画像データを処理して被写体像の輪郭を抽出する輪郭抽出部２３１を有する。具体的な処理の詳細については、後述する。
【００１３】
画像処理部２０５は、他にも、撮像素子１００の画素配列に即して、入力される画像信号からカラー画像データおよび偏光画像データを生成したり、選択された画像フォーマットに従って画像データを調整したりする機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示され得る。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録され得る。
【００１４】
ＡＦユニットのＡＦセンサ２１１は、被写体空間に対して複数の測距領域が設定された位相差センサであり、それぞれの測距領域において被写体像のデフォーカス量を検出する。一連の撮影シーケンスは、操作部２０８がユーザの操作を受けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。例えば、制御部２０１は、ＡＦセンサ２１１の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。
【００１５】
次に、撮像素子１００の構成について詳細に説明する。図２は、本発明の実施形態に係る撮像素子１００の断面を表す概略図である。撮像素子１００は、被写体側から順に、偏光子１０１、カラーフィルタ１０２、開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。
【００１６】
光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。また、各光電変換素子１０８に一対一に対応して設けられた開口部１０４を有する開口マスク１０３が、配線層に接して設けられている。開口部１０４は、後述するように、対応する光電変換素子１０８ごとにシフトさせて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。
【００１７】
一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり有効光束の全体を通過させる開口部１０４を有する開口マスク１０３が設けられているとも言える。視差を生じさせることはないが、実質的には配線１０６によって形成される開口１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない有効光束の全体を通過させる開口マスクと捉えることもできる。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列しても良いし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成しても良い。
【００１８】
カラーフィルタ１０２は、開口マスク１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されれば良いが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列すると良い。例えば赤色波長帯を透過させる赤フィルタ、緑色波長帯を透過させる緑フィルタ、および青色波長帯を透過させる青フィルタを格子状に配列すると良い。また、特定の光電変換素子１０８には、対応するカラーフィルタ１０２を設けなくても良い。あるいは、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタを配列しても良い。具体的な配列については後述する。
【００１９】
偏光子１０１は、カラーフィルタ１０２上に設けられている。偏光子１０１は、入射される被写体光束を偏光方向により透過率を異ならせて射出する光学素子である。偏光子１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。偏光子１０１は、対応する光電変換素子１０８により、透過させる偏光方向が異なるように設けられている。また、対応する光電変換素子１０８によっては、特定方向への偏光特性を有さない偏光子１０１が設けられている。なお、本実施形態においては、特定方向への偏光特性を有さない場合も、以下のように偏光特性を有する偏光子と共に形成されるので、便宜上、偏光子１０１として説明する。
【００２０】
偏光子１０１は、フォトニック結晶偏光子により構成される。フォトニック結晶偏光子は、屈折率の異なる光学材料が周期的に並んだ構造体である。特に面内方向に微細な凹凸溝を設けると、入射光に対して面内異方性を生じさせる。すなわち、凹凸溝に沿った方向に偏光成分を有する入射光ほど良く透過させる。この方向を方位角という。凹凸溝を設けない場合は、特定方向への偏光特性を有さない偏光子１０１となる。つまり、方位角を有さない。
【００２１】
フォトニック結晶偏光子は、具体的には、ＳｉＯ２、Ｎｂ２Ｏ５、Ａｌ２Ｏ５などのスパッタ成膜可能な材料を用いて自己クローニング成膜技術等により形成される。特に、一つ一つの光電変換素子１０８に対応させて、凹凸溝の方向を変えることができる。また、凹凸溝を設けず、特定方向への偏光特性を与えないこともできる。したがって、フォトニック結晶偏光子は、異なる偏光特性を有する偏光子１０１も、特定方向への偏光特性を有さない偏光子１０１も纏めて一体的に形成することができる。
【００２２】
このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、カラーフィルタ１０２および偏光子１０１の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。また、特定方向への偏光特性を有する偏光子１０１が設けられた画素を偏光画素、特定方向への偏光特性を有さない偏光子１０１が設けられた画素を偏光なし画素と呼ぶ。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。
【００２３】
なお、個々の画素に対応させて、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズであるマイクロレンズを設けることもできる。マイクロレンズは、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていても良い。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。
【００２４】
偏光子１０１について更に説明する。図３は、偏光子パターンに対する明暗パターンを説明する図である。特に図３（ａ）は、偏光子パターンを示す図であり、図３（ｂ）は、入射する被写体光束の光量を概念的に示す図である。
【００２５】
上述のように、偏光子１０１は、形成された凹凸溝の方向により、入射される被写体光束をその偏光方向によって透過率を異ならせて射出する。本実施形態においては、図示するように、それぞれ０°、４５°、９０°、１３５°の方向に方位角を有する４つの偏光子１０１が組み合わされて、一組の偏光子パターンが形成される。
【００２６】
この偏光子パターンを通過する被写体光束は、様々な明暗パターンを生成する。例えば、０°方向の直線偏光から成る被写体光束は、０°の方位角を有する偏光子１０１に対してほぼ透過するのに対して、４５°および１３５°の方位角を有する偏光子１０１に対しては半減し、９０°の方位角を有する偏光子１０１に対してはほぼ遮断される。また、円偏光から成る被写体光束は、いずれの偏光子１０１に対しても半減する。つまり、入射光束が、入射する偏光子１０１の方位角成分をどれだけ含むかにより、光電変換素子１０８へ届く光量が変化する。
【００２７】
図４は、偏光子１０１の方位角と光電変換素子１０８の受光光量との関係を示す図である。具体的には、互いに近接する０°、４５°、９０°、１３５°の方位角をそれぞれ有する偏光画素の受光光量を示す。なお、これらの偏光画素は、同色のカラーフィルタ１０２に対応して設けられているものとする。横軸は、偏光子１０１の方位角であり、サンプリングポイントである０°、４５°、９０°、１３５°を明示的に示す。縦軸は、光電変換素子１０８の受光光量であり、ひいては光電変換された電荷量を示す。
【００２８】
ここでは、例として被写体光束Ｂ１と被写体光束Ｂ２を受光した場合について説明する。被写体光束Ｂ１の場合、各偏光画素は、白丸で示される光量を受光する。この白丸を滑らかに繋ぐコサインカーブを当てはめると、ｆ１（θ）となる。このとき、ｆ１（θ）の最大値はＦ１となる。また、被写体光束Ｂ２の場合、各偏光画素は、黒丸で示される光量を受光する。この黒丸を滑らかに繋ぐコサインカーブを当てはめると、ｆ２（θ）となる。このとき、ｆ２（θ）の最大値はＦ２となる。それぞれのコサインカーブは、偏光情報を含む。
【００２９】
当てはめられたコサインカーブは、一般化すると、ｆ（θ）＝Ａ×ｃｏｓ｛（π／２）θ＋２φ｝＋Ｍで、表される。ここで、ｆ（θ）の最大値となるＡ＋Ｍは、偏光子１０１が無い場合の受光光量とみなすことができる。また、偏光状態は、Ａ、Ｍ、φから決定される。したがって、上述のように、偏光子パターンが０°、４５°、９０°、１３５°の偏光子１０１を含めば、それぞれの偏光画素の出力から、偏光子１０１が設けられていない場合の受光光量と、被写体光束の偏光状態が決定される。
【００３０】
このようにして、被写体光束の偏光状態が決定されると、反射面である被写体表面の法線方向を推定することができる。それぞれの偏光画素の出力を寄せ集めれば、被写体像に対応する法線マップを生成することができる。法線方向に対応する色を割り当てれば、視覚化された偏光マップを生成することもできる。偏光マップは、被写体像を被写体表面の法線方向で視覚化した画像である。例えば、法線方向が不連続となる部分は、割り当てられた色の変化も急激となるので、色の急激な変化として表現される境界により互いに異なる被写体として認識できる。したがって、画像処理における被写体分離において、法線マップまたは偏光マップを活用できる。なお、本実施形態においては、法線マップを被写体表面の反射光の偏光状態を表す偏光画像データとして扱う。
【００３１】
次に視差画素について説明する。図５は、視差画素の配列パターンを説明する説明図である。ここでは、説明を簡単にすべく、カラーフィルタ１０２の配色については後に言及を再開するまで考慮しない。カラーフィルタ１０２の配色に言及しない以下の説明においては、同色のカラーフィルタ１０２を有する視差画素のみを寄せ集めたイメージセンサであると捉えることができる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ１０２における隣接画素として考えても良い。なお、本実施形態においては、偏向画素と視差画素は排他的に配列される。すなわち、視差を生じさせる開口部１０４を持つ画素は、方位角を有する偏光子１０１を有さない。
【００３２】
図５に示すように、開口マスク１０３の開口部１０４は、それぞれの画素の中心に対して相対的にシフトして設けられている。そして、隣接する画素同士を比較しても、それぞれの開口部１０４は互いに変位した位置に設けられている。
【００３３】
図の例においては、それぞれの画素に対する開口部１０４の位置として、互いに左右方向にシフトした６種類の開口マスク１０３が用意されている。そして、撮像素子１００の全体は、紙面左側から右側へ徐々にシフトする開口マスク１０３をそれぞれ有する６つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。つまり、撮像素子１００は、一組の光電変換素子群を含む繰り返しパターン１１０が、周期的に敷き詰められて構成されていると言える。
【００３４】
なお、例えば左右方向にシフトした３種類の開口マスク１０３をそれぞれ有する３つの視差画素を一組とする場合、真ん中の画素の開口部１０４は、画素の中心に対してシフトしない。しかし、このような場合も、隣接する開口部１０４と開口面積を一致させるなどにより、後述の手法によって互いに視差を与える視差画像を生成することができる。したがって、このように奇数種類の開口マスク１０３に対応する組み合わせに対しても、繰り返しパターン１１０を定義することができる。
【００３５】
図６は、視差画素と被写体の関係を説明する概念図である。特に図６（ａ）は撮像素子１００のうち撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔの光電変換素子群を示し、図６（ｂ）は周辺部分に配列されている繰り返しパターン１１０ｕの光電変換素子群を模式的に示している。図６（ａ）、（ｂ）における被写体３０は、撮影レンズ２０に対して合焦位置に存在する。図６（ｃ）は、図６（ａ）に対応して、撮影レンズ２０に対して非合焦位置に存在する被写体３１を捉えた場合の関係を模式的に示している。
【００３６】
まず、撮影レンズ２０が合焦状態に存在する被写体３０を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ２０の瞳を通過して撮像素子１００へ導かれるが、被写体光束が通過する全体の断面領域に対して、６つの部分領域Ｐａ〜Ｐｆが規定されている。そして、例えば繰り返しパターン１１０ｔ、１１０ｕを構成する光電変換素子群の紙面左端の画素は、拡大図からもわかるように、部分領域Ｐｆから射出された被写体光束のみが光電変換素子１０８へ到達するように、開口マスク１０３の開口部１０４ｆの位置が定められている。同様に、右端の画素に向かって、部分領域Ｐｅに対応して開口部１０４ｅの位置が、部分領域Ｐｄに対応して開口部１０４ｄの位置が、部分領域Ｐｃに対応して開口部１０４ｃの位置が、部分領域Ｐｂに対応して開口部１０４ｂの位置が、部分領域Ｐａに対応して開口部１０４ａの位置がそれぞれ定められている。
【００３７】
別言すれば、例えば部分領域Ｐｆと左端画素の相対的な位置関係によって定義される、部分領域Ｐｆから射出される被写体光束の主光線Ｒｆの傾きにより、開口部１０４ｆの位置が定められていると言っても良い。そして、合焦位置に存在する被写体３０からの被写体光束を、開口部１０４ｆを介して光電変換素子１０８が受光する場合、その被写体光束は、点線で図示するように、光電変換素子１０８上で結像する。同様に、右端の画素に向かって、主光線Ｒｅの傾きにより開口部１０４ｅの位置が、主光線Ｒｄの傾きにより開口部１０４ｄの位置が、主光線Ｒｃの傾きにより開口部１０４ｃの位置が、主光線Ｒｂの傾きにより開口部１０４ｂの位置が、主光線Ｒａの傾きにより開口部１０４ａの位置がそれぞれ定められていると言える。
【００３８】
図６（ａ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１と交差する被写体３０上の微小領域Ｏｔから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｔから放射される光束を受光している。微小領域Ｏｔは、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。同様に、図６（ｂ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１から離間した被写体３０上の微小領域Ｏｕから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｕから放射される光束を受光している。微小領域Ｏｕも、微小領域Ｏｔと同様に、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。
【００３９】
つまり、被写体３０が合焦位置に存在する限りは、撮像素子１００上における繰り返しパターン１１０の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン１１０において、対応する画素同士は同じ部分領域からの被写体光束を受光している。つまり、図においては、例えば繰り返しパターン１１０ｔ、１１０ｕのそれぞれの左端の画素は、同じ部分領域Ｐｆからの被写体光束を受光している。
【００４０】
撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置と、周辺部分に配列されている繰り返しパターン１１０ｕにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Ｐｆからの被写体光束を受光するための開口マスクという点で、これらを同一種類の開口マスクとして扱うことができる。したがって、図６の例では、撮像素子１００上に配列される視差画素のそれぞれは、６種類の開口マスクの一つを備えると言える。
【００４１】
次に、撮影レンズ２０が非合焦状態に存在する被写体３１を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体３１からの被写体光束は、撮影レンズ２０の瞳の６つの部分領域Ｐａ〜Ｐｆを通過して、撮像素子１００へ到達する。ただし、非合焦位置に存在する被写体３１からの被写体光束は、光電変換素子１０８上ではなく他の位置で結像する。例えば、図６（ｃ）に示すように、被写体３１が被写体３０よりも撮像素子１００に対して遠い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１側で結像する。逆に、被写体３１が被写体３０よりも撮像素子１００に対して近い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１とは反対側で結像する。
【００４２】
したがって、非合焦位置に存在する被写体３１のうち、微小領域Ｏｔ'から放射される被写体光束は、６つの部分領域Ｐａ〜Ｐｆのいずれを通過するかにより、異なる組の繰り返しパターン１１０における対応画素に到達する。例えば、部分領域Ｐｄを通過した被写体光束は、図６（ｃ）の拡大図に示すように、主光線Ｒｄ'として、繰り返しパターン１１０ｔ'に含まれる、開口部１０４ｄを有する光電変換素子１０８へ入射する。そして、微小領域Ｏｔ'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン１１０ｔ'に含まれる光電変換素子１０８へは入射せず、他の繰り返しパターンにおける対応する開口部を有する光電変換素子１０８へ入射する。換言すると、繰り返しパターン１１０ｔ'を構成する各光電変換素子１０８へ到達する被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。すなわち、開口部１０４ｄに対応する１０８へは主光線をＲｄ'とする被写体光束が入射し、他の開口部に対応する光電変換素子１０８へは主光線をＲａ＋、Ｒｂ＋、Ｒｃ＋、Ｒｅ＋、Ｒｆ＋とする被写体光束が入射するが、これらの被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。このような関係は、図６（ｂ）における周辺部分に配列されている繰り返しパターン１１０ｕにおいても同様である。
【００４３】
すると、撮像素子１００の全体で見た場合、例えば、開口部１０４ａに対応する光電変換素子１０８で捉えた被写体像Ａと、開口部１０４ｄに対応する光電変換素子１０８で捉えた被写体像Ｄは、合焦位置に存在する被写体に対する像であれば互いにずれが無く、非合焦位置に存在する被写体に対する像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Ｐａと部分領域Ｐｄの距離により、方向と量が定まる。つまり、被写体像Ａと被写体像Ｄは、互いに視差像となる。この関係は、他の開口部に対しても同様であるので、開口部１０４ａから１０４ｆに対応して、６つの視差像が形成されることになる。
【００４４】
したがって、このように構成されたそれぞれの繰り返しパターン１１０において、互いに対応する画素の出力を寄せ集めると、視差画像が得られる。つまり、６つの部分領域Ｐａ〜Ｐｆうちの特定の部分領域から射出された被写体光束を受光した画素の出力は、視差画像を形成する。
【００４５】
図７は、視差画像を生成する処理を説明する概念図である。図は、左列から順に、開口部１０４ｆに対応する視差画素の出力を集めて生成される視差画像データＩｍ＿ｆの生成の様子、開口部１０４ｅの出力による視差画像データＩｍ＿ｅの生成の様子、開口部１０４ｄの出力による視差画像データＩｍ＿ｄの生成の様子、開口部１０４ｃの出力による視差画像データＩｍ＿ｃの生成の様子、開口部１０４ｂの出力による視差画像データＩｍ＿ｂの生成の様子、開口部１０４ａの出力による視差画像データＩｍ＿ａの生成の様子を表す。まず開口部１０４ｆの出力による視差画像データＩｍ＿ｆの生成の様子について説明する。
【００４６】
６つの視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０は、横一列に配列されている。したがって、開口部１０４ｆを有する視差画素は、撮像素子１００上において、左右方向に６画素おき、かつ、上下方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、視差画像が得られる。
【００４７】
しかし、本実施形態における撮像素子１００の各画素は正方画素であるので、単に寄せ集めただけでは、横方向の画素数が１／６に間引かれた結果となり、縦長の画像データが生成されてしまう。そこで、このように縦横のアスペクト比が本来のアスペクト比と異なるような場合には、補間処理を施す。図の例によれば、横方向に６倍の画素数とする補間処理を施すことにより、本来のアスペクト比の画像として視差画像データＩｍ＿ｆを生成する。ただし、そもそも補間処理前の視差画像データが横方向に１／６に間引かれた画像であるので、横方向の解像度は、縦方向の解像度よりも低下している。つまり、生成される視差画像データの数と、解像度の向上は相反関係にあると言える。
【００４８】
同様にして、視差画像データＩｍ＿ｅ〜視差画像データＩｍ＿ａが得られる。すなわち、デジタルカメラ１０は、横方向に視差を有する６視点の視差画像を生成することができる。なお、上記の例では、横一列を繰り返しパターン１１０として周期的に配列される例を説明したが、繰り返しパターン１１０はこれに限らない。縦一列の繰り返しパターンであっても、斜め方向を組み合わせた繰り返しパターンであっても構わない。
【００４９】
図８は、ベイヤー配列と他の配列のカラーフィルタパターンを説明する図である。図８（ａ）は、いわゆるベイヤー配列であり、図８（ｂ）は、他のカラーフィルタ配列の例である。
【００５０】
図８（ａ）に示すように、ベイヤー配列は、緑フィルタが左上と右下の２画素に、赤フィルタが左下の１画素に、青フィルタが右上の１画素に割り当てられる配列である。ここでは、緑フィルタが割り当てられた左上の画素をＧｂ画素とし、同じく緑色フィルタが割り当てられた右下の画素をＧｒ画素とする。また、赤色フィルタが割り当てられた画素をＲ画素と、青色が割り当てられた画素をＢ画素とする。
【００５１】
また、図８（ｂ）に示すように、他のカラーフィルタ配列は、図８（ａ）で示したベイヤー配列のＧｒ画素を緑フィルタが割り当てられるＧ画素として維持する一方、Ｇｂ画素をカラーフィルタが割り当てられないＷ画素に変更した配列である。なお、Ｗ画素は、上述のように、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタが配列されていても良い。このようなＷ画素を含むカラーフィルタ配列を採用すれば、撮像素子が出力するカラー情報の精度は若干低下するものの、カラーフィルタが設けられている場合に比較して受光する光量を多くすることができる。
【００５２】
このようなカラーフィルタ１０２の配列に対して、視差画素と視差なし画素を、および偏向画素と偏光なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターン１１０が設定され得る。撮像素子１００からは、設定される繰り返しパターン１１０の違いにより、性質の異なる画像データが出力される。図９は、撮像素子１００の出力と、生成される画像データの関係を示す概念図である。
【００５３】
例えば撮像素子１００の有効画素が１２００万画素の場合、画素出力も１２００万であるが、いかなる構造の画素からの出力であるかにより、出力値の意味合いが異なる。例えばＲ画素であって偏光なし画素かつ視差なし画素である画素からの出力であれば、出力値は、被写体光束の赤色成分としての単独出力を表す。一方、例えばＧ画素であって４５°の方位角を有する偏向画素かつ視差なし画素であれば、被写体光束の緑色成分と４５°方向の偏光成分が重なった重畳出力を表す。更に、例えばＢ画素であって偏光なし画素かつ視差画素であれば、被写体光束のうち青色成分であって特定入射角成分である重畳出力を表す。
【００５４】
したがって、重畳出力をその意味に即して分離したり、周辺画素の出力から補間したりする処理を施すことにより、撮像素子からの出力から、カラー２Ｄ画像データ、偏光画像データおよび視差画像データを生成することができる。カラー２Ｄ画像データは、被写体像を視差のない通常のカラー画像として捉えた画像データである。偏光画像データは、上述のように、被写体表面の反射光の偏光状態を表す画像データである。本実施形態においては、法線マップを偏光画像データとして扱う。また、視差画像データは、例えばいわゆる立体視の場合、Ｌ画像データとＲ画像データの２つの画像データを含む。もちろん、撮像素子１００が視差画素を含まない場合は、視差画像データは生成されない。
【００５５】
繰り返しパターン１１０において、単独出力となる画素を相対的に増やせば、解像度の高いカラー２Ｄ画像を出力させることができる。この場合、偏向画素および視差画素は相対的に少ない割合となるので、偏光画像データの精度、視差画像の画質は低下する。多くのカラー画素を偏向画素とすれば、偏光画像データの精度は上がるが、受光光量低下に伴ってカラー２Ｄ画像の画質が低下する。また、視差画素の割合を増やせば、視差画像としては画質が向上するが、視差なし画素は相対的に減少するので、解像度の低い２Ｄ画像が出力される。このようなトレードオフの関係において、何れの画素を偏向画素とするか、あるいは偏光なし画素とするか、また、何れの画素を視差画素とするか、あるいは視差なし画素とするかにより、様々な特徴を有する繰り返しパターン１１０が設定される。
【００５６】
以下に特徴的な配列について順次説明する。なお、以下の例において視差画素を配列する場合は、開口部１０４が画素中心よりも左側に偏心した視差Ｌ画素と、同じく右側に偏心した視差Ｒ画素の２種類を想定する。つまり、このような視差画素から出力される２視点の視差画像は、いわゆる立体視を実現する。上述のように異なる視点による複数の視差画像を出力させたい場合には、視差画素の種類を増やせば良い。
【００５７】
図１０は、撮像素子１００における第１配列を説明する説明図である。第１配列のカラーフィルタ配列はベイヤー配列である。そして、Ｒフィルタ、Ｇフィルタ、Ｂフィルタが配列されるいずれの画素にも偏光子が配列されている。また、（ｘ，ｙ）の画素に着目した場合、（ｘ−１，ｙ＋１）、（ｘ＋１，ｙ＋１）、（ｘ−１，ｙ−１）（ｘ−１，ｙ＋１）の同一色上に設けられた各画素の偏光子は、０°、４５°、９０°、１３５°のいずれかの方位角を有する。カラーフィルタ配列と偏光子配列の組み合わせから成る、最小繰り返し単位である繰り返しパターン１１０は、図示するように４画素×４画素により規定される。なお、第１配列は、視差画素を含まない。
【００５８】
このような配列において、画像データの生成について説明する。パターン１１０１は、Ｒ画素を中心とする四隅がＢ画素のパターンである。四隅のＢ画素は４種の方位角を有する偏向画素である。そこで、四隅のＢ画素の出力から図４を用いて説明した分離アルゴリズムにより、中心のＲ画素の座標における青色の光量値を算出する。なお、この座標における青色の光量値の算出には、Ｒ画素の出力を用いない。
【００５９】
パターン１１０２は、Ｇ画素を中心とする四隅がＧ画素のパターンである。この場合も、パターン１１０１の場合と同様に、四隅の出力から中心座標における緑色の光量値を算出する。パターン１１０３は、Ｂ画素を中心とする四隅がＲ画素のパターンである。この場合も、パターン１１０１の場合と同様に、四隅の出力から中心座標における赤色の光量値を算出する。
【００６０】
このようにして算出された各座標における赤色、緑色、青色のいずれかの光量値による画像データは、ベイヤー配列相当の画像データとなる。したがって、この画像データに、ベイヤー配列に対する格子補間処理を施せば、カラー２Ｄ画像データを生成することができる。
【００６１】
このような配列においては、偏光画像データも、パターン１１０１、１１０２、１１０３の各単位において生成される。例えば、パターン１１０１においては、四隅のＢ画素の出力に分離アルゴリズムを適用することにより、中心のＲ画素の座標における青色の偏光情報を算出できる。このようにして、ベイヤー配列相当の偏光情報を算出できれば、さらに格子補間処理を施して、偏光画像データを生成することができる。
【００６２】
図１１は、撮像素子における第２配列を説明する説明図である。第２配列のカラーフィルタ配列は、図８（ｂ）で示す他のカラーフィルタ配列である。そして、Ｗフィルタが配列される画素に偏光子が配列されている。また、Ｇフィルタが配列される画素に視差Ｌ画素または視差Ｒ画素が配列されている。また、パターン１２０１で示すように、（ｘ，ｙ）のＧ画素に着目した場合、（ｘ−１，ｙ＋１）、（ｘ＋１，ｙ＋１）、（ｘ−１，ｙ−１）（ｘ−１，ｙ＋１）の各画素の偏光子は、０°、４５°、９０°、１３５°のいずれかの方位角を有する。カラーフィルタ配列、偏光子配列および視差画素配列の組み合わせから成る、最小繰り返し単位である繰り返しパターン１１０は、図示するように４画素×４画素により規定される。
【００６３】
このような配列において、画像データの生成について説明する。パターン１２０２は、Ｗ画素を中心とする四隅がＧ画素のパターンである。四隅のＧ画素は視差Ｌ画素の２画素と視差Ｒ画素の２画素から成る。そこで、これらの光量値の平均を算出し、中心のＷ画素の座標における緑色の光量値とする。このようにしてＷ画素の座標における緑色の光量値を算出したら、さらに、パターン１２０１における中心画素の緑色の光量値として、四隅の緑色の光量値の平均を算出して適用する。
【００６４】
このようにして算出された各座標における赤色、緑色、青色のいずれかの光量値による画像データは、ベイヤー配列相当の画像データとなる。したがって、この画像データに、ベイヤー配列に対する格子補間処理を施せば、カラー２Ｄ画像データを生成することができる。
【００６５】
このような配列において偏光画像データは、例えば、パターン１１０１においては、四隅のＷ画素の出力に分離アルゴリズムを適用することにより、中心のＧ画素の座標における偏光情報を算出できる。第２配列の場合、偏光画素は、Ｗ画素に重ねて配列されているので、色成分の重畳のない精度の高い偏光画像データが生成される。
【００６６】
図１２は、撮像素子における第３配列を説明する説明図である。第３配列のカラーフィルタ配列はベイヤー配列である。そして、ＲフィルタおよびＢフィルタが配列される画素に偏光子が配列されている。（ｘ，ｙ）のＲ画素またはＢ画素に着目した場合、（ｘ−１，ｙ＋１）、（ｘ＋１，ｙ＋１）、（ｘ−１，ｙ−１）（ｘ−１，ｙ＋１）の各画素の偏光子は、０°、４５°、９０°、１３５°のいずれかの方位角を有する。また、Ｇフィルタが配列される画素に視差Ｌ画素または視差Ｒ画素が配列されている。カラーフィルタ配列、偏光子配列および視差画素配列の組み合わせから成る、最小繰り返し単位である繰り返しパターン１１０は、図示するように４画素×４画素により規定される。
【００６７】
このような配列において、画像データの生成について説明する。パターン１３０１は、Ｒ画素を中心とする四隅がＢ画素のパターンである。四隅のＢ画素は４種の方位角を有する偏向画素である。そこで、四隅のＢ画素の出力から図４を用いて説明した分離アルゴリズムにより、中心のＲ画素の座標における青色の光量値を算出する。なお、この座標における青色の光量値の算出には、Ｒ画素の出力を用いない。
【００６８】
パターン１３０２は、Ｂ画素を中心とする四隅がＲ画素のパターンである。この場合も、パターン１３０１の場合と同様に、四隅の出力から中心座標における赤色の光量値を算出する。また、左上と右下の関係で隣接する視差Ｌ画素と視差Ｒ画素は、それぞれＧ画素であるので、それぞれの座標における緑色の光量値をこれら２画素の平均値とする。
【００６９】
このようにして算出された各座標における赤色、緑色、青色のいずれかの光量値による画像データは、ベイヤー配列相当の画像データとなる。したがって、この画像データに、ベイヤー配列に対する格子補間処理を施せば、カラー２Ｄ画像データを生成することができる。
【００７０】
このような配列においては、偏光画像データも、パターン１３０１、１３０２の各単位において生成される。例えば、パターン１３０１においては、四隅のＢ画素の出力に分離アルゴリズムを適用することにより、中心のＲ画素の座標における青色の偏光情報を算出できる。
【００７１】
図１３は、撮像素子における第４配列を説明する説明図である。第４配列のカラーフィルタ配列はベイヤー配列である。そして、Ｇフィルタが配列される画素に偏光子が配列されている。（ｘ，ｙ）のＧ画素に着目した場合、（ｘ−１，ｙ＋１）、（ｘ＋１，ｙ＋１）、（ｘ−１，ｙ−１）（ｘ−１，ｙ＋１）の各画素の偏光子は、０°、４５°、９０°、１３５°のいずれかの方位角を有する。また、ＲフィルタおよびＢフィルタが配列される画素にそれぞれ視差Ｌ画素および視差Ｒ画素が配列されている。カラーフィルタ配列、偏光子配列および視差画素配列の組み合わせから成る、最小繰り返し単位である繰り返しパターン１１０は、図示するように４画素×４画素により規定される。
【００７２】
このような配列において、画像データの生成について説明する。パターン１４０１は、Ｇ画素を中心とする四隅がＧ画素のパターンである。四隅のＧ画素は４種の方位角を有する偏向画素である。そこで、四隅のＧ画素の出力から図４を用いて説明した分離アルゴリズムにより、中心のＧ画素の座標における緑色の光量値を算出する。なお、この座標における緑色の光量値の算出には、中心のＧ画素の出力を用いない。Ｒ画素は視差画素であるので、開口サイズ分のゲイン調整を行うことにより、簡易的に視差なし画素の赤色の光量値とする。同様に、Ｂ画素も視差画素であるので、開口サイズ分のゲイン調整を行うことにより、簡易的に視差なし画素の青色の光量値とする。
【００７３】
このようにして算出された各座標における赤色、緑色、青色のいずれかの光量値による画像データは、ベイヤー配列相当の画像データとなる。したがって、この画像データに、ベイヤー配列に対する格子補間処理を施せば、カラー２Ｄ画像データを生成することができる。
【００７４】
このような配列においては、偏光画像データも、パターン１４０１の単位において生成される。例えば、パターン１４０１においては、四隅のＧ画素の出力に分離アルゴリズムを適用することにより、中心のＧ画素の座標における緑色の偏光情報を算出できる。
【００７５】
図１４は、撮像素子における第５配列を説明する説明図である。第５配列のカラーフィルタ配列はベイヤー配列である。そして、Ｒフィルタ、Ｇフィルタ、Ｂフィルタが配列されるいずれの画素にも偏光子が配列されている。ただし、Ｇフィルタについては、ベイヤー配列における２つのＧフィルタの一方に偏光子が配列される。偏光子が配列されない他方には、視差Ｌ画素または視差Ｒ画素が配列される。また、パターン１５０１で示すように、（ｘ，ｙ）のＲ画素に着目した場合、（ｘ−１，ｙ＋１）、（ｘ＋１，ｙ＋１）、（ｘ−１，ｙ−１）（ｘ−１，ｙ＋１）の各画素の偏光子は、０°、４５°、９０°、１３５°のいずれかの方位角を有する。同様に、パターン１５０２で示すように、（ｘ，ｙ）のＧ画素に着目した場合、（ｘ−１，ｙ＋１）、（ｘ＋１，ｙ＋１）、（ｘ−１，ｙ−１）（ｘ−１，ｙ＋１）の各画素の偏光子は、０°、４５°、９０°、１３５°のいずれかの方位角を有する。同様に、パターン１５０３で示すように、（ｘ，ｙ）のＢ画素に着目した場合、（ｘ−１，ｙ＋１）、（ｘ＋１，ｙ＋１）、（ｘ−１，ｙ−１）（ｘ−１，ｙ＋１）の各画素の偏光子は、０°、４５°、９０°、１３５°のいずれかの方位角を有する。カラーフィルタ配列、偏光子配列および視差画素配列の組み合わせから成る、最小繰り返し単位である繰り返しパターン１１０は、図示するように４画素×４画素により規定される。
【００７６】
このような配列において、画像データの生成について説明する。パターン１５０１は、Ｒ画素を中心とする四隅がＢ画素のパターンである。四隅のＢ画素は４種の方位角を有する偏向画素である。そこで、四隅のＢ画素の出力から図４を用いて説明した分離アルゴリズムにより、中心のＲ画素の座標における青色の光量値を算出する。なお、この座標における青色の光量値の算出には、Ｒ画素の出力を用いない。
【００７７】
パターン１５０２は、Ｇ画素を中心とする四隅がＧ画素のパターンである。この場合も、パターン１５０１の場合と同様に、四隅の出力から中心座標における緑色の光量値を算出する。パターン１５０３は、Ｂ画素を中心とする四隅がＲ画素のパターンである。この場合も、パターン１５０１の場合と同様に、四隅の出力から中心座標における赤色の光量値を算出する。また、パターン１５０４は、Ｇ画素を中心とする四隅がＧ画素のパターンである。四隅のＧ画素は視差Ｌ画素の２画素と視差Ｒ画素の２画素から成る。そこで、これらの光量値の平均を算出し、中心のＧ画素の座標における緑色の光量値とする。
【００７８】
このようにして算出された各座標における赤色、緑色、青色のいずれかの光量値による画像データは、ベイヤー配列相当の画像データとなる。したがって、この画像データに、ベイヤー配列に対する格子補間処理を施せば、カラー２Ｄ画像データを生成することができる。
【００７９】
このような配列においては、偏光画像データも、パターン１５０１、１５０２、１５０３の各単位において生成される。例えば、パターン１５０１においては、四隅のＢ画素の出力に分離アルゴリズムを適用することにより、中心のＲ画素の座標における青色の偏光情報を算出できる。
【００８０】
図１５は、撮像素子における第６配列を説明する説明図である。第６配列は第３配列に対して視差画素の配列が若干異なる。画像データの生成については第３配列における生成と同様であるので、説明を省略する。
【００８１】
図１６は、撮像素子における第７配列を説明する説明図である。第７配列のカラーフィルタ配列はベイヤー配列である。そして、ベイヤー配列における２つのＧフィルタの一方に偏光子が配列されている。偏光子が配列されない他方には、視差Ｌ画素または視差Ｒ画素が配列される。パターン１７０１で示すように、（ｘ，ｙ）のＧ画素に着目した場合、（ｘ−１，ｙ＋１）、（ｘ＋１，ｙ＋１）、（ｘ−１，ｙ−１）（ｘ−１，ｙ＋１）の各画素の偏光子は、０°、４５°、９０°、１３５°のいずれかの方位角を有する。また、Ｒフィルタ、Ｂフィルタが配列される画素にも視差Ｌ画素または視差Ｒ画素が配列されている。カラーフィルタ配列、偏光子配列および視差画素配列の組み合わせから成る、最小繰り返し単位である繰り返しパターン１１０は、図示するように４画素×４画素により規定される。
【００８２】
このような配列において、画像データの生成について説明する。パターン１７０１は、Ｇ画素を中心とする四隅がＧ画素のパターンである。四隅のＧ画素は４種の方位角を有する偏向画素である。そこで、四隅のＧ画素の出力から図４を用いて説明した分離アルゴリズムにより、中心のＧ画素の座標における緑色の光量値を算出する。なお、この座標における緑色の光量値の算出には、中心のＧ画素の出力を用いない。（ｘ，ｙ）におけるＲ画素は視差画素であるが、（ｘ−２，ｙ）および（ｘ＋２，ｙ）のＲ画素の出力と平均処理を行うことにより、（ｘ，ｙ）の赤色の光量値を算出する。同様に、（ｘ，ｙ）におけるＢ画素は視差画素であるが、（ｘ−２，ｙ）および（ｘ＋２，ｙ）のＢ画素の出力と平均処理を行うことにより、（ｘ，ｙ）の青色の光量値を算出する。パターン１７０２は、Ｇ画素を中心とする四隅がＧ画素のパターンである。四隅のＧ画素は視差Ｌ画素の２画素と視差Ｒ画素の２画素から成る。そこで、これらの光量値の平均を算出し、中心のＧ画素の座標における緑色の光量値とする。
【００８３】
このようにして算出された各座標における赤色、緑色、青色のいずれかの光量値による画像データは、ベイヤー配列相当の画像データとなる。したがって、この画像データに、ベイヤー配列に対する格子補間処理を施せば、カラー２Ｄ画像データを生成することができる。
【００８４】
このような配列においては、偏光画像データも、パターン１７０１の単位において生成される。例えば、パターン１７０１においては、四隅のＧ画素の出力に分離アルゴリズムを適用することにより、中心のＧ画素の座標における緑色の偏光情報を算出できる。
【００８５】
次に、上述のような撮像素子１００を備えるデジタルカメラ１０における画像処理について説明する。上述のように、デジタルカメラ１０は、撮像素子１００からの出力信号を取得して、被写体像であるカラー２Ｄ画像データと、被写体表面の反射の偏光状態を表す偏光画像データとを生成する。また、撮像素子１００が視差画素を備えるのであれば、視差画像データも生成する。これらの画像処理は、画像処理部２０５が実行する。ここでは、特に偏光画像データを利用して被写体像の輪郭情報を抽出する画像処理について説明する。図１７は、輪郭抽出処理を示すフロー図である。フローは、例えば露光動作を終え撮像素子１００が画像信号を出力する時点から開始する。
【００８６】
ステップＳ１０１において、画像処理部２０５は、撮像素子１００の出力信号を取得する。そしてステップＳ１０２で、画像処理部２０５は、上述の手法により、カラー２Ｄ画像データおよび偏光画像データを生成する。
【００８７】
ステップＳ１０３では、画像処理部２０５の輪郭抽出部２３１は、偏光画像データに対して微分処理を実行する。偏光画像データは、上述のように、被写体表面の法線方向を示す法線マップを含み、輪郭抽出部２３１は、この法線マップに対して微分処理を施す。被写体の境界においては、被写体表面の法線方向が急激に変化するので、輪郭抽出部２３１は、微分処理を施すことにより、被写体の境界線を抽出することができる。ステップＳ１０４へ進み、輪郭抽出部２３１は、抽出した境界線の相互の連続性等を考慮してこれらを繋ぎ合わせ、被写体の輪郭を決定する処理を実行する。
【００８８】
ステップＳ１０５へ進み、輪郭抽出部２３１は、カラー２Ｄ画像データの画像と偏光画像データの画像の間でマッチング処理を実行し、それぞれの画像間の対応関係を取得する。そして、輪郭抽出部２３１は、ステップＳ１０６へ進み、ステップＳ１０４で決定した被写体の輪郭をカラー２Ｄ画像に当てはめ、カラー２Ｄ画像データにおける輪郭情報を確定し、一連の処理を終了する。
【００８９】
なお、上述のフローによれば、輪郭抽出部２３１は、偏光画像データから被写体の輪郭を決定したが、視差画像データの情報を加味して決定しても良い。視差画像データは、被写体像間の奥行き差に応じた視差を生じているので、奥行き情報であるいわゆるデプスマップを微分処理すれば、同様に被写体の輪郭情報を取得できる。したがって、両者の輪郭情報を合成処理すれば、より精確な被写体輪郭を決定することができる。
【００９０】
次に、ＡＦセンサ２１１と撮像素子１００の関係について説明する。図１８は、光学ファインダから観察される被写体像および測距領域４６０を示す図である。ＡＦセンサ２１１は、被写体空間に対して二次元的かつ離散的に配置される複数の測距領域４６０を有する。図の例の場合、１１点の測距領域４６０が、全体として略菱形形状に離散的に配置されている。ＡＦセンサ２１１は、それぞれの測距領域４６０に対応するデフォーカス量を独立に出力することができる。制御部２０１は、例えば近点優先等のアルゴリズムにより選択された測距領域４６０のデフォーカス量を検出して、合焦に至るフォーカスレンズの移動量および移動方向を決定する。さらに制御部２０１は、これらの情報に従ってフォーカスレンズを移動させる。
【００９１】
上述の説明においては、撮像素子１００の偏光子１０１は、２次元的な平面上に繰り返しパターン１１０をもって均等に配列されていた。しかし、重要な被写体は合焦される被写体であることを考慮すれば、撮像素子１００における偏光子１０１の配列領域を、ＡＦセンサ２１１の複数の測距領域に対応する領域に限っても良い。このように構成すれば、偏光画素を削減できるので、カラー２Ｄ画像データの画質向上が望める。
【００９２】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００９３】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００９４】
１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、３０、３１ 被写体、１００ 撮像素子、１０１ 偏光子、１０２ カラーフィルタ、１０３ 開口マスク、１０４ 開口部、１０５ 配線層、１０６ 配線、１０７ 開口、１０８ 光電変換素子、１０９ 基板、１１０ 繰り返しパターン、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ 駆動部、２０５ 画像処理部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ ＬＣＤ駆動回路、２１１ ＡＦセンサ、２２０ メモリカード、２３１ 輪郭抽出部、４６０ 測距領域、１１０１、１１０２、１１０３、１２０１、１２０２、１３０１、１３０２、１４０１、１５０１、１５０２、１５０３、１５０４、１７０１、１７０２ パターン
【特許請求の範囲】
【請求項１】
入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、
少なくとも一部の前記光電変換素子のそれぞれに一対一に対応して設けられたカラーフィルタと、
少なくとも一部の前記光電変換素子のそれぞれに一対一に対応して設けられたフォトニック結晶偏光子と
を備える撮像素子。
【請求項２】
前記フォトニック結晶偏光子は、前記カラーフィルタが設けられていない前記光電変換素子に対応して設けられている請求項１に記載の撮像素子。
【請求項３】
前記フォトニック結晶偏光子は、同一色の前記カラーフィルタに対応して設けられている請求項１に記載の撮像素子。
【請求項４】
隣接するｎ個の前記光電変換素子を一組とする光電変換素子群が、互いに異なる波長帯域を透過させる前記カラーフィルタのカラーフィルタパターンの少なくとも１パターンと、互いに異なる方位角を有する前記フォトニック結晶偏光子が少なくとも４つ組み合わせて成る偏光子パターンの少なくとも１パターンを含んで、周期的に配列されている請求項１から３のいずれか１項に記載の撮像素子。
【請求項５】
少なくとも２つの視差画像データを出力するように、前記光電変換素子の少なくとも一部のそれぞれに一対一に対応して設けられた開口マスクを備え、
前記フォトニック結晶偏光子は、前記開口マスクが設けられていない前記光電変換素子に対応して設けられている請求項１から４のいずれか１項に記載の撮像素子。
【請求項６】
請求項１から５のいずれか１項に記載の撮像素子を備える撮像装置。
【請求項７】
前記撮像素子からの出力信号を取得して、被写体像であるカラー画像データと、被写体表面の反射の偏光状態を表す偏光画像データとを生成する画像処理部を備える請求項６に記載の撮像装置。
【請求項８】
前記偏光画像データに基づいて、前記カラー画像データにおける前記被写体像の輪郭情報を抽出する輪郭抽出部を備える請求項７に記載の撮像装置。
【請求項９】
被写体空間に対して予め定められた複数の測距領域を有するＡＦユニットと
を備え、
前記フォトニック結晶偏光子は、前記撮像素子において前記複数の測距領域に対応した領域に設けられている請求項６から８のいずれか１項に記載の撮像装置。
【請求項１】
入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、
少なくとも一部の前記光電変換素子のそれぞれに一対一に対応して設けられたカラーフィルタと、
少なくとも一部の前記光電変換素子のそれぞれに一対一に対応して設けられたフォトニック結晶偏光子と
を備える撮像素子。
【請求項２】
前記フォトニック結晶偏光子は、前記カラーフィルタが設けられていない前記光電変換素子に対応して設けられている請求項１に記載の撮像素子。
【請求項３】
前記フォトニック結晶偏光子は、同一色の前記カラーフィルタに対応して設けられている請求項１に記載の撮像素子。
【請求項４】
隣接するｎ個の前記光電変換素子を一組とする光電変換素子群が、互いに異なる波長帯域を透過させる前記カラーフィルタのカラーフィルタパターンの少なくとも１パターンと、互いに異なる方位角を有する前記フォトニック結晶偏光子が少なくとも４つ組み合わせて成る偏光子パターンの少なくとも１パターンを含んで、周期的に配列されている請求項１から３のいずれか１項に記載の撮像素子。
【請求項５】
少なくとも２つの視差画像データを出力するように、前記光電変換素子の少なくとも一部のそれぞれに一対一に対応して設けられた開口マスクを備え、
前記フォトニック結晶偏光子は、前記開口マスクが設けられていない前記光電変換素子に対応して設けられている請求項１から４のいずれか１項に記載の撮像素子。
【請求項６】
請求項１から５のいずれか１項に記載の撮像素子を備える撮像装置。
【請求項７】
前記撮像素子からの出力信号を取得して、被写体像であるカラー画像データと、被写体表面の反射の偏光状態を表す偏光画像データとを生成する画像処理部を備える請求項６に記載の撮像装置。
【請求項８】
前記偏光画像データに基づいて、前記カラー画像データにおける前記被写体像の輪郭情報を抽出する輪郭抽出部を備える請求項７に記載の撮像装置。
【請求項９】
被写体空間に対して予め定められた複数の測距領域を有するＡＦユニットと
を備え、
前記フォトニック結晶偏光子は、前記撮像素子において前記複数の測距領域に対応した領域に設けられている請求項６から８のいずれか１項に記載の撮像装置。
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図３】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図３】
【公開番号】特開２０１２−２１２９７８（Ｐ２０１２−２１２９７８Ａ）
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願番号】特願２０１１−７６４０７（Ｐ２０１１−７６４０７）
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]