固体撮像装置
【課題】偏光測定の高精度化を図ることができる固体撮像装置を提供する。
【解決手段】実施形態に係る固体撮像装置は、上面に複数の画素が形成された撮像基板と、前記撮像基板の上方に設けられ、光軸が前記撮像基板の前記上面と交差する結像レンズと、前記撮像基板と前記結像レンズとの間に設けられ、複数のマイクロレンズが２次元的に配置された面が、前記光軸と交差するマイクロレンズアレイ基板と、前記撮像基板と前記結像レンズとの間に設けられ、偏光軸の方向が相互に異なる複数の種類の偏光板が２次元的に配置された偏光板アレイ基板と、を備える。一つの前記偏光板で偏光された光は、一つの前記マイクロレンズによって集光されて前記撮像基板の前記上面で結像する。
【解決手段】実施形態に係る固体撮像装置は、上面に複数の画素が形成された撮像基板と、前記撮像基板の上方に設けられ、光軸が前記撮像基板の前記上面と交差する結像レンズと、前記撮像基板と前記結像レンズとの間に設けられ、複数のマイクロレンズが２次元的に配置された面が、前記光軸と交差するマイクロレンズアレイ基板と、前記撮像基板と前記結像レンズとの間に設けられ、偏光軸の方向が相互に異なる複数の種類の偏光板が２次元的に配置された偏光板アレイ基板と、を備える。一つの前記偏光板で偏光された光は、一つの前記マイクロレンズによって集光されて前記撮像基板の前記上面で結像する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、固体撮像装置に関する。
【背景技術】
【０００２】
システムコストを抑えるため、参照光を用いない距離測定方式として、視差を利用した三角測量方式がある。三角測量を行う場合、画質が悪いと、被写体間距離を測定する精度が低下する。また、色の近い被写体同士は分離が難しく算出できる被写体間距離の精度が低下する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２９０８９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の実施形態は、偏光測定の高精度化を図ることができる固体撮像装置を提供する。
【課題を解決するための手段】
【０００５】
実施形態に係る固体撮像装置は、上面に複数の画素が形成された撮像基板と、前記撮像基板の上方に設けられ、光軸が前記撮像基板の前記上面と交差する結像レンズと、前記撮像基板と前記結像レンズとの間に設けられ、複数のマイクロレンズが２次元的に配置された面が、前記光軸と交差するマイクロレンズアレイ基板と、前記撮像基板と前記結像レンズとの間に設けられ、偏光軸の方向が相互に異なる複数の種類の偏光板が２次元的に配置された偏光板アレイ基板と、を備える。一つの前記偏光板で偏光された光は、一つの前記マイクロレンズによって集光されて前記撮像基板の前記上面で結像する。
【図面の簡単な説明】
【０００６】
【図１】第１の実施形態に係る固体撮像装置を例示するブロック図である。
【図２】第１の実施形態に係る固体撮像装置を例示する光学モデル図である。
【図３】（ａ）は、第１の実施形態における偏光板アレイ基板を例示する上面図であり、（ｂ）は、第１の実施形態における偏光板アレイ基板及びマイクロレンズアレイ基板を例示する斜視図である。
【図４】（ａ）は、第１の実施形態において、マイクロレンズ毎に結像された画像を例示する図であり、（ｂ）は、（ａ）において、１つの偏光軸をもつ偏光板により偏光された光による画像を例示する図であり、（ｃ）は、（ｂ）の画像を画像処理して得られた２次元画像を例示する図である。
【図５】第２の実施形態において、撮像した画像から偏光情報を得る方法を例示するフローチャート図である。
【図６】（ａ）は、第２の実施形態において、マイクロレンズ毎に結像された画像を例示する図であり、（ｂ）は、（ａ）の画像を画像処理して得られた２次元画像を例示する図である。
【図７】第２の実施形態における偏光板の偏光軸と被写体の光強度の関係を例示するグラフ図であり、横軸は偏光軸の角度を示し、縦軸は光強度を示す。
【図８】（ａ）は、第２の実施形態の変形例における偏光板アレイ基板を例示する図であり、（ｂ）は、マイクロレンズ毎に結像された画像を例示する図であり、（ｃ）は、偏光板の偏光軸と被写体の光強度の関係を例示するグラフ図であり、横軸は偏光軸の角度を示し、縦軸は光強度を示す。
【図９】（ａ）は、第２の実施形態の変形例における偏光板アレイ基板を例示する図であり、（ｂ）は、マイクロレンズ毎に結像された画像を例示する図であり、（ｃ）は、偏光板の偏光軸と被写体の光強度の関係を例示するグラフ図であり、横軸は偏光軸の角度を示し、縦軸は光強度を示す。
【図１０】第３の実施形態における画像マッピングの方法を例示するフローチャート図である。
【図１１】第３の実施形態において、マイクロレンズ毎に結像された画像を例示する図である。
【図１２】第２及び第３の実施形態の変形例に係る固体撮像装置を例示する光学モデル図である。
【発明を実施するための形態】
【０００７】
（第１の実施形態）
以下、本発明の実施形態について図面を参照して説明する。
先ず、第１の実施形態について説明する。
図１は、第１の実施形態に係る固体撮像装置を例示するブロック図である。
図２は、第１の実施形態に係る固体撮像装置を例示する光学モデル図である。
図３（ａ）は、第１の実施形態における偏光板アレイ基板を例示する上面図であり、（ｂ）は、第１の実施形態における偏光板アレイ基板及びマイクロレンズアレイ基板を例示する斜視図である。
図４（ａ）は、第１の実施形態において、マイクロレンズ毎に結像された画像を例示する図であり、（ｂ）は、（ａ）において、１つの偏光軸をもつ偏光板により偏光された光による画像を例示する図であり、（ｃ）は、（ｂ）の画像を画像処理して得られた２次元画像を例示する図である。
【０００８】
図１に示すように、本実施形態に係る固体撮像装置１には、撮像モジュール部１０と、ＩＳＰ（Image Signal Processor：画像信号処理部）１１とが設けられている。
撮像モジュール部１０には、結像レンズ１２、偏光板アレイ基板１３、マイクロレンズアレイ基板１４、撮像基板１５及び撮像回路１６が設けられている。
結像レンズ１２は、被写体からの光を撮像基板１５へ取り込む光学素子である。撮像基板１５は、結像レンズ１２により取り込まれた光を電荷に変換する素子として機能する。撮像基板１５には、複数の画素が２次元アレイ状に配列されている。結像レンズ１２と撮像基板１５との間には、偏光板アレイ基板１３及びマイクロレンズアレイ基板１４が配置されている。偏光板アレイ基板１３及びマイクロレンズアレイ基板１４の位置関係は必ずしも図１に制限されるものではなく、順番が入れ替わっても良い。
【０００９】
撮像回路１６には、撮像基板１５の上面にアレイ状に配置された各画素を駆動する駆動回路部と、画素から出力される信号を処理する画素信号処理回路部とが設けられている。駆動回路部には、例えば駆動させる画素を垂直方向に行単位で順次選択する垂直選択回路と、水平方向に列単位で順次選択する水平選択回路と、それらを各種パルスにて駆動するタイミングジェネレータ回路とが設けられている。画素信号処理回路部には、画素領域からのアナログ電気信号をデジタル変換するＡＤ変換回路及びゲインを調整しアンプ動作を行うゲイン調整・アンプ回路が設けられている。
【００１０】
ＩＳＰ１１には、カメラモジュールインターフェース１７、画像取り込み部１８、信号処理部１９及びドライバインターフェース２０が設けられている。撮像モジュール部１０での撮像により得られたＲＡＷ画像は、カメラモジュールインターフェース１７から画像取り込み部１８へ取り込まれる。
信号処理部１９は、画像取り込み部１８へ取り込まれたＲＡＷ画像について、信号処理を実施する。ドライバインターフェース２０は、信号処理部１９での信号処理を経た画像信号を、固体撮像装置１の外部、例えば、記憶装置（図示せず）や表示ドライバ（図示せず）へ出力する。表示ドライバは、撮像モジュール部１０により撮像され、ＩＳＰ１１で処理された画像を表示する。
【００１１】
次に、固体撮像装置１における撮像モジュール部１０の光学系について説明する。
図２に示すように、固体撮像装置１には、撮像基板１５が設けられている。撮像基板１５の上面２１には、複数の画素が２次元アレイ状に配置されている。
撮像基板１５の上面２１側には、マイクロレンズアレイ基板１４が設けられている。マイクロレンズアレイ基板１４は、撮像基板１５に対して平行に配置されている。マイクロレンズアレイ基板１４には、複数のマイクロレンズ２２がマイクロレンズアレイ基板１４の上面２３に平行な面内において２次元的に配置されている。マイクロレンズアレイ基板１４の上面２３側には、偏光板アレイ基板１３が設けられている。
【００１２】
偏光板アレイ基板１３は、マイクロレンズアレイ基板１４に対して平行に配置されている。偏光板アレイ基板１３には、複数の偏光板２４が偏光板アレイ基板１３の上面２５に平行な面内において２次元的に配置されている。偏光板アレイ基板１３の上面２５側には、結像レンズ１２が配置されている。また、結像レンズ１２を透過した光による各マイクロレンズ２２の結像面２８は、撮像基板１５の上面２１に設定されている。
【００１３】
図３（ａ）に示すように、偏光板アレイ基板１３を面に対して垂直方向から見ると、各偏光板２４は、マトリックス状に配置されている。各偏光板２４には偏光軸が設けられている。以下、偏光板アレイ基板１３を説明するために、ＸＹ直交座標系を採用する。このＸＹ直交座標系においては、図面の上方を＋Ｙ方向、その逆方向を−Ｙ方向とする。「＋Ｙ方向」及び「−Ｙ方向」を総称して「Ｙ方向」ともいう。＋Ｙ方向から時計の針が回転する方向に９０度回転した方向を＋Ｘ方向、その逆方向を−Ｘ方向とする。「＋Ｘ方向」及び「−Ｘ方向」を総称して「Ｘ方向」ともいう。
【００１４】
１つの偏光板２４ａの偏光軸の方向２９は、Ｙ方向とされている。この方向２９の角度を「０度」とする。偏光板２４ａの＋Ｘ方向に隣接する偏光板２４ｂの偏光軸の方向３０は、０度の方向２９から、時計の針の回転する方向に４５度傾けた方向とされている。この方向３０の角度を「４５度」とする。偏光板２４ａの−Ｙ方向に隣接する偏光板２４ｃの偏光軸の方向３１は、０度の方向２９に直交する方向とされている。この方向３１の角度を「９０度」とする。偏光板２４ｃの＋Ｘ方向に隣接する偏光板２４ｄの偏光軸の方向３２は、方向３０に直交する方向とされている。この方向３２の角度を「１３５度」とする。偏光軸の方向を、「偏光軸角度」ともいう。
図３（ｂ）に示すように、各偏光板２４は、各マイクロレンズ２２上に対応づけられて配置されている。これにより、各偏光板２４を透過した偏光光は、対応づけられた各マイクロレンズ２２を透過する。
【００１５】
次に、本実施形態に係る固体撮像装置１の動作について説明する。
図２に示すように、被写体３３からの光は、結像レンズ１２を透過することによって一旦集光し、結像面２８の背後に配置された偏光板アレイ基板１３に入射する。偏光板アレイ基板１３に入射した光は、偏光板２４ａ、偏光板２４ｂ、偏光板２４ｃ及び偏光板２４ｄによってそれぞれ偏光し、各偏光板２４に対応づけられた各マイクロレンズ２２に入射する。そして、各マイクロレンズ２２に入射した光は、それぞれのマイクロレンズ２２を透過することによってマイクロレンズ２２ごとに集光し、撮像基板１５の上面２１において、マイクロレンズ２２毎に結像する。マイクロレンズ２２毎に結像させた画像をマイクロレンズ像３４という。
【００１６】
図４（ａ）に示すように、偏光軸が０度、４５度、９０度及び１３５度の偏光板２４ａ、偏光板２４ｂ、偏光板２４ｃ及び偏光板２４ｄによって偏光させた光を、各偏光板２４に対応づけたマイクロレンズ２２によって結像させたマイクロレンズ像３４ａ、マイクロレンズ像３４ｂ、マイクロレンズ像３４ｃ及びマイクロレンズ像３４ｄは、撮像基板１５の上面２１にマトリックス状に配置される。
被写体「Ａ」の像は、複数のマイクロレンズ２２によって集光され結像されている。この像は、撮像回路１６によって電気信号に変換されて、ＩＳＰ１１に対して出力される。ＩＳＰ１１においては、この電気信号がカメラモジュールインターフェース１７を介して画像取り込み部１８に蓄積される。そして、信号処理部１９が、各マイクロレンズ２２によって結像された像のうち、偏光軸が同じ方向のマイクロレンズ像３４を拡大して合成することにより、特定の偏光軸による２次元画像を取得する。この２次元画像を、必要に応じてドライバインターフェース２０を介して外部に出力する。
【００１７】
図４（ｂ）に示すように、０度の偏光軸のマイクロレンズ像３４ａを取り出すと、各マイクロレンズ像３４ａには、被写体「Ａ」において重複して撮像されている部分がある。そして、各マイクロレンズ像３４ａにおける重複している部分を重ね合わせるように合成する。
このようにして、図４（ｃ）に示すように、０度の偏光軸をもつ複数のマイクロレンズ像３４ａが合成された２次元画像を得る。さらに、４５度の偏光軸、９０度の偏光軸、１３５度の偏光軸の各マイクロレンズ像３４の２次元画像を構成する。
【００１８】
次に、本実施形態の効果について説明する。
偏光板の偏光軸毎に合成された２次元画像を得ることができる。このような画像を用いて、例えば窓ガラスの反射光など偏光軸に依存性を持つ光を除去可能であるので、特に、防犯カメラにおける視認性を高めることができる。
また、偏光主軸を例えばカラーコンター等で二次元画像に可視化すると、被写体の表面の凹凸を被写体の色に関係なく際立たせる。よって、物品の検査において、表面にキズのある物品を見落とすことが少ない画像を提供することができる。
【００１９】
さらに、偏光板を機械的に回転させるような方式ではなく、偏光軸が相互に異なる複数の種類の偏光板をマトリクス状に配列させた偏光板アレイ基板を用いているため、偏光板を回転させる機構が不要であり、固体撮像装置を小型化できる。可動部分も少なく金属疲労による故障を防ぐことができる。
なお、本実施形態において、偏光板アレイ基板１３をマイクロレンズアレイ基板１４上に配置したが、マイクロレンズアレイ基板１４の下に配置してもよい。また、偏光板アレイ基板１３における偏光板の偏光軸は、０度、４５度、９０度及び１３５度の４方向に限らない。さらに、偏光板アレイ基板１３とマイクロレンズアレイ基板１４とは必ずしも同一基板に形成されている必要はなく、それぞれ分離していてもよい。
【００２０】
（第２の実施形態）
次に、第２の実施形態について説明する。本実施形態は、固体撮像装置１で撮像した画像から偏光主軸を得る方法及び偏光主軸の２次元画像を得る方法についてのものである。
図５は、第２の実施形態において、撮像した画像から偏光主軸を得る方法を例示するフローチャート図である。
図６（ａ）は、第２の実施形態において、マイクロレンズ毎に結像された画像を例示する図であり、（ｂ）は、（ａ）の画像を画像処理して得られた２次元画像を例示する図である。
図７は、第２の実施形態における偏光板の偏光軸と被写体の光強度の関係を例示するグラフ図であり、横軸は偏光軸の角度を示し、縦軸は光強度を示す。
本実施形態における構成は、前述の第１の実施形態と同様である。
【００２１】
次に、本実施形態の動作について説明する。
図５のステップＳ１０に示すように、先ず、偏光主軸を得るための再構成用の画像を撮像する。次に、ステップＳ１１に示すように、マイクロレンズ像３４の輝度補正を行う。
そして、図６（ａ）及び図５のステップＳ１２に示すように、一定の範囲３５のマイクロレンズ像３４を抜き出す。
【００２２】
その後、図６（ｂ）及び図５のステップＳ１３に示すように、マイクロレンズ像３４の中心位置の並び替えを行う。すなわち、マイクロレンズアレイ基板１４、撮像基板１５の取り付け誤差や結像レンズ１２に起因する像歪みを補正する。次に、ステップＳ１４に示すように、マイクロレンズ像３４の撮像基板１５の上面２１における画素の位置の補正を行う。そして、ステップＳ１５に示すように、マイクロレンズ像３４の拡大処理を行う。その後、ステップＳ１６に示すように、画素毎にマイクロレンズ像３４の重なりがあるか判断する。マイクロレンズ像３４の重なりがない場合は、ステップＳ１６に示すように、処理が終了される。
【００２３】
マイクロレンズ像３４の重なりがある場合には、ステップ１７に示すように、各画素における偏光軸のフィッティングを行う。マイクロレンズ像３４ａ、マイクロレンズ像３４ｂ、マイクロレンズ像３４ｃ及びマイクロレンズ像３４ｄの４つの画像３４がオーバーラップする領域内の画素Ｐには、被写体の同一点が複数のマイクロレンズ２２によって結像されている。これは、結像レンズ１２を透過した光がマイクロレンズアレイ基板１４における複数のマイクロレンズ２２にそれぞれ入射して、マイクロレンズ２２毎に撮像基板１５の上面２１に結像する際、各マイクロレンズ１４の配置された位置の違いに起因して、各マイクロレンズ２２の相互間に視差が生じるが、視差の違いは微少なので、被写体３３の像は、微少にズレながら、複数のマイクロレンズ像３４に現れるためである。
【００２４】
図７に示すように、画素Ｐに重複するマイクロレンズ像３４の偏光軸がそれぞれ０度の方向２９、４５度の方向３０、９０度の方向３１及び１３５度の方向３２であるので、偏光板２４の偏光軸の角度θとそのときの光強度Ｉの関係をプロットし、このプロットに対するフィッティングにより偏光カーブを求める。フィッティングは、正弦関数Ｉ＝α＋βｓｉｎ（２θ＋γ）を用いる。ここで、３つの偏光軸の角度θとそのときの光強度の関係を上記正弦関数に代入することにより、値α、値β及び値γを求めることができる。
その後、求めた正弦関数により、最も光強度が大きい偏光軸角度θ１、すなわち偏光主軸θ１を求める。このようにして、固体撮像装置１により撮像した画像から、偏光主軸を求めることができる。
【００２５】
さらに続けて、マイクロレンズ像３４がオーバーラップしている全ての画素で偏光主軸を求める。そして、ステップＳ１８に示すように、得られた偏光主軸を、例えば、カラーコンターにより表示する。これにより、偏光主軸の２次元画像を得ることができる。
そして、ステップＳ１９に示すように、被写体３３と固体撮像装置１との間の距離を計算する処理がない場合は終了する。被写体３３と固体撮像装置１との間の距離を計算する処理がある場合は、ステップＳ２０に進む。ステップ２０については、後述する。
【００２６】
次に、本実施形態の効果について説明する。
偏光主軸の２次元画像を得ることができる。このような画像も、被写体の表面の凹凸を被写体の色に関係なく際立たせる。よって、物品の検査において、表面にキズのある物品を見落とすことが少ない高画質な画像を提供することができる。
本実施形態における上記以外の効果は、前述の第１の実施形態と同様である。
【００２７】
（第２の実施形態の変形例）
次に、第２の実施形態の変形例について説明する。
図８（ａ）は、第２の実施形態の変形例における偏光板アレイ基板を例示する図であり、（ｂ）は、マイクロレンズ毎に結像された画像を例示する図であり、（ｃ）は、偏光板の偏光軸と被写体の光強度の関係を例示するグラフ図であり、横軸は偏光軸の角度を示し、縦軸は光強度を示す。
図９（ａ）は、第２の実施形態の変形例における偏光板アレイ基板を例示する図であり、（ｂ）は、マイクロレンズ毎に結像された画像を例示する図であり、（ｃ）は、偏光板の偏光軸と被写体の光強度の関係を例示するグラフ図であり、横軸は偏光軸の角度を示し、縦軸は光強度を示す。
【００２８】
図８（ａ）に示すように、本変形例においては、０度の方向２９の偏光軸の他、２０度、４０度、６０度、８０度、１００度、１２０度、１４０度及び１６０度の偏光軸をもつ偏光板２４が設けられている。
そして、図８（ｂ）に示すように、被写体「Ａ」が、０度、４０度、８０度及び１２０度の方向の偏光軸をもつ偏光板２４に対応づけられた各マイクロレンズ２２によって結像されている。
その後、前述の第２の実施形態と同様に、正弦関数にフィッティングすることにより、偏光主軸を求めることができる。
【００２９】
次に、図９（ａ）〜（ｃ）に示すように、結像レンズ１２とマイクロレンズアレイ基板１５との間の距離及びマイクロレンズアレイ基板１４と撮像基板１５との間の距離のうち少なくともいずれかの距離を、移動部３６（図２参照）により変化させて、マイクロレンズ像３４の結像倍率を拡大させる。これにより、被写体「Ａ」が、０度、４０度、８０度及び１２０度の方向の偏光軸をもつ偏光板２４に対応付けられたマイクロレンズ２２に加えて、２０度、６０度、１００度、１４０度、１６０度の方向の偏光軸をもつ偏光板２４に対応付けられたマイクロレンズ２２によっても結像される。
その後、前述の第２の実施形態と同様に、正弦関数にフィッティングすることにより、偏光主軸を求める。
【００３０】
次に、本変形例の効果について説明する。
本変形例によれば、多数のマイクロレンズ２２に被写体３３が写るよう調節することができる。よって、多数のデータを用いてフィッティングをすることができるため、偏光主軸の決定をより高精度に行うことができる。これにより、偏光主軸による２次元画像を高画質化することができる。
【００３１】
（第３の実施形態）
次に、第３の実施形態について説明する。本実施形態は、被写体３３と固体撮像装置１との間の距離を得る方法についてのものである。
図１０は、第３の実施形態における画像マッチングの方法を例示するフローチャート図である。
図１１は、第３の実施形態において、マイクロレンズ毎に結像された画像を例示する図である。
【００３２】
前述の図２に示すように、結像レンズ１２と被写体３３との間の距離を距離Ａとし、結像レンズ１２と結像面２７との間の距離を距離Ｂとし、結像レンズ１２の結像面２７とマイクロレンズアレイ基板１４との間の距離を距離Ｃとし、マイクロレンズアレイ基板１４と撮像基板１５との間の距離を距離Ｄとし、結像レンズ１２とマイクロレンズアレイ基板１４との間の距離を距離Ｅとする。また、結像レンズ１２の焦点距離を距離ｆとし、マイクロレンズ２２の焦点距離を距離ｇとする。
【００３３】
結合レンズ１２と被写体３３との間の距離Ａが変化すると、下記数式（１）に示すレンズの式から距離Ｂの値が変化する。
【数１】
【００３４】
図２に示すように、光学系の位置関係から、距離Ｂ＋距離Ｃ＝距離Ｅであるため、距離Ｂの変化に伴って距離Ｃの値も変化する。マイクロレンズ２２における下記数式（２）に示すレンズの式より、距離Ｃの値の変化に伴って、距離Ｄの値も変化する。
【数２】
【００３５】
この結果、各マイクロレンズ２２を通って結像する像は、結像レンズ１２の仮想イメージである結像面２７を、縮小倍率Ｍ倍に縮小した像となる。ここで、縮小倍率Ｍは、距離Ｄ／距離Ｃであり、式で表すと下記数式（３）で表される。
【数３】
【００３６】
この様に、結合レンズ１２と被写体３３との間の距離Ａが変化すると、それに伴って距離Ｂ、距離Ｃ、距離Ｄの値も変化する。したがって、マイクロレンズ２２像の縮小倍率Ｍも変化する。
上記数式（３）を距離Ａについて整理すると、下記数式（４）が得られる。
【数４】
したがって、距離Ｄ、距離Ｅ、距離ｆの値が既知であるので、マイクロレンズ２２による像の縮小倍率Ｍを算出すれば、上記数式（４）から距離Ａの値を導くことが可能である。
【００３７】
縮小倍率Ｍは光の幾何的関係からマイクロレンズ２２間の像ずれ量をずれΔ、マイクロレンズ間の中心間距離を距離Ｌとおくと、下記数式（５）で表すことができる。
【数５】
したがって、縮小倍率Ｍを求めるためには画像マッチングによるマイクロレンズ２２間のずれ量をもとめればよい。これにより、被写体３３と固体撮像装置１との間の距離を求めることができる。
【００３８】
次に、画像マッチングの方法について説明する。
前述の図５のステップＳ１９に示すように、被写体３３と固体撮像装置１との間の距離を計算する処理がある場合には、ステップ２０に示すように、偏光画像マッチングに進む。
図１０のステップＳ３１に示すように、異なる偏光軸の画像を比較することによるミスマッチングを防止するため、マイクロレンズ２２間の画像マッチングでは偏光軸が等しいマイクロレンズ像３４同士を比較する。
【００３９】
次に、ステップＳ３２に示すように、画像マッチングによりマイクロレンズ像３４のズレを計算する。
図１１に示すように、偏光軸が０度のマイクロレンズ像３４ａ同士のズレ量を測定する。同じ偏光軸の偏光イメージ同士であればＳＡＤまたはＳＳＤといった画像マッチング評価値を用いてマッチング位置を求める事が可能である。これにより、マイクロレンズ２２間の像ずれ量を求めることができる。
そして、図１０のステップＳ３３に示すように、上記数式（５）の値を上記数式（４）に代入して、被写体３３と固体撮像装置間１との間の距離を求めることができる。
【００４０】
次に、本実施形態の効果について説明する。
本実施形態によれば、同じ偏光軸のマイクロレンズ像３４を画像マッチングに用いているので、一般的な画像マッチングの手法を用いて距離情報を算出することができる。また、前述した通りマイクロレンズ像の重なりを利用して各マイクロレンズ像ごとに偏向主軸プロットの二次元画像を作成して画像マッチングを適用することにより、偏光情報を用いてズレ量を求める事が出来る。この場合、可視光画像では困難な被写体と背景が同色の場合や被写体に出来たキズなどについても画像マッチングが可能であり、距離精度が向上する。 単一の結像レンズ１２及び単一の撮像素子１５によって、距離の測定をすることができるので、複数の結像レンズ１２及び複数の撮像素子１５を用いるものと比べて、装置を小型化することができる。
【００４１】
（第２及び第３の実施形態の変形例）
図１２は、第２及び第３の実施形態の変形例に係る固体撮像装置２を例示する光学モデル図である。
図１２に示すように、本変形例に係る固体撮像装置２においては、結像レンズ１２の結像面２７が撮像基板１５の背後に配置されている。すなわち、距離Ｅ＋距離Ｃ＝距離Ｂである。この場合、マイクロレンズに関するレンズの式は下記数式（６）で表される。
【数６】
したがって、この場合には、距離Ａと縮小倍率Ｍの関係は、下記数式（７）で表すことができる。
【数７】
本変形例における上記以外の構成及び動作は、前述の第３の実施形態と同様である。
【００４２】
次に、本実施形態の効果について説明する。
結像面３５を結像レンズ１６に近い結像面３６まで近づけることができる。この結果、固体撮像装置２を小型化することができる。本変形例における上記以外の効果は、前述の第２及び第３の実施形態と同様である。
【００４３】
以上説明した実施形態によれば、偏光測定の高精度化を図ることができる固体撮像装置を提供することができる。
【００４４】
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明及びその等価物の範囲に含まれる。また、前述の各実施形態は、相互に組み合わせて実施することができる。
【符号の説明】
【００４５】
１、２：固体撮像装置、１０：撮像モジュール部、１１：ＩＳＰ、１２：結像レンズ、１３：偏光板アレイ基板、１４：マイクロレンズアレイ基板、１５：撮像基板、１６：撮像回路、１７：カメラモジュールインターフェース、１８：画像取り込み部、１９：信号処理部、２０：ドライバインターフェース、２１：上面、２２：マイクロレンズ、２３：上面、２４：偏光板、２４ａ：偏光板、２４ｂ：偏光板、２４ｃ：偏光板、２４ｄ：偏光板、２５：上面、２６：光軸、２７：結像面、２８：結像面、２９：方向、３０：方向、３１：方向、３２：方向、３３：被写体、３４：マイクロレンズ像、３４ａ：マイクロレンズ像、３４ｂ：マイクロレンズ像、３４ｃ：マイクロレンズ像、３４ｄ：マイクロレンズ像、３５：範囲、３６：移動部、Ａ：距離、Ｂ：距離、Ｃ：距離、Ｄ：距離、Ｅ：距離、ｆ：距離、ｇ：距離、Ｌ：距離、Ｍ：縮小倍率、α：値、β：値、γ：値、θ１：偏光主軸
【技術分野】
【０００１】
本発明の実施形態は、固体撮像装置に関する。
【背景技術】
【０００２】
システムコストを抑えるため、参照光を用いない距離測定方式として、視差を利用した三角測量方式がある。三角測量を行う場合、画質が悪いと、被写体間距離を測定する精度が低下する。また、色の近い被写体同士は分離が難しく算出できる被写体間距離の精度が低下する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２９０８９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の実施形態は、偏光測定の高精度化を図ることができる固体撮像装置を提供する。
【課題を解決するための手段】
【０００５】
実施形態に係る固体撮像装置は、上面に複数の画素が形成された撮像基板と、前記撮像基板の上方に設けられ、光軸が前記撮像基板の前記上面と交差する結像レンズと、前記撮像基板と前記結像レンズとの間に設けられ、複数のマイクロレンズが２次元的に配置された面が、前記光軸と交差するマイクロレンズアレイ基板と、前記撮像基板と前記結像レンズとの間に設けられ、偏光軸の方向が相互に異なる複数の種類の偏光板が２次元的に配置された偏光板アレイ基板と、を備える。一つの前記偏光板で偏光された光は、一つの前記マイクロレンズによって集光されて前記撮像基板の前記上面で結像する。
【図面の簡単な説明】
【０００６】
【図１】第１の実施形態に係る固体撮像装置を例示するブロック図である。
【図２】第１の実施形態に係る固体撮像装置を例示する光学モデル図である。
【図３】（ａ）は、第１の実施形態における偏光板アレイ基板を例示する上面図であり、（ｂ）は、第１の実施形態における偏光板アレイ基板及びマイクロレンズアレイ基板を例示する斜視図である。
【図４】（ａ）は、第１の実施形態において、マイクロレンズ毎に結像された画像を例示する図であり、（ｂ）は、（ａ）において、１つの偏光軸をもつ偏光板により偏光された光による画像を例示する図であり、（ｃ）は、（ｂ）の画像を画像処理して得られた２次元画像を例示する図である。
【図５】第２の実施形態において、撮像した画像から偏光情報を得る方法を例示するフローチャート図である。
【図６】（ａ）は、第２の実施形態において、マイクロレンズ毎に結像された画像を例示する図であり、（ｂ）は、（ａ）の画像を画像処理して得られた２次元画像を例示する図である。
【図７】第２の実施形態における偏光板の偏光軸と被写体の光強度の関係を例示するグラフ図であり、横軸は偏光軸の角度を示し、縦軸は光強度を示す。
【図８】（ａ）は、第２の実施形態の変形例における偏光板アレイ基板を例示する図であり、（ｂ）は、マイクロレンズ毎に結像された画像を例示する図であり、（ｃ）は、偏光板の偏光軸と被写体の光強度の関係を例示するグラフ図であり、横軸は偏光軸の角度を示し、縦軸は光強度を示す。
【図９】（ａ）は、第２の実施形態の変形例における偏光板アレイ基板を例示する図であり、（ｂ）は、マイクロレンズ毎に結像された画像を例示する図であり、（ｃ）は、偏光板の偏光軸と被写体の光強度の関係を例示するグラフ図であり、横軸は偏光軸の角度を示し、縦軸は光強度を示す。
【図１０】第３の実施形態における画像マッピングの方法を例示するフローチャート図である。
【図１１】第３の実施形態において、マイクロレンズ毎に結像された画像を例示する図である。
【図１２】第２及び第３の実施形態の変形例に係る固体撮像装置を例示する光学モデル図である。
【発明を実施するための形態】
【０００７】
（第１の実施形態）
以下、本発明の実施形態について図面を参照して説明する。
先ず、第１の実施形態について説明する。
図１は、第１の実施形態に係る固体撮像装置を例示するブロック図である。
図２は、第１の実施形態に係る固体撮像装置を例示する光学モデル図である。
図３（ａ）は、第１の実施形態における偏光板アレイ基板を例示する上面図であり、（ｂ）は、第１の実施形態における偏光板アレイ基板及びマイクロレンズアレイ基板を例示する斜視図である。
図４（ａ）は、第１の実施形態において、マイクロレンズ毎に結像された画像を例示する図であり、（ｂ）は、（ａ）において、１つの偏光軸をもつ偏光板により偏光された光による画像を例示する図であり、（ｃ）は、（ｂ）の画像を画像処理して得られた２次元画像を例示する図である。
【０００８】
図１に示すように、本実施形態に係る固体撮像装置１には、撮像モジュール部１０と、ＩＳＰ（Image Signal Processor：画像信号処理部）１１とが設けられている。
撮像モジュール部１０には、結像レンズ１２、偏光板アレイ基板１３、マイクロレンズアレイ基板１４、撮像基板１５及び撮像回路１６が設けられている。
結像レンズ１２は、被写体からの光を撮像基板１５へ取り込む光学素子である。撮像基板１５は、結像レンズ１２により取り込まれた光を電荷に変換する素子として機能する。撮像基板１５には、複数の画素が２次元アレイ状に配列されている。結像レンズ１２と撮像基板１５との間には、偏光板アレイ基板１３及びマイクロレンズアレイ基板１４が配置されている。偏光板アレイ基板１３及びマイクロレンズアレイ基板１４の位置関係は必ずしも図１に制限されるものではなく、順番が入れ替わっても良い。
【０００９】
撮像回路１６には、撮像基板１５の上面にアレイ状に配置された各画素を駆動する駆動回路部と、画素から出力される信号を処理する画素信号処理回路部とが設けられている。駆動回路部には、例えば駆動させる画素を垂直方向に行単位で順次選択する垂直選択回路と、水平方向に列単位で順次選択する水平選択回路と、それらを各種パルスにて駆動するタイミングジェネレータ回路とが設けられている。画素信号処理回路部には、画素領域からのアナログ電気信号をデジタル変換するＡＤ変換回路及びゲインを調整しアンプ動作を行うゲイン調整・アンプ回路が設けられている。
【００１０】
ＩＳＰ１１には、カメラモジュールインターフェース１７、画像取り込み部１８、信号処理部１９及びドライバインターフェース２０が設けられている。撮像モジュール部１０での撮像により得られたＲＡＷ画像は、カメラモジュールインターフェース１７から画像取り込み部１８へ取り込まれる。
信号処理部１９は、画像取り込み部１８へ取り込まれたＲＡＷ画像について、信号処理を実施する。ドライバインターフェース２０は、信号処理部１９での信号処理を経た画像信号を、固体撮像装置１の外部、例えば、記憶装置（図示せず）や表示ドライバ（図示せず）へ出力する。表示ドライバは、撮像モジュール部１０により撮像され、ＩＳＰ１１で処理された画像を表示する。
【００１１】
次に、固体撮像装置１における撮像モジュール部１０の光学系について説明する。
図２に示すように、固体撮像装置１には、撮像基板１５が設けられている。撮像基板１５の上面２１には、複数の画素が２次元アレイ状に配置されている。
撮像基板１５の上面２１側には、マイクロレンズアレイ基板１４が設けられている。マイクロレンズアレイ基板１４は、撮像基板１５に対して平行に配置されている。マイクロレンズアレイ基板１４には、複数のマイクロレンズ２２がマイクロレンズアレイ基板１４の上面２３に平行な面内において２次元的に配置されている。マイクロレンズアレイ基板１４の上面２３側には、偏光板アレイ基板１３が設けられている。
【００１２】
偏光板アレイ基板１３は、マイクロレンズアレイ基板１４に対して平行に配置されている。偏光板アレイ基板１３には、複数の偏光板２４が偏光板アレイ基板１３の上面２５に平行な面内において２次元的に配置されている。偏光板アレイ基板１３の上面２５側には、結像レンズ１２が配置されている。また、結像レンズ１２を透過した光による各マイクロレンズ２２の結像面２８は、撮像基板１５の上面２１に設定されている。
【００１３】
図３（ａ）に示すように、偏光板アレイ基板１３を面に対して垂直方向から見ると、各偏光板２４は、マトリックス状に配置されている。各偏光板２４には偏光軸が設けられている。以下、偏光板アレイ基板１３を説明するために、ＸＹ直交座標系を採用する。このＸＹ直交座標系においては、図面の上方を＋Ｙ方向、その逆方向を−Ｙ方向とする。「＋Ｙ方向」及び「−Ｙ方向」を総称して「Ｙ方向」ともいう。＋Ｙ方向から時計の針が回転する方向に９０度回転した方向を＋Ｘ方向、その逆方向を−Ｘ方向とする。「＋Ｘ方向」及び「−Ｘ方向」を総称して「Ｘ方向」ともいう。
【００１４】
１つの偏光板２４ａの偏光軸の方向２９は、Ｙ方向とされている。この方向２９の角度を「０度」とする。偏光板２４ａの＋Ｘ方向に隣接する偏光板２４ｂの偏光軸の方向３０は、０度の方向２９から、時計の針の回転する方向に４５度傾けた方向とされている。この方向３０の角度を「４５度」とする。偏光板２４ａの−Ｙ方向に隣接する偏光板２４ｃの偏光軸の方向３１は、０度の方向２９に直交する方向とされている。この方向３１の角度を「９０度」とする。偏光板２４ｃの＋Ｘ方向に隣接する偏光板２４ｄの偏光軸の方向３２は、方向３０に直交する方向とされている。この方向３２の角度を「１３５度」とする。偏光軸の方向を、「偏光軸角度」ともいう。
図３（ｂ）に示すように、各偏光板２４は、各マイクロレンズ２２上に対応づけられて配置されている。これにより、各偏光板２４を透過した偏光光は、対応づけられた各マイクロレンズ２２を透過する。
【００１５】
次に、本実施形態に係る固体撮像装置１の動作について説明する。
図２に示すように、被写体３３からの光は、結像レンズ１２を透過することによって一旦集光し、結像面２８の背後に配置された偏光板アレイ基板１３に入射する。偏光板アレイ基板１３に入射した光は、偏光板２４ａ、偏光板２４ｂ、偏光板２４ｃ及び偏光板２４ｄによってそれぞれ偏光し、各偏光板２４に対応づけられた各マイクロレンズ２２に入射する。そして、各マイクロレンズ２２に入射した光は、それぞれのマイクロレンズ２２を透過することによってマイクロレンズ２２ごとに集光し、撮像基板１５の上面２１において、マイクロレンズ２２毎に結像する。マイクロレンズ２２毎に結像させた画像をマイクロレンズ像３４という。
【００１６】
図４（ａ）に示すように、偏光軸が０度、４５度、９０度及び１３５度の偏光板２４ａ、偏光板２４ｂ、偏光板２４ｃ及び偏光板２４ｄによって偏光させた光を、各偏光板２４に対応づけたマイクロレンズ２２によって結像させたマイクロレンズ像３４ａ、マイクロレンズ像３４ｂ、マイクロレンズ像３４ｃ及びマイクロレンズ像３４ｄは、撮像基板１５の上面２１にマトリックス状に配置される。
被写体「Ａ」の像は、複数のマイクロレンズ２２によって集光され結像されている。この像は、撮像回路１６によって電気信号に変換されて、ＩＳＰ１１に対して出力される。ＩＳＰ１１においては、この電気信号がカメラモジュールインターフェース１７を介して画像取り込み部１８に蓄積される。そして、信号処理部１９が、各マイクロレンズ２２によって結像された像のうち、偏光軸が同じ方向のマイクロレンズ像３４を拡大して合成することにより、特定の偏光軸による２次元画像を取得する。この２次元画像を、必要に応じてドライバインターフェース２０を介して外部に出力する。
【００１７】
図４（ｂ）に示すように、０度の偏光軸のマイクロレンズ像３４ａを取り出すと、各マイクロレンズ像３４ａには、被写体「Ａ」において重複して撮像されている部分がある。そして、各マイクロレンズ像３４ａにおける重複している部分を重ね合わせるように合成する。
このようにして、図４（ｃ）に示すように、０度の偏光軸をもつ複数のマイクロレンズ像３４ａが合成された２次元画像を得る。さらに、４５度の偏光軸、９０度の偏光軸、１３５度の偏光軸の各マイクロレンズ像３４の２次元画像を構成する。
【００１８】
次に、本実施形態の効果について説明する。
偏光板の偏光軸毎に合成された２次元画像を得ることができる。このような画像を用いて、例えば窓ガラスの反射光など偏光軸に依存性を持つ光を除去可能であるので、特に、防犯カメラにおける視認性を高めることができる。
また、偏光主軸を例えばカラーコンター等で二次元画像に可視化すると、被写体の表面の凹凸を被写体の色に関係なく際立たせる。よって、物品の検査において、表面にキズのある物品を見落とすことが少ない画像を提供することができる。
【００１９】
さらに、偏光板を機械的に回転させるような方式ではなく、偏光軸が相互に異なる複数の種類の偏光板をマトリクス状に配列させた偏光板アレイ基板を用いているため、偏光板を回転させる機構が不要であり、固体撮像装置を小型化できる。可動部分も少なく金属疲労による故障を防ぐことができる。
なお、本実施形態において、偏光板アレイ基板１３をマイクロレンズアレイ基板１４上に配置したが、マイクロレンズアレイ基板１４の下に配置してもよい。また、偏光板アレイ基板１３における偏光板の偏光軸は、０度、４５度、９０度及び１３５度の４方向に限らない。さらに、偏光板アレイ基板１３とマイクロレンズアレイ基板１４とは必ずしも同一基板に形成されている必要はなく、それぞれ分離していてもよい。
【００２０】
（第２の実施形態）
次に、第２の実施形態について説明する。本実施形態は、固体撮像装置１で撮像した画像から偏光主軸を得る方法及び偏光主軸の２次元画像を得る方法についてのものである。
図５は、第２の実施形態において、撮像した画像から偏光主軸を得る方法を例示するフローチャート図である。
図６（ａ）は、第２の実施形態において、マイクロレンズ毎に結像された画像を例示する図であり、（ｂ）は、（ａ）の画像を画像処理して得られた２次元画像を例示する図である。
図７は、第２の実施形態における偏光板の偏光軸と被写体の光強度の関係を例示するグラフ図であり、横軸は偏光軸の角度を示し、縦軸は光強度を示す。
本実施形態における構成は、前述の第１の実施形態と同様である。
【００２１】
次に、本実施形態の動作について説明する。
図５のステップＳ１０に示すように、先ず、偏光主軸を得るための再構成用の画像を撮像する。次に、ステップＳ１１に示すように、マイクロレンズ像３４の輝度補正を行う。
そして、図６（ａ）及び図５のステップＳ１２に示すように、一定の範囲３５のマイクロレンズ像３４を抜き出す。
【００２２】
その後、図６（ｂ）及び図５のステップＳ１３に示すように、マイクロレンズ像３４の中心位置の並び替えを行う。すなわち、マイクロレンズアレイ基板１４、撮像基板１５の取り付け誤差や結像レンズ１２に起因する像歪みを補正する。次に、ステップＳ１４に示すように、マイクロレンズ像３４の撮像基板１５の上面２１における画素の位置の補正を行う。そして、ステップＳ１５に示すように、マイクロレンズ像３４の拡大処理を行う。その後、ステップＳ１６に示すように、画素毎にマイクロレンズ像３４の重なりがあるか判断する。マイクロレンズ像３４の重なりがない場合は、ステップＳ１６に示すように、処理が終了される。
【００２３】
マイクロレンズ像３４の重なりがある場合には、ステップ１７に示すように、各画素における偏光軸のフィッティングを行う。マイクロレンズ像３４ａ、マイクロレンズ像３４ｂ、マイクロレンズ像３４ｃ及びマイクロレンズ像３４ｄの４つの画像３４がオーバーラップする領域内の画素Ｐには、被写体の同一点が複数のマイクロレンズ２２によって結像されている。これは、結像レンズ１２を透過した光がマイクロレンズアレイ基板１４における複数のマイクロレンズ２２にそれぞれ入射して、マイクロレンズ２２毎に撮像基板１５の上面２１に結像する際、各マイクロレンズ１４の配置された位置の違いに起因して、各マイクロレンズ２２の相互間に視差が生じるが、視差の違いは微少なので、被写体３３の像は、微少にズレながら、複数のマイクロレンズ像３４に現れるためである。
【００２４】
図７に示すように、画素Ｐに重複するマイクロレンズ像３４の偏光軸がそれぞれ０度の方向２９、４５度の方向３０、９０度の方向３１及び１３５度の方向３２であるので、偏光板２４の偏光軸の角度θとそのときの光強度Ｉの関係をプロットし、このプロットに対するフィッティングにより偏光カーブを求める。フィッティングは、正弦関数Ｉ＝α＋βｓｉｎ（２θ＋γ）を用いる。ここで、３つの偏光軸の角度θとそのときの光強度の関係を上記正弦関数に代入することにより、値α、値β及び値γを求めることができる。
その後、求めた正弦関数により、最も光強度が大きい偏光軸角度θ１、すなわち偏光主軸θ１を求める。このようにして、固体撮像装置１により撮像した画像から、偏光主軸を求めることができる。
【００２５】
さらに続けて、マイクロレンズ像３４がオーバーラップしている全ての画素で偏光主軸を求める。そして、ステップＳ１８に示すように、得られた偏光主軸を、例えば、カラーコンターにより表示する。これにより、偏光主軸の２次元画像を得ることができる。
そして、ステップＳ１９に示すように、被写体３３と固体撮像装置１との間の距離を計算する処理がない場合は終了する。被写体３３と固体撮像装置１との間の距離を計算する処理がある場合は、ステップＳ２０に進む。ステップ２０については、後述する。
【００２６】
次に、本実施形態の効果について説明する。
偏光主軸の２次元画像を得ることができる。このような画像も、被写体の表面の凹凸を被写体の色に関係なく際立たせる。よって、物品の検査において、表面にキズのある物品を見落とすことが少ない高画質な画像を提供することができる。
本実施形態における上記以外の効果は、前述の第１の実施形態と同様である。
【００２７】
（第２の実施形態の変形例）
次に、第２の実施形態の変形例について説明する。
図８（ａ）は、第２の実施形態の変形例における偏光板アレイ基板を例示する図であり、（ｂ）は、マイクロレンズ毎に結像された画像を例示する図であり、（ｃ）は、偏光板の偏光軸と被写体の光強度の関係を例示するグラフ図であり、横軸は偏光軸の角度を示し、縦軸は光強度を示す。
図９（ａ）は、第２の実施形態の変形例における偏光板アレイ基板を例示する図であり、（ｂ）は、マイクロレンズ毎に結像された画像を例示する図であり、（ｃ）は、偏光板の偏光軸と被写体の光強度の関係を例示するグラフ図であり、横軸は偏光軸の角度を示し、縦軸は光強度を示す。
【００２８】
図８（ａ）に示すように、本変形例においては、０度の方向２９の偏光軸の他、２０度、４０度、６０度、８０度、１００度、１２０度、１４０度及び１６０度の偏光軸をもつ偏光板２４が設けられている。
そして、図８（ｂ）に示すように、被写体「Ａ」が、０度、４０度、８０度及び１２０度の方向の偏光軸をもつ偏光板２４に対応づけられた各マイクロレンズ２２によって結像されている。
その後、前述の第２の実施形態と同様に、正弦関数にフィッティングすることにより、偏光主軸を求めることができる。
【００２９】
次に、図９（ａ）〜（ｃ）に示すように、結像レンズ１２とマイクロレンズアレイ基板１５との間の距離及びマイクロレンズアレイ基板１４と撮像基板１５との間の距離のうち少なくともいずれかの距離を、移動部３６（図２参照）により変化させて、マイクロレンズ像３４の結像倍率を拡大させる。これにより、被写体「Ａ」が、０度、４０度、８０度及び１２０度の方向の偏光軸をもつ偏光板２４に対応付けられたマイクロレンズ２２に加えて、２０度、６０度、１００度、１４０度、１６０度の方向の偏光軸をもつ偏光板２４に対応付けられたマイクロレンズ２２によっても結像される。
その後、前述の第２の実施形態と同様に、正弦関数にフィッティングすることにより、偏光主軸を求める。
【００３０】
次に、本変形例の効果について説明する。
本変形例によれば、多数のマイクロレンズ２２に被写体３３が写るよう調節することができる。よって、多数のデータを用いてフィッティングをすることができるため、偏光主軸の決定をより高精度に行うことができる。これにより、偏光主軸による２次元画像を高画質化することができる。
【００３１】
（第３の実施形態）
次に、第３の実施形態について説明する。本実施形態は、被写体３３と固体撮像装置１との間の距離を得る方法についてのものである。
図１０は、第３の実施形態における画像マッチングの方法を例示するフローチャート図である。
図１１は、第３の実施形態において、マイクロレンズ毎に結像された画像を例示する図である。
【００３２】
前述の図２に示すように、結像レンズ１２と被写体３３との間の距離を距離Ａとし、結像レンズ１２と結像面２７との間の距離を距離Ｂとし、結像レンズ１２の結像面２７とマイクロレンズアレイ基板１４との間の距離を距離Ｃとし、マイクロレンズアレイ基板１４と撮像基板１５との間の距離を距離Ｄとし、結像レンズ１２とマイクロレンズアレイ基板１４との間の距離を距離Ｅとする。また、結像レンズ１２の焦点距離を距離ｆとし、マイクロレンズ２２の焦点距離を距離ｇとする。
【００３３】
結合レンズ１２と被写体３３との間の距離Ａが変化すると、下記数式（１）に示すレンズの式から距離Ｂの値が変化する。
【数１】
【００３４】
図２に示すように、光学系の位置関係から、距離Ｂ＋距離Ｃ＝距離Ｅであるため、距離Ｂの変化に伴って距離Ｃの値も変化する。マイクロレンズ２２における下記数式（２）に示すレンズの式より、距離Ｃの値の変化に伴って、距離Ｄの値も変化する。
【数２】
【００３５】
この結果、各マイクロレンズ２２を通って結像する像は、結像レンズ１２の仮想イメージである結像面２７を、縮小倍率Ｍ倍に縮小した像となる。ここで、縮小倍率Ｍは、距離Ｄ／距離Ｃであり、式で表すと下記数式（３）で表される。
【数３】
【００３６】
この様に、結合レンズ１２と被写体３３との間の距離Ａが変化すると、それに伴って距離Ｂ、距離Ｃ、距離Ｄの値も変化する。したがって、マイクロレンズ２２像の縮小倍率Ｍも変化する。
上記数式（３）を距離Ａについて整理すると、下記数式（４）が得られる。
【数４】
したがって、距離Ｄ、距離Ｅ、距離ｆの値が既知であるので、マイクロレンズ２２による像の縮小倍率Ｍを算出すれば、上記数式（４）から距離Ａの値を導くことが可能である。
【００３７】
縮小倍率Ｍは光の幾何的関係からマイクロレンズ２２間の像ずれ量をずれΔ、マイクロレンズ間の中心間距離を距離Ｌとおくと、下記数式（５）で表すことができる。
【数５】
したがって、縮小倍率Ｍを求めるためには画像マッチングによるマイクロレンズ２２間のずれ量をもとめればよい。これにより、被写体３３と固体撮像装置１との間の距離を求めることができる。
【００３８】
次に、画像マッチングの方法について説明する。
前述の図５のステップＳ１９に示すように、被写体３３と固体撮像装置１との間の距離を計算する処理がある場合には、ステップ２０に示すように、偏光画像マッチングに進む。
図１０のステップＳ３１に示すように、異なる偏光軸の画像を比較することによるミスマッチングを防止するため、マイクロレンズ２２間の画像マッチングでは偏光軸が等しいマイクロレンズ像３４同士を比較する。
【００３９】
次に、ステップＳ３２に示すように、画像マッチングによりマイクロレンズ像３４のズレを計算する。
図１１に示すように、偏光軸が０度のマイクロレンズ像３４ａ同士のズレ量を測定する。同じ偏光軸の偏光イメージ同士であればＳＡＤまたはＳＳＤといった画像マッチング評価値を用いてマッチング位置を求める事が可能である。これにより、マイクロレンズ２２間の像ずれ量を求めることができる。
そして、図１０のステップＳ３３に示すように、上記数式（５）の値を上記数式（４）に代入して、被写体３３と固体撮像装置間１との間の距離を求めることができる。
【００４０】
次に、本実施形態の効果について説明する。
本実施形態によれば、同じ偏光軸のマイクロレンズ像３４を画像マッチングに用いているので、一般的な画像マッチングの手法を用いて距離情報を算出することができる。また、前述した通りマイクロレンズ像の重なりを利用して各マイクロレンズ像ごとに偏向主軸プロットの二次元画像を作成して画像マッチングを適用することにより、偏光情報を用いてズレ量を求める事が出来る。この場合、可視光画像では困難な被写体と背景が同色の場合や被写体に出来たキズなどについても画像マッチングが可能であり、距離精度が向上する。 単一の結像レンズ１２及び単一の撮像素子１５によって、距離の測定をすることができるので、複数の結像レンズ１２及び複数の撮像素子１５を用いるものと比べて、装置を小型化することができる。
【００４１】
（第２及び第３の実施形態の変形例）
図１２は、第２及び第３の実施形態の変形例に係る固体撮像装置２を例示する光学モデル図である。
図１２に示すように、本変形例に係る固体撮像装置２においては、結像レンズ１２の結像面２７が撮像基板１５の背後に配置されている。すなわち、距離Ｅ＋距離Ｃ＝距離Ｂである。この場合、マイクロレンズに関するレンズの式は下記数式（６）で表される。
【数６】
したがって、この場合には、距離Ａと縮小倍率Ｍの関係は、下記数式（７）で表すことができる。
【数７】
本変形例における上記以外の構成及び動作は、前述の第３の実施形態と同様である。
【００４２】
次に、本実施形態の効果について説明する。
結像面３５を結像レンズ１６に近い結像面３６まで近づけることができる。この結果、固体撮像装置２を小型化することができる。本変形例における上記以外の効果は、前述の第２及び第３の実施形態と同様である。
【００４３】
以上説明した実施形態によれば、偏光測定の高精度化を図ることができる固体撮像装置を提供することができる。
【００４４】
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明及びその等価物の範囲に含まれる。また、前述の各実施形態は、相互に組み合わせて実施することができる。
【符号の説明】
【００４５】
１、２：固体撮像装置、１０：撮像モジュール部、１１：ＩＳＰ、１２：結像レンズ、１３：偏光板アレイ基板、１４：マイクロレンズアレイ基板、１５：撮像基板、１６：撮像回路、１７：カメラモジュールインターフェース、１８：画像取り込み部、１９：信号処理部、２０：ドライバインターフェース、２１：上面、２２：マイクロレンズ、２３：上面、２４：偏光板、２４ａ：偏光板、２４ｂ：偏光板、２４ｃ：偏光板、２４ｄ：偏光板、２５：上面、２６：光軸、２７：結像面、２８：結像面、２９：方向、３０：方向、３１：方向、３２：方向、３３：被写体、３４：マイクロレンズ像、３４ａ：マイクロレンズ像、３４ｂ：マイクロレンズ像、３４ｃ：マイクロレンズ像、３４ｄ：マイクロレンズ像、３５：範囲、３６：移動部、Ａ：距離、Ｂ：距離、Ｃ：距離、Ｄ：距離、Ｅ：距離、ｆ：距離、ｇ：距離、Ｌ：距離、Ｍ：縮小倍率、α：値、β：値、γ：値、θ１：偏光主軸
【特許請求の範囲】
【請求項１】
上面に複数の画素が形成された撮像基板と、
前記撮像基板の上方に設けられ、光軸が前記撮像基板の前記上面と交差する結像レンズと、
前記撮像基板と前記結像レンズとの間に設けられ、複数のマイクロレンズが２次元的に配置された面が、前記光軸と交差するマイクロレンズアレイ基板と、
前記撮像基板と前記結像レンズとの間に設けられ、偏光軸の方向が相互に異なる複数の種類の偏光板が２次元的に配置された偏光板アレイ基板と、
を備え、
一つの前記偏光板で偏光された光は、一つの前記マイクロレンズによって集光されて前記撮像基板の前記上面で結像する固体撮像装置。
【請求項２】
前記マイクロレンズによって結像された複数の像のうち、偏光軸の方向が相互に同じである複数の前記偏光板で偏光された光による複数の像を合成して２次元画像を得る請求項１記載の固体撮像装置。
【請求項３】
前記マイクロレンズによって結像された複数の像のうち、偏光軸が相互に異なる複数の前記偏光板で偏光された光による複数の像を重ね合わせ、前記像が結像された前記画素における光強度より、偏光主軸を得る請求項１記載の固体撮像装置。
【請求項４】
前記偏光軸の角度と前記光強度との関係を表すプロットを正弦関数にフィッティングして、前記光強度が最大値をとる前記角度を前記偏光主軸の方向とする請求項３記載の固体撮像装置。
【請求項５】
前記像が結像される領域に渡る複数の前記画素の前記偏光主軸を求め、前記偏光主軸の２次元画像を得る請求項３または４に記載の固体撮像装置。
【請求項６】
前記結像レンズと前記マイクロレンズアレイ基板との間の距離及び前記マイクロレンズアレイ基板と前記撮像基板との間の距離のうち少なくともいずれかの距離を変える移動部をさらに備えた請求項３〜５のいずれか１つに記載の固体撮像装置。
【請求項７】
２つの前記マイクロレンズによって結像された像における位置のズレと、前記２つのマイクロレンズ間の距離と、に基づいて、被写体と前記結像レンズとの間の距離を求める請求項１記載の固体撮像装置。
【請求項８】
前記２つのマイクロレンズによって結像された像は、前記偏光軸の方向が相互に等しい前記偏光板で偏光された光による像である請求項７記載の固体撮像装置。
【請求項９】
前記結像レンズの結像面は、前記偏光板アレイ基板の上方にある請求項１〜８のいずれか１つに記載の固体撮像装置。
【請求項１０】
前記結像レンズの結像面は、前記撮像基板の下方にある請求項１〜８のいずれか１つに記載の固体撮像装置。
【請求項１】
上面に複数の画素が形成された撮像基板と、
前記撮像基板の上方に設けられ、光軸が前記撮像基板の前記上面と交差する結像レンズと、
前記撮像基板と前記結像レンズとの間に設けられ、複数のマイクロレンズが２次元的に配置された面が、前記光軸と交差するマイクロレンズアレイ基板と、
前記撮像基板と前記結像レンズとの間に設けられ、偏光軸の方向が相互に異なる複数の種類の偏光板が２次元的に配置された偏光板アレイ基板と、
を備え、
一つの前記偏光板で偏光された光は、一つの前記マイクロレンズによって集光されて前記撮像基板の前記上面で結像する固体撮像装置。
【請求項２】
前記マイクロレンズによって結像された複数の像のうち、偏光軸の方向が相互に同じである複数の前記偏光板で偏光された光による複数の像を合成して２次元画像を得る請求項１記載の固体撮像装置。
【請求項３】
前記マイクロレンズによって結像された複数の像のうち、偏光軸が相互に異なる複数の前記偏光板で偏光された光による複数の像を重ね合わせ、前記像が結像された前記画素における光強度より、偏光主軸を得る請求項１記載の固体撮像装置。
【請求項４】
前記偏光軸の角度と前記光強度との関係を表すプロットを正弦関数にフィッティングして、前記光強度が最大値をとる前記角度を前記偏光主軸の方向とする請求項３記載の固体撮像装置。
【請求項５】
前記像が結像される領域に渡る複数の前記画素の前記偏光主軸を求め、前記偏光主軸の２次元画像を得る請求項３または４に記載の固体撮像装置。
【請求項６】
前記結像レンズと前記マイクロレンズアレイ基板との間の距離及び前記マイクロレンズアレイ基板と前記撮像基板との間の距離のうち少なくともいずれかの距離を変える移動部をさらに備えた請求項３〜５のいずれか１つに記載の固体撮像装置。
【請求項７】
２つの前記マイクロレンズによって結像された像における位置のズレと、前記２つのマイクロレンズ間の距離と、に基づいて、被写体と前記結像レンズとの間の距離を求める請求項１記載の固体撮像装置。
【請求項８】
前記２つのマイクロレンズによって結像された像は、前記偏光軸の方向が相互に等しい前記偏光板で偏光された光による像である請求項７記載の固体撮像装置。
【請求項９】
前記結像レンズの結像面は、前記偏光板アレイ基板の上方にある請求項１〜８のいずれか１つに記載の固体撮像装置。
【請求項１０】
前記結像レンズの結像面は、前記撮像基板の下方にある請求項１〜８のいずれか１つに記載の固体撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−７４４００（Ｐ２０１３−７４４００Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１０９３６（Ｐ２０１１−２１０９３６）
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]