偏光撮影装置
【課題】被写体からの光の直交する偏光成分を分離し結像させた重像の画像信号から、直交する偏光成分の像間の強度比を算出するに際し、計算を単純化し演算時間を短縮する。
【解決手段】複屈折特性を有する複屈折光学素子１３により、被写体１からの光Ｂを偏光方向が直交する常光線（Ｏ光線Ｂｏ）と異常光線（Ｅ光線Ｂｅ）とに分離し、マトリクス状に画素が配列された固体撮像素子１１の異なる位置にそれぞれＯ光線像ＩｏおよびＥ光線像Ｉｅとして結像させる。ここで、Ｏ光線像ＩｏとＥ光線像Ｉｅとの相対的変位方向である重像間変位方向Ｓ２と、固体撮像素子１１の画素配列の一方向（ｘ方向）とが一致するように、複屈折光学素子が配置される。固体撮像素子１１より得られるＯ光線像ＩｏとＥ光線像Ｉｅとが重ね合わされた像の信号、および、重像間変位量算出部２３により算出される重像間変位量Ｄｘに基づき、Ｏ光線像ＩｏとＥ光線像Ｉｅとの強度比を算出する。
【解決手段】複屈折特性を有する複屈折光学素子１３により、被写体１からの光Ｂを偏光方向が直交する常光線（Ｏ光線Ｂｏ）と異常光線（Ｅ光線Ｂｅ）とに分離し、マトリクス状に画素が配列された固体撮像素子１１の異なる位置にそれぞれＯ光線像ＩｏおよびＥ光線像Ｉｅとして結像させる。ここで、Ｏ光線像ＩｏとＥ光線像Ｉｅとの相対的変位方向である重像間変位方向Ｓ２と、固体撮像素子１１の画素配列の一方向（ｘ方向）とが一致するように、複屈折光学素子が配置される。固体撮像素子１１より得られるＯ光線像ＩｏとＥ光線像Ｉｅとが重ね合わされた像の信号、および、重像間変位量算出部２３により算出される重像間変位量Ｄｘに基づき、Ｏ光線像ＩｏとＥ光線像Ｉｅとの強度比を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体からの光の偏光状態を撮影する偏光撮影装置に関する。
【背景技術】
【０００２】
被写体からの光の偏光状態を観察することによって、被写体の所定の特徴を強調して検出することができることが知られている。例えば、液晶基板や半導体ウェーハ等の外観検査装置では、撮像素子の前に偏光子を配置して、特定の偏光成分の光を撮影する装置が提案されている。この装置は、偏光成分を所定の方向に制限することによって、特定の欠陥を際立たせようとするものであり、偏光方向を異ならせた複数の偏光成分の光を撮影して検査を行う。
【０００３】
例えば、特許文献１によれば、被写体により反射された光の光路を２方向に分岐させ、それぞれの光路に偏光板と撮像部とを配置し、それぞれの撮像部が互いに偏光方向の直交する偏光成分の光を受光するようにした欠陥検査装置が開示されている。すなわち、この欠陥検査装置では、被写体からの異なる偏光方向の光による画像を同時に得るために、撮像部を２つ設けている。
【０００４】
また、特許文献２では、撮像素子の隣接する画素ごとに、方位の異なる偏光軸を有する偏光素子を配置し、１回の撮影により１つの撮像素子で、複数の偏光方向に対応した信号を取り込むことができる偏光撮影装置が開示されている。したがって、特許文献２に記載の撮像素子を用いることにより、１回の撮影で、被写体からの異なる偏光方向の光による画像を合成することが可能になる。
【０００５】
すなわち、特許文献１および２に開示された装置によれば、1回の撮影で同時に、被写体からの異なる偏光方向の光による画像を取得することができる。したがって、撮像素子の手前に偏光フィルタを配置し、偏光フィルタの偏光方向を変えつつ複数回撮影して、偏光方向の異なる光による画像を取得する場合と比べて、短時間のうちに撮影を行うことができ、検査装置に用いた場合には、タクトタイムを短くすることができる。
【０００６】
一方、硝子の内部反射などに起因して２重化された像（重像）から、もとの画像を復元する技術が提案されている（例えば、特許文献３および４、非特許文献１参照）。例えば、非特許文献１では、２重化された像の強度比を既知のものとして、２重化された像の像間の相対的変位量および変位方向を推定し、それら推定した変位量および変位方向と２重化された像に基づき原画像Ｉを復元している。
【０００７】
非特許文献１によれば、観測画像をｇ、原画像をｆ、単位行列をＩ、硝子の内部反射率の自乗をγ、内部反射による重像の変位ｐの変形を行う作用をＡ（ｐ）とすると、２つの像が多重化されている重像の生成過程は、式（１）のようにモデル化できる。
【数１】
【０００８】
γおよびＡが与えられている場合、式（１）の級数展開により、原画像の推定値ｆ＾は式（２）で得られる。なお、ｆ＾は、ｆの上に「＾（ハット）」がついていることを示す。以下、他の符号に＾を付した場合も同様とする。
【数２】
【０００９】
ここで、内部反射率γが１よりも小さい値であり、多重反射像のコントラストが減少することを前提としているので、式（２）は収束が保証されている。ここで、原画像fを推定するために、pの値を変えながら下記の最適化推定を行う。
【数３】
変位量ｐを推定して重像から原画像を復元する場合、復元処理が正しく行われれば、原画像成分以外がキャンセルされ、画像信号の変動成分が減少する。しかし、変位量ｐが正しい値からずれると、画像に不自然なエッジが発生し、画像信号の変動成分が増加する。したがって、変位量ｐの推定値ｐ＾は、変動成分を計算する様なノルムを用いる最小ノルム推定(式（３）)によりで求めることができる。式（３）において、Ｌは例えば微分演算や差分演算等の画像の変動成分を算出する処理であり||・||はノルムを表している。
【００１０】
以降においては、重像の画像データから像の強度比、変位量、変位方向を推定する計算を重像推定演算と呼ぶことにする。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００５−２７４１６１号公報
【特許文献２】特開２００９−０４２０４０号公報
【特許文献３】特開２００９−１３３６４２号公報
【特許文献４】特開２００９−１３４３５７号公報
【非特許文献】
【００１２】
【非特許文献１】矢野高宏，清水雅夫，奥富正敏著「多重像画像からの原画像の復元と重像間変位推定」，画像の認識・理解シンポジウム(MIRU2009)，2009年7月，OS1-3:23
【発明の概要】
【発明が解決しようとする課題】
【００１３】
特許文献１に開示された欠陥検査装置では、２つの撮像部を設けているために撮像素子等の部品が重複して必要となりコスト高となる。また、特許文献２に開示された偏光撮影装置では、画素毎に偏光素子を配置した特殊な撮像素子が必要となりコスト高となるうえに、撮像素子を通常の撮影用途と兼用することができないという問題点がある。
【００１４】
そこで、本発明の発明者は、１つの撮像素子を用いて１回の撮影によって偏光状態を測定し、且つ、通常の撮影装置との兼用も可能な偏光撮影装置として、複屈折材料（例えば、方解石、水晶板）により形成される複屈折光学素子を用いて、被写体からの光を直交する２つの偏光成分に分離し重ね合わせた、重像の画像データを取得し、これに上述の特許文献３および４並びに非特許文献１に記載のような重像推定演算を適用することにより偏光状態の推定を行うことを考えついた。
【００１５】
しかし、重像間推定演算は、重像から元の画像を復元するために、多数の微分または差分演算と繰り返し推定を行う必要があり、計算過程が複雑で処理に時間を要する。さらに、硝子等による内部反射による重像の場合は、内部反射率がほぼ一定であり、すなわち、重像間の強度比が一定の条件の下で変位方向と変位量とを計算している。しかし、偏光状態の撮影に適用する場合には、重像間の強度比は未知の変数となるため、さらに推定計算に時間を要することが懸念される。このため、重像推定演算をさらに単純化・高速化することが必要となる。
【００１６】
したがって、これらの点に着目してなされた本発明の目的は、被写体の偏光分布を取得する撮影装置において、上記の重像変位推定を用いて、被写体からの光の直交する偏光成分を分離して結像させた重像の画像信号から直交する偏光成分の像間の強度比を算出するに際し、計算を単純化して演算時間を短縮した偏光撮影装置を提供することにある。
【課題を解決するための手段】
【００１７】
上記目的を達成する請求項１に係る偏光撮影装置の発明は、
マトリクス状に複数の画素が配列された固体撮像素子と、被写体からの光を直交する第１の偏光成分と第２の偏光成分とに分離する複屈折光学素子を含み、前記第１の偏光成分による第１の像と前記第２の偏光成分による第２の像とを前記固体撮像素子上に結像させる光学系とを有し、前記固体撮像素子に結像される前記第１の像と前記第２の像との相対変位方向と、前記固体撮像素子の画素配列の一方向とを一致させるように構成された撮像部と、
前記光学系の光学特性情報に基づいて、前記固体撮像素子に結像される前記第１の像と前記第２の像との相対的変位量を算出する重像間変位量算出部と、
前記固体撮像素子から得られる第１の画像信号と、前記変位量とに基づいて、前記固体撮像素子に結像された、前記第１の像と前記第２の像との強度比を算出する第１の画像信号処理部と
を備えたことを特徴とするものである。
【００１８】
請求項２に係る発明は、請求項１に記載の偏光撮影装置において、
前記重像間変位量算出部は、前記複屈折光学素子の光学特性および前記光学系の像倍率を含む前記光学特性情報から、前記変位量を算出することを特徴とするものである。
【００１９】
請求項３に係る発明は、請求項１または２に記載の偏光撮影装置において、
前記第１の画像処理部は、前記第１の像と前記第２の像との強弱を判定し、該判定結果に基づいて、演算結果が収束するように重像推定演算を適用し、前記強度比を算出することを特徴とするものである。
【００２０】
請求項４に係る発明は、請求項１または２に記載の偏光撮影装置において、
前記光学系は、前記第１の偏光成分と前記第２の偏光成分とに対して異なる透過率を有する偏光素子を備えることを特徴とするものである。
【００２１】
請求項５に係る発明は、請求項４に記載の偏光撮影装置において、
前記偏光素子は、少なくとも前記第１の偏光成分または前記第２の偏光成分の透過率を、変更可能に構成されていることを特徴とするものである。
【００２２】
請求項６に係る発明は、請求項１から５のいずれか一項に記載の偏光撮影装置において、
前記強度比および前記第１の画像信号に基づいて、前記複屈折光学素子を設けない場合に前記固体撮像素子により取得されるべき画像信号を推定し、第２の画像信号として出力する第２の画像信号処理部を有することを特徴とするものである。
【００２３】
請求項７に係る発明は、請求項６に記載の偏光撮影装置において、
前記第２の画像信号上に前記強度比に基づく信号を重ね合わせる第３の画像信号処理部を有することを特徴とするものである。
【００２４】
請求項８に係る発明は、請求項１から７のいずれか一項に記載の偏光撮影装置において、
前記光学系は、前記複屈折光学素子が着脱可能に構成されていることを特徴とするものである。
【発明の効果】
【００２５】
本発明によれば、固体撮像素子に結像される第１の像と第２の像との相対変位方向と、固体撮像素子の画素配列の一方向とを一致させたので、被写体からの光の直交する偏光成分を分離して結像させた重像の画像信号から、被写体からの光の直交する偏光成分の像間の強度比を算出するに際し、計算を単純化して演算時間を短縮した偏光撮影装置を提供することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の第１実施の形態に係る偏光撮影装置の概略構成を示す図である。
【図２】偏光成分による被写体像の分離を説明する図であり、図２（ａ）は、複屈折光学素子による常光線（Ｏ光線）と異常光線（Ｅ光線）の分離を示す上面図、図２（ｂ）は、固体撮像素子の受光面上に結像する被写体像の変位を示す図である。
【図３】固体撮像素子の受光面における画素配列と、被写体像の変位方向との関係を示す図である。
【図４】被写体像の偏光成分間の強度比を算出するフローチャートである。
【図５】図４の各領域の被写体像の偏光成分間の強度比推定の詳細を示すフローチャートである。
【図６】本発明の第２実施の形態に係る偏光撮影装置の光学系の概略構成を説明する図である。
【図７】本発明の第３実施の形態に係る偏光撮影装置の概略構成を示す図である。
【図８】本発明の第４実施の形態に係る偏光撮影装置の光学系の構成を説明する図である。
【発明を実施するための形態】
【００２７】
まず、本発明の実施例を説明するに先立ち、本発明が基礎とする複屈折光学素子を用いた重像の形成と、その重像に基づいて直交する偏光成分の像間の強度比を求める重像推定演算について説明する。
【００２８】
方解石や水晶などの複屈折特性を有する材料からなる複屈折光学素子では、入射した光線は結晶の異方性のために常光線（ordinary ray：Ｏ光線）と異常光線（extraordinary ray：Ｅ光線）とに分かれて進む。この２つの光線は互いに直交する偏光方向を有することが知られている。所定の厚みを有する複屈折光学素子を通過すると、Ｏ光線とＥ光線との相対的な分離量は、Ｏ光線の屈折率とＥ光線の屈折率および複屈折光学素子の厚みによって知ることが出来る。また、光学配置から、Ｏ光線とＥ光線とを特定することができる。
【００２９】
複屈折光学素子を透過して撮像素子上に結像し観測された観測画像Ｉｐは、Ｏ光線による画像（第１の像、以下、Ｏ光線像とも呼ぶ）およびＥ光線による画像（第２の像、以下、Ｅ光線像とも呼ぶ）をそれぞれＩｏ，Ｉｅとすると、式（４）のように表すことができる。
【数４】
ここで、Ｏ光線に対するＥ光線の画像データ上（すなわち撮像素子上）のｘ方向およびｙ方向の変位量をＤｘ，Ｄｙとすると、式（４）は式（５）のように書き換えることができる。
【数５】
【００３０】
ここで、Ｒは、Ｏ光線像に対するＥ光線像の強度比である。Ｒの推定値Ｒ＾は、式（３）の最小ノルム推定と同様に、強度比Ｒを変化させたときに、最も滑らかな画像が得られるべきことから、Ｒ＜１の場合は、最小ノルムの推定により式（６−１）により求めることができる。
【数６】
【００３１】
Ｒの最適値推定に関しては、勾配降下法等の公知の方法を用いることができる。式（６−１）でＮは項数を示しているが、項数が高いほどＲの推定精度が高くなる。一般には項数を増やした方が原画像の復元精度が高くなる。その際の原画像Iの推定値Ｉ＾は、式（７）で表される。
【数７】
ただし、式（６−１）,（７）の右辺はＲが１未満の場合に限って収束が保証されている。
【００３２】
複屈折光学素子を使った重像の形成では、撮像素子の受光面上でのＯ光線に対するＥ光線の相対的変位量（重像間変位量）および相対的変位方向（重像間変位方向）は、複屈折光学素子を構成する複屈折材料の屈折率、形状、光学系の像倍率等の光学系の光学特性情報から求めることが出来る。しかしながら、Ｏ光線に対して、Ｅ光線の強度が１より小さい事は保証されていない。そこで、重像である観測画像Ｉｐが、
（ｉ）Ｏ光線像に対するＥ光線像の強度比（Ｒ１）がＲ１＜１．０であり、Ｏ光線に対してＥ光線がＤｘ，Ｄｙの変位量を有するものとする場合と、
（ｉｉ）Ｅ光線像に対するＯ光線像の強度比（Ｒ２）がＲ２＜１．０であり、Ｅ光線に対してＯ光線が−Ｄｘ，−Ｄｙの変位量を有するものとする場合と
の双方の場合を考慮する。
【００３３】
上記（ｉ）および（ｉｉ）の何れの場合に属するかは、ＲＴにＲＴ＜１の適当な数値を代入して、次の変動量の計算式（８）および（９）の計算をすれば良い。
【数８】
【数９】
【００３４】
（ｉ）Ｏ光線像に対するＥ光線像の強度比（Ｒ１）がＲ１＜１．０であり、Ｏ光線に対してＥ光線がＤｘ，Ｄｙの変位量を有するものとする場合は、
【数１０】
となり、（ｉｉ）Ｅ光線像に対するＯ光線像の強度比（Ｒ２）がＲ２＜１．０であり、Ｅ光線に対してＯ光線が−Ｄｘ，−Ｄｙの変位量を有するものとする場合は
【数１１】
となる。よって、１回の試算で上記（ｉ），（ｉｉ）のいずれのケースであるか判断でき、判断した（ｉ）または（ｉｉ）のケースに応じて、式（８）または（９）の一方について、変動量を最小にする強度比Ｒを求める最適化の計算を行えば良い。
【００３５】
すなわち、（ｉ）の場合は、式（６−１）によりＯ光線像に対するＥ光線像の強度比の推定を行う。
【数１２】
また、（ｉｉ）の場合は、式（６−２）により、Ｅ光線像に対するＯ光線像の強度比の推定を行う。
【数１３】
【００３６】
以上のように、複屈折光学素子により、直交する２つの偏光成分に分離された２つの被写体像を重ね合わせた重像から、偏光成分の異なるＯ光線像とＥ光線像との強度比を推定することができる。また、推定した強度比を用いて、式（７）により複屈折光学素子を配置しなかった場合の被写体像を推定することができる。なお、具体的には、被写体からの光のＯ光線像とＥ光線像との強度比は、画像をＷ×Ｈの領域に区分して、同一領域内では強度比は変化しないものとして領域ごとに推定を行う。
【００３７】
次に、計算を単純化する方法について説明する。
【００３８】
Ｏ光線像ＩｏとＥ光線像Ｉｅとの相対的変位方向である重像間変位方向と、固体撮像素子のマトリクス状の画素配列の一方向、例えば、水平方向（ｘ方向）とが一致するように、複屈折光学素子と固体撮像素子とを配置する。このようにすると、式（６−１）および（６−２）の変動量算出の演算Ｌを１次元で実行できるので、式（１２）のように計算が単純化される。
【数１４】
ここで、Ｌ１は、水平方向（ｘ方向）の変動量を計算する演算であり、例えば、水平方向に隣接する画素データの差分値である。なお、右辺の±の符号は、Ｏ光線像に対するＥ光線像の強度比が１未満か１以上かによって＋または−となり、上述の（ｉ）および（ｉｉ）の判断方法と同様の方法で決定することができる。
【００３９】
また、式（６−１），（６−２）、または、式（１２）の強度比Ｒ＾の計算において、Ｏ光線像とＥ光線像との強度比が１に近い場合は、Σの計算の収束性が悪くなるため、項数Ｎを大きくしなければならない。さらに、項数Ｎを大きくして強度比Ｒを推定しても、式（７）等による原画像の復元の品質は保証し難いうえ、原画像を復元する演算でも項数Ｎを大きくしなければならず、計算量が多くなる。
【００４０】
そこで、測定対象に応じて、Ｏ光線とＥ光線との強度の差異が小さい場合においては、予めいずれかの偏光の強度を弱くするような光学素子を、複屈折光学素子の被写体側前方または後方に配置することによって、上記の強度比Ｒを１から離れた値にすることができる。例えば、異方性を有するフィルム等の透過性の材料を光路に配置することや、Ｏ光線またはＥ光線のいずれかの偏向方向をより透過させるように、例えば、Ｏ光線の偏光方向に対して、偏光方向を２０度または７０度傾けて偏光板を配置することによって実現できる。
【００４１】
例えば、Ｏ光線像に対するＥ光線像の強度比が０．１４〜７の範囲となる場合、Ｏ光線の透過率に対するＥ光線の透過率を１／１０に抑える光学素子を用いれば、固体撮像素子１１上での強度比は、０．０１４〜０．７となるので、実用的な項数Ｎ＝１０程度で強度比Ｒの推定が可能となる。そこで、この光学素子を使用した場合は、常に上述の（ｉ）の場合、すなわち、Ｏ光線像に対するＥ光線像の強度比（Ｒ１）がＲ１＜１．０であり、Ｏ光線に対してＥ光線がＤｘ，Ｄｙの変位量を有するものとする場合のみが発生するものとして、
【数１５】
を最急降下法で求めれば良い。
【００４２】
なお、偏光板を用いた場合は、測定対象に応じて、偏向板の偏向方向と複屈折光学素子のＯ光線またはＥ光線の偏向方向との成す角を適宜変更することができる。
【００４３】
以下に、重像推定演算の計算を単純化し、計算時間の短縮を実現した本発明の実施の形態について、図面を参照して説明する。
【００４４】
（第１実施の形態）
図１は、本発明の第１実施の形態に係る偏光撮影装置の概略構成を示す図である。偏光撮影装置１０は、固体撮像素子１１と、光学系１２と、第１の画像信号処理部２１と、光学系駆動制御部２２と、重像間変位量算出部２３と記憶部２４とを備える。ここで、固体撮像素子１１と光学系１２とは、撮像部を構成する。また、図１において、破線は光線を示し、実線は画像信号の流れを示し、２点鎖線は画像信号以外のデータの流れを示している。
【００４５】
固体撮像素子１１は、マトリクス状に画素が配置された、ＣＣＤ（charge Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等である。この固体撮像素子１１は、受光面１１ａで検出した画像光強度を電気信号である画像信号に変換する。
【００４６】
光学系１２は、複屈折光学素子１３とレンズ１４等の他の光学素子とを含んで構成され、被写体１からの光Ｂを固体撮像素子１１の受光面１１ａに結像させる。複屈折光学素子１３は、方解石や水晶などの異方性を有する材料より形成され、被写体１からの光Ｂを常光線Ｂｏと異常光線Ｂｅとに分離する複屈折率特性を有する。光学系１２は、複屈折光学素子１３で分離された常光線Ｂｏと異常光線Ｂｅとをそれぞれ、固体撮像素子１１の受光面１１ａの異なる（変位した）位置にＯ光線像（第１の像）およびＥ光線像（第２の像）として結像させる。図においては、光学系１２の光学素子をレンズ１４により代表して表示している。なお、図１では簡単のため、レンズ１４を通過する常光線Ｂｏと異常光線Ｂｅとを直線的に表現しているが、実際には光学素子を通る光線は光学素子による偏向等を受ける。
【００４７】
図２は、偏光成分による被写体像の変位を説明する図であり、図２（ａ）は、複屈折光学素子１３による常光線（Ｏ光線）と異常光線（Ｅ光線）との分離を示す上面図である。被写体１からの光Ｂは、複屈折光学素子１３に入射すると、複屈折光学素子１３内でＯ光線ＢｏとＥ光線Ｂｅとに分離される（分離方向Ｓ１）。Ｏ光線Ｂｏは、紙面に対して垂直な方向の直線偏光、Ｅ光線Ｂｅは紙面に対して平行な方向の直線偏光となる。（Ｏ光線Ｂｏは、被写体１からの光Ｂの紙面に対して垂直な偏光成分、Ｅ光線Ｂｅは、同じく紙面に対して平行な成分が分離されたものである。）なお、複屈折光学素子１３の光学軸１３ａは、所望のＯ光線ＢｏとＥ光線Ｂｅとの分離が生じる向きに設定されている。
【００４８】
また、図２（ｂ）は、固体撮像素子１１の受光面１１ａ上に結像する被写体像を示す図である。複屈折光学素子１３を透過したＯ光線ＢｏとＥ光線Ｂｅとは、光学系１２によって撮像素子１１の受光面１１ａに、それぞれＯ光線像ＩｏとＥ光線像Ｉｅとを結像する。図２（ｂ）において、Ｓ２は、Ｏ光線像ＩｏとＥ光線像Ｉｅとの間の相対的変位方向である重像間変位方向Ｓ２を示している。固体撮像素子１１は、Ｏ光線像ＩｏとＥ光線像Ｉｅとが重ね合わされた観測画像Ｉｐを電気信号に変換して第１の画像信号Ｉｐとして取り込む。
【００４９】
複屈折光学素子１３を透過した直後のＯ光線ＢｏとＥ光線Ｂｅとの分離幅Ｄｂは、Ｏ光線Ｂｏの屈折率をｎｏ、Ｅ光線Ｂｅの屈折率をｎｅ、複屈折光学素子１３の厚みをｄとすると式（１３）により与えられる。
【数１６】
したがって、光学系１２の像倍率が解れば、第１の画像信号上でのＯ光線像ＩｏとＥ光線像Ｉｅとの重像間変位方向Ｓ２および変位量Ｄを知ることができる。
【００５０】
図３は、固体撮像素子１１の受光面１１ａにおける画素配列と、被写体像Ｉｐの重像間変位方向Ｓ２との関係を示す図である。固体撮像素子１１は、水平方向（ｘ方向）と垂直方向（ｙ方向）とに沿うマトリクス状に画素が配置されている。この撮像素子１１の受光面１１ａに結像するＯ光線像ＩｏとＥ光線像Ｉｅとは、相対的に重像間変位方向Ｓ２に変位した画像として結像される。画素配列の一方向、例えば、ｘ方向と重像間変位方向Ｓ２とを一致させるように、複屈折光学素子１３と固体撮像素子１１とが配置される。なお、これらの配置は固定にしても、レンズ枠の回転に応じて自動的に調整配置するようにしても、また、目盛りなど使用者が解るような指示によって所定の位置関係になるようにしても良い。
【００５１】
また、図１に示した光学系駆動制御部２２は、偏光撮影装置１０全体を制御する図示しない制御部からの指示により、光学系１２に含まれる光学素子、例えばレンズ１４を駆動制御する。図１において、光学系駆動制御部２２は、レンズ１４と矢印で結ばれているが、レンズ１４は光学系１２の構成要素を代表して表示したものであり、光学系駆動制御部２２は、光学系１２の他の構成要素も制御する。重像間変位量算出部２３は、光学系駆動制御部２２から、偏光撮影時の光学系１２の像倍率情報を取得する。重像間変位量算出部２３はまた、複屈折率光学素子１３のＯ光線ＢｏおよびＥ光線Ｂｅの屈折率ｎｏ，ｎｅ、並びに、厚みｄ、配置、形状等の光学特性の情報を保持し、式（１３）により求めた分離幅Ｄｂに像倍率を乗じて、重像間変位量Ｄｘを算出して、第１の画像信号処理部２１へ出力する。
【００５２】
第１の画像信号処理部２１は、固体撮像素子１１と接続されており、固体撮像素子１１からＯ光線像ＩｏとＥ光線像Ｉｅとが重ね合わされた像信号である第１の画像信号Ｉｐを受信する。Ｏ光線像ＩｏとＥ光線像Ｉｅとの相対的変位方向である重像間変位方向Ｓ２と、固体撮像素子１１の画素配列の一方向とがｘ方向で一致するので、第１の信号処理部２１は、式（１２）に基づいて、第１の画像信号Ｉｐから水平方向にＤｘまたは−Ｄｘずつシフトした画像データ群を生成して、強度比Ｒ（＜１）を変更しながら各画像データに強度比Ｒのべき乗を乗算して加算する処理を行い、その変動成分である水平方向の差分値の総和を算出して、Ｏ光線像ＩｏとＥ光線像Ｉｅとの強度比Ｒの推定を行うことができる。
【００５３】
さらに、第１の画像信号処理部２１は、推定したＯ光線像ＩｏとＥ光線像Ｉｅとの強度比Ｒ、すなわち、被写体からの光の直交する偏光成分の像の強度比を記憶部２４へ送信し、記憶部２４はこれを記憶する。記憶部２４に記憶された強度比Ｒのデータは、後の偏光状態の分析に使用される。または、強度比Ｒのデータは、順次処理され図示しない表示装置に表示されるようにしても良い。
【００５４】
次に、第１の画像信号処理部２１における処理内容についてより詳しく説明する。図４は、被写体像の直交する偏光成分、すなわちＯ光線像ＩｏとＥ光線像Ｉｅとの強度比Ｒを算出するフローチャートである。画像信号処理部２１は、第１の画像信号を複数の領域に区分して、各領域内では強度比Ｒが一定であるものとし、すなわち、被写体の直交する偏光成分の像間の強度比が一定であるものとして、領域ごとの強度比Ｒを算出する。
【００５５】
先ず、第１の画像信号処理部２１は、第１の画像信号を固体撮像素子１１上のＷ×Ｈの矩形領域に対応した領域に区分する（ステップＳ０１）。各領域は、相互に重複するように設定しても良い。
【００５６】
次に、Ｗ×Ｈに区分された各領域について、Ｏ光線像ＩｏとＥ光線像Ｉｅとの強度比Ｒ（ｗ，ｈ）を推定する（ステップＳ０２）。ここで、Ｒ（ｗ，ｈ）は、領域（ｗ，ｈ）の強度比である。この推定を、順次全ての領域（ｗ，ｈ）に対して行う。ここで、領域（ｗ，ｈ）とは第１の画像信号をＷ×Ｈに区分した領域のうち、水平方向にｗ番目、垂直方向にｈ番目の領域を示すものとする。
【００５７】
第１の画像信号処理部２１では、複屈折光学素子１３によるＯ光線像ＩｏとＥ光線像Ｉｅとの重像間変位方向Ｓ２と、固体撮像素子１１の画素配列の一方向（ｘ方向）が一致しているので、式（１２）に示したように第１の画像信号から水平方向にＤｘまたは−Ｄｘずつ変位させた画像データ群を生成して、強度比Ｒを変更しながら各画像データに強度比Ｒのべき乗を乗算して加算する処理を行い、その変動成分である水平方向の差分値の総和を算出して、Ｏ光線像ＩｏとＥ光線像Ｉｅとの強度比の推定を行う。
【００５８】
また、Ｏ光線像Ｉｏに対するＥ光線像Ｉｅの強度比が１未満の場合と１以上の場合との場合分けを行うために、判定用データＲＴ＜１．０の任意の数値でテストを行う。すなわち、強度比ＲをＲＴとして、Ｄｘ方向に変位させた場合の変動成分の総和と−Ｄｘに変位させた場合の変動成分の総和を比較し、その総和が少ない方の変位方向を選択して最適値の計算を行う。
【００５９】
図５は、図４のステップＳ０２の各領域の被写体像の偏光成分間の強度比Ｒ（ｗ，ｈ）の計算過程の詳細を示すフローチャートである。先ず、第１の画像信号処理部２１は、第１の画像信号Ｉｐ（ｘ，ｙ）、推定処理を行う項数Ｎ、任意の１より小さいＲの判定用データＲＴ（例えば、ＲＴ＝０．８）を用意する（ステップＳ２０１）。ここで、（ｘ，ｙ）は、第１の画像信号をＷ×Ｈに区分した領域のうち、水平方向ｗ，垂直方向ｈの領域（ｗ，ｈ）に含まれる画素位置を示す。
【００６０】
次に、第１の画像信号処理部２１は、Ｏ光線像Ｉｏに対するＥ光線像Ｉｅの強度が弱いと仮定した場合の変動量ＲＴ１を生成する（ステップＳ２０２）。すなわち、領域（ｗ，ｈ）内の第１の画像信号Ｉｐについて、式（８）の重像間変位方向Ｓ２をｘ方向のみとした式（１４）の計算を行う。
【数１７】
【００６１】
さらに、第１の画像信号処理部２１は、Ｏ光線像Ｉｏに対するＥ光線像Ｉｅの強度が強いと仮定した場合の変動量ＲＴ２を生成する（ステップＳ２０３）。すなわち、領域（ｗ，ｈ）内の第１の画像信号について、式（９）の重像間変位方向Ｓ２をｘ方向のみとした式（１５）の計算を行う。
【数１８】
【００６２】
続いて、第１の信号処理部２１は、式（１４）および（１５）で求めた変動量ＲＴ１とＲＴ２とを比較して、Ｏ光線像ＩｏとＥ光線像Ｉｅとの強弱を判定する（ステップＳ２０４）。ＲＴ１＞ＲＴ２の場合は、Ｏ光線像Ｉｏの強度に対するＥ光線像Ｉｅの強度が弱いと判断し、ＲＴ１＜ＲＴ２の場合は、Ｏ光線像Ｉｏの強度に対するＥ光線像Ｉｅの強度が強いと判断する。
【００６３】
Ｏ光線像Ｉｏの強度に対してＥ光線像Ｉｅの強度が弱い場合は（ステップＳ２０５）、Ｒ（ｗ，ｈ）の推定値Ｒ＾（ｗ，ｈ）を、Ｅ光線像Ｉｅの強度／Ｏ光線像Ｉｏの強度として、式（１２）に基づく式（１６）により最急降下法により求める（ステップＳ２０６）。
【数１９】
ここで強度比Ｒの推定値Ｒ＾は１未満の数値となる。
【００６４】
また、Ｏ光線像Ｉｏの強度に対してＥ光線像Ｉｅの強度が強い場合は、Ｒ（ｗ，ｈ）の推定値Ｒ＾（ｗ，ｈ）を、Ｏ光線像Ｉｏ／Ｅ光線像Ｉｅの強度の強度として、式（１２）に基づく式（１７）により最急降下法により求める（ステップＳ２０７）。
【数２０】
ここで、強度比Ｒの推定値Ｒ＾は、１未満の数値となる。
【００６５】
第１の画像信号をＷ×Ｈに区分した領域のうち、水平方向ｗ、垂直方向ｈの領域についてこのようにして求めた強度比Ｒの推定値をＲ＾（ｗ，ｈ）とする。
【００６６】
なお、一例として、固体撮像素子１１の画素配列を６４０画素×４８０画素とし、一つの領域の大きさを１６画素×１６画素とすることができる。この場合、領域間の重複が無い場合は、Ｗ＝４０、Ｈ＝３０となる。また、Ｏ光線像ＩｏとＥ光線像Ｉｅとの重像間変位量は、水平方向の幅の１／５０〜１／２０程度となる１３〜３２画素程度が好ましい。
【００６７】
また、固体撮像素子１１の水平方向の両端に近い領域については、式（１６）または（１７）の計算において、演算に必要となる画像信号Ｉｐの画素位置（ｘ，ｙ）が、固体撮像素子１１の撮像可能な領域外になる場合があるが、領域外には固体撮像素子１１の最も端に位置する画素の信号値と同じ画素値の信号が水平方向に並んでいるものとして処理するなど、適切な処理を行うことができる。
【００６８】
以上説明したように本実施の形態によれば、被写体１からの光Ｂの複屈折光学素子１３によるＯ光線像（第１の像）ＩｏとＥ光線像（第２の像）Ｉｅとの相対的変位方向（重像間変位方向Ｓ２）と、固体撮像素子１１の画素配列の一方向（ｘ方向）とが一致するように、複屈折光学素子１３と固体撮像素子１１とを配置したので、被写体１からの光Ｂを偏光方向の異なるＯ光線ＢｏとＥ光線Ｂｅとに分離して固体撮像素子１１に結像させた重像の画像信号Ｉｐから被写体１からの光Ｂの直交する２つの偏光成分の像Ｉｏ，Ｉｅ間の強度比を算出するに際し、重像間変位方向Ｓ２をｘ方向のみの計算に単純化し、演算時間を短縮することができる。
【００６９】
さらに、複屈折光学素子１３を用いて被写体１からの光Ｂを偏光方向の直交する偏光成分Ｂｏ，Ｂｅに分離して、固体撮像素子１１に結像させ、得られた第１の画像信号Ｉｐを重像変位推定の方法を適用して、被写体像の直交する偏光成分間の強度比Ｒを推定したので、一つの固体撮像素子１１を用いて一回の撮影によって、被写体像と偏光状態の撮影が可能である。
【００７０】
また、本実施の形態の偏光撮影装置１０では、固体撮像素子１１の受光面１１ａの画素ごとに、それぞれ偏光方向の異なる特殊な偏光フィルタを配置する必要が無いので、安価に装置を構成することが可能であり、さらに、偏光撮影以外に通常の撮影を行うために固体撮像素子１１を使用することが可能である。
【００７１】
（第２実施の形態）
図６は、本発明の第２実施の形態に係る偏光撮影装置１０の光学系の構成を説明する図である。本実施の形態は、第１実施の形態に係る偏光撮像装置において、複屈折光学素子１３の被写体１側に偏光比を変化させる偏光素子１６を設けたものである。したがって、本実施の形態の光学系１２は、偏光素子１６、複屈折光学素子１３、レンズ１４を含んで構成される。偏光素子１６は、例えば、被写体１からの光ＢのＯ光線ＢｏとＥ光線Ｂｅとのそれぞれの偏光方向成分の強度比が、１／１０〜１０の範囲内にあるような被写体１に対しては、Ｏ光線像Ｉｏに対するＥ光線像Ｉｅの消光比を１／１５程度とするものを使用する。
【００７２】
これにより、固体撮像素子１１の受光面１１ａでのＯ光線像Ｉｏに対するＥ光線像Ｉｅの強度比Ｒは、常に０．７未満となるので、Ｏ光線像ＩｏとＥ光線像Ｉｅとの強弱を判定し場合分けするためのステップが不用となる。すなわち、第１実施の形態の図５のフローチャートのステップＳ２０２〜Ｓ２０５，Ｓ２０７が不要となり、ステップＳ２０６で式（１６）によって、強度比Ｒの推定を行うことができる。また、強度比Ｒが１から離れた値なので、演算の収束が速い。その他の構成、作用は、第１実施の形態と同様であるので、同一構成要素には同一参照符号を付して説明を省略する。
【００７３】
したがって、本実施の形態にかかる偏光撮影装置によれば、第１実施の形態の偏光撮影装置と比べ、さらに強度比Ｒの推定の計算を単純化することができ、演算時間を短縮することができる。
【００７４】
（第３実施の形態）
図７は、本発明の第３実施の形態に係る偏光撮影装置の概略構成を示す図である。本実施の形態に係る偏光撮影装置１０は、第１実施の形態により得られた領域ごとの直交する偏光成分の像の強度比Ｒを用いて、複屈折光学素子１３を設けなかった場合の被写体像を推定するとともに、各領域の偏光分布を推定した被写体像の上に視覚的に表示するようにしたものである。
【００７５】
このため、本実施の形態の偏光撮影装置１０は、第１実施の形態の偏光撮影装置の構成に加え、第２の画像信号処理部２６と第３の画像信号処理部２７と表示部２８とを備えると共に、記憶部２４は、第１の画像信号処理部２１ではなく第３の画像信号処理部２７に接続されている。
【００７６】
第２の画像信号処理部２６は、第１の画像信号処理部２１から出力された被写体像の偏光成分間の強度比Ｒ（ｗ，ｈ）を用いて、式（１８）により複屈折光学素子１３を設けなかった場合の被写体像の画像信号Ｉ＾（ｘ，ｙ，ｗ，ｈ）を推定する。
【数２１】
【００７７】
ここで、Ｒ（ｗ，ｈ）の推定と、原画像Ｉの画像信号の推定は並行して行っても良い。すなわち、図４のフローチャートのループ内で、強度比Ｒ（ｗ，ｈ）の推定後に当該領域の画像信号の推定（式（１８））を実行するようにしても良い。このようにして得られた各領域の原画像の画像信号の推定値Ｉ＾（ｘ，ｙ，ｗ，ｈ）を貼り合わせ、原画像Ｉ全体の画像信号の推定値である第２の画像信号Ｉ＾を得る。この第２の画像信号Ｉ＾は、第１実施の形態において複屈折光学素子１３を除外した場合に得られる２重化されていない像に相当する。このようにして得られた第２の画像信号Ｉ＾により画像信号の輝度分布が求まることから、これと領域毎の強度比Ｒ（ｗ，ｈ）を用いることで、Ｏ光線像Ｉｏに対するＥ光線像Ｉｅの強度比だけでなく、強度の差分のデータを得ることができる。
【００７８】
さらに、第２の画像信号処理部２６は、第２の画像信号Ｉ＾を第３の画像信号処理部２７に送信する。第３の画像信号処理部２７は、第２の画像信号Ｉ＾を第２の画像信号処理部２６から受信するとともに、強度比Ｒ（ｗ，ｈ）を第１の画像信号処理部２１から受け取り、これら第２の画像信号Ｉ＾と強度比Ｒ（ｗ，ｈ）との合成を行う。例えば、画像の領域ごとの強度比Ｒ（ｗ，ｈ）を、その値に応じた色で表現するものとし、第２の画像信号Ｉ＾に基づく原画像Ｉと、強度比Ｒ（ｗ，ｈ）に基づく領域ごとの色を重ね合わせて、画像を生成する。生成した画像は、記憶部２４に記憶するとともに、表示部２８に表示する。その他の構成、作用は、第１実施の形態と同様であるので、同一構成要素には同一参照符号を付して説明を省略する。
【００７９】
本実施の形態によれば、各領域の偏光分布を、複屈折光学素子１３が無い場合に得られる像と重ね合わせて、視覚的に分かりやすく表示することができる。
【００８０】
なお、本実施の形態では、第３の画像信号処理部２７による処理結果を記憶部２４に記憶するとともに表示部２８に表示するものとしたが、第２の画像信号処理部２６で推定した第２の画像信号Ｉ＾についても、記憶部２４に記憶し、および／または、表示部２８に表示するようにしても良い。
【００８１】
（第４実施の形態）
図８は、本発明の第４実施の形態に係る偏光撮影装置の光学系の構成を説明する図である。本実施の形態に係る偏光撮影装置１０は、第１実施の形態に係る偏光撮影装置１０において、複屈折光学素子１３を着脱可能としたものである。
【００８２】
このため、偏光撮影装置１０は、被写体１から固体撮像素子１１に向かう光路上から光路外へ、あるいは、光路外から光路上へ、複屈折光学素子１３を移動させるための駆動機構３１を備えている。偏光撮影装置１０の使用者により、偏光撮影装置１０の図示しない入力部を介して複屈折光学素子１３の着脱が指示されると、図示しない制御部が駆動機構３１を制御して、複屈折光学素子１３を駆動する。
【００８３】
駆動機構３１により光路外へ複屈折光学素子１３を移動させた場合には、被写体１からの光Ｂは、偏光方向により光路が分離されることなく、光学系１２により固体撮像素子１１の受光面１１ａに結像する。これにより、固体撮像素子１１からの画像信号は、通常の画像信号として処理することができる。すなわち、偏光撮影装置１０は、通常の撮影装置として兼用することが可能になる。その他の構成、作用は、第１実施の形態と同様であるので、同一構成要素には同一参照符号を付して説明を省略する。
【００８４】
以上説明したように、本実施の形態によれば、複屈折光学素子１３を光路上に着脱可能としたので、同一の偏光撮影装置１０を用いて、偏光状態の撮影と通常画像の撮影とを切り替えて行うことができる。
【００８５】
なお、本実施の形態では、複屈折光学素子１３を移動させて、偏光撮影と通常撮影とを切り替えるようにしたが、複屈折光学素子１３の駆動機構３１に代えて、ミラー等を用いて被写体１からの光の光路を、複屈折光学素子１３を通らないように切り替え可能に構成しても良い。あるいは、複屈折光学素子１３を、電気的に屈折率特性の有効・無効の切り替えが可能な誘電体材料を用いて構成し、複屈折率光学素子を制御する切り替え制御部を設けて偏光状態の撮影と通常の撮影とを切り替えるようにしても良い。
【００８６】
なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。たとえば、Ｏ光線像とＥ光線像との相対的変位方向である重像間変位方向Ｓ２と、固体撮像素子１１の画素配列の水平方向（ｘ方向）とが一致するように、複屈折光学素子と固体撮像素子１１とを配置するものとしたが、これに限られない。重像間変位方向と固体撮像素子１１の画素配列の垂直方向（ｙ方向）とが一致するように、複屈折光学素子と固体撮像素子１１とを配置しても良い。
【００８７】
また、第１の実施形態では、複屈折光学素子による被写体からの光の偏光分離方向と固体撮像素子の画素配列方向とが、偏光撮影装置の筐体に対して固定されている場合のみならず、複屈折光学素子がレンズの鏡枠に組み込まれており、ズーム動作やフォーカス動作による鏡枠の回転に伴って回転し、その回転に連動して撮像素子を回転させて、複屈折光学素子の偏光分離方向と撮像素子の画素配列方向とを一致させる場合も含まれる。
【００８８】
また、第２実施の形態における偏光素子１６と第４実施の形態における駆動機構３１は、第１実施の形態に係る偏光撮影装置１０に付加したものとしたが、第３実施の形態に係る偏光撮影装置１０に、これらの構成要素を組み込むことも可能である。
【符号の説明】
【００８９】
１ 被写体
１０ 偏光撮影装置
１１ 固体撮像素子
１１ａ 受光面
１２ 光学系
１３ 複屈折光学素子
１３ａ 光学軸
１４ レンズ
１６ 偏光素子
２１ 第１の画像信号処理部
２２ 光学系駆動制御部
２３ 重像間変位量算出部
２４ 記憶部
２６ 第２の画像信号処理部
２７ 第３の画像信号処理部
２８ 表示部
３１ 駆動機構
Ｂ 被写体からの光
Ｂｏ Ｏ光線（第１の偏光成分）
Ｂｅ Ｅ光線（第２の偏光成分）
Ｓ１ 分離方向
Ｓ２ 重像間変位方向
ｘ 水平方向（画素配列の一方向）
ｙ 垂直方向
Ｉ 原画像
Ｉｏ Ｏ光線像（第１の像）
Ｉｅ Ｅ光線像（第２の像）
Ｉｐ 観測画像（第１の画像信号）
【技術分野】
【０００１】
本発明は、被写体からの光の偏光状態を撮影する偏光撮影装置に関する。
【背景技術】
【０００２】
被写体からの光の偏光状態を観察することによって、被写体の所定の特徴を強調して検出することができることが知られている。例えば、液晶基板や半導体ウェーハ等の外観検査装置では、撮像素子の前に偏光子を配置して、特定の偏光成分の光を撮影する装置が提案されている。この装置は、偏光成分を所定の方向に制限することによって、特定の欠陥を際立たせようとするものであり、偏光方向を異ならせた複数の偏光成分の光を撮影して検査を行う。
【０００３】
例えば、特許文献１によれば、被写体により反射された光の光路を２方向に分岐させ、それぞれの光路に偏光板と撮像部とを配置し、それぞれの撮像部が互いに偏光方向の直交する偏光成分の光を受光するようにした欠陥検査装置が開示されている。すなわち、この欠陥検査装置では、被写体からの異なる偏光方向の光による画像を同時に得るために、撮像部を２つ設けている。
【０００４】
また、特許文献２では、撮像素子の隣接する画素ごとに、方位の異なる偏光軸を有する偏光素子を配置し、１回の撮影により１つの撮像素子で、複数の偏光方向に対応した信号を取り込むことができる偏光撮影装置が開示されている。したがって、特許文献２に記載の撮像素子を用いることにより、１回の撮影で、被写体からの異なる偏光方向の光による画像を合成することが可能になる。
【０００５】
すなわち、特許文献１および２に開示された装置によれば、1回の撮影で同時に、被写体からの異なる偏光方向の光による画像を取得することができる。したがって、撮像素子の手前に偏光フィルタを配置し、偏光フィルタの偏光方向を変えつつ複数回撮影して、偏光方向の異なる光による画像を取得する場合と比べて、短時間のうちに撮影を行うことができ、検査装置に用いた場合には、タクトタイムを短くすることができる。
【０００６】
一方、硝子の内部反射などに起因して２重化された像（重像）から、もとの画像を復元する技術が提案されている（例えば、特許文献３および４、非特許文献１参照）。例えば、非特許文献１では、２重化された像の強度比を既知のものとして、２重化された像の像間の相対的変位量および変位方向を推定し、それら推定した変位量および変位方向と２重化された像に基づき原画像Ｉを復元している。
【０００７】
非特許文献１によれば、観測画像をｇ、原画像をｆ、単位行列をＩ、硝子の内部反射率の自乗をγ、内部反射による重像の変位ｐの変形を行う作用をＡ（ｐ）とすると、２つの像が多重化されている重像の生成過程は、式（１）のようにモデル化できる。
【数１】
【０００８】
γおよびＡが与えられている場合、式（１）の級数展開により、原画像の推定値ｆ＾は式（２）で得られる。なお、ｆ＾は、ｆの上に「＾（ハット）」がついていることを示す。以下、他の符号に＾を付した場合も同様とする。
【数２】
【０００９】
ここで、内部反射率γが１よりも小さい値であり、多重反射像のコントラストが減少することを前提としているので、式（２）は収束が保証されている。ここで、原画像fを推定するために、pの値を変えながら下記の最適化推定を行う。
【数３】
変位量ｐを推定して重像から原画像を復元する場合、復元処理が正しく行われれば、原画像成分以外がキャンセルされ、画像信号の変動成分が減少する。しかし、変位量ｐが正しい値からずれると、画像に不自然なエッジが発生し、画像信号の変動成分が増加する。したがって、変位量ｐの推定値ｐ＾は、変動成分を計算する様なノルムを用いる最小ノルム推定(式（３）)によりで求めることができる。式（３）において、Ｌは例えば微分演算や差分演算等の画像の変動成分を算出する処理であり||・||はノルムを表している。
【００１０】
以降においては、重像の画像データから像の強度比、変位量、変位方向を推定する計算を重像推定演算と呼ぶことにする。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００５−２７４１６１号公報
【特許文献２】特開２００９−０４２０４０号公報
【特許文献３】特開２００９−１３３６４２号公報
【特許文献４】特開２００９−１３４３５７号公報
【非特許文献】
【００１２】
【非特許文献１】矢野高宏，清水雅夫，奥富正敏著「多重像画像からの原画像の復元と重像間変位推定」，画像の認識・理解シンポジウム(MIRU2009)，2009年7月，OS1-3:23
【発明の概要】
【発明が解決しようとする課題】
【００１３】
特許文献１に開示された欠陥検査装置では、２つの撮像部を設けているために撮像素子等の部品が重複して必要となりコスト高となる。また、特許文献２に開示された偏光撮影装置では、画素毎に偏光素子を配置した特殊な撮像素子が必要となりコスト高となるうえに、撮像素子を通常の撮影用途と兼用することができないという問題点がある。
【００１４】
そこで、本発明の発明者は、１つの撮像素子を用いて１回の撮影によって偏光状態を測定し、且つ、通常の撮影装置との兼用も可能な偏光撮影装置として、複屈折材料（例えば、方解石、水晶板）により形成される複屈折光学素子を用いて、被写体からの光を直交する２つの偏光成分に分離し重ね合わせた、重像の画像データを取得し、これに上述の特許文献３および４並びに非特許文献１に記載のような重像推定演算を適用することにより偏光状態の推定を行うことを考えついた。
【００１５】
しかし、重像間推定演算は、重像から元の画像を復元するために、多数の微分または差分演算と繰り返し推定を行う必要があり、計算過程が複雑で処理に時間を要する。さらに、硝子等による内部反射による重像の場合は、内部反射率がほぼ一定であり、すなわち、重像間の強度比が一定の条件の下で変位方向と変位量とを計算している。しかし、偏光状態の撮影に適用する場合には、重像間の強度比は未知の変数となるため、さらに推定計算に時間を要することが懸念される。このため、重像推定演算をさらに単純化・高速化することが必要となる。
【００１６】
したがって、これらの点に着目してなされた本発明の目的は、被写体の偏光分布を取得する撮影装置において、上記の重像変位推定を用いて、被写体からの光の直交する偏光成分を分離して結像させた重像の画像信号から直交する偏光成分の像間の強度比を算出するに際し、計算を単純化して演算時間を短縮した偏光撮影装置を提供することにある。
【課題を解決するための手段】
【００１７】
上記目的を達成する請求項１に係る偏光撮影装置の発明は、
マトリクス状に複数の画素が配列された固体撮像素子と、被写体からの光を直交する第１の偏光成分と第２の偏光成分とに分離する複屈折光学素子を含み、前記第１の偏光成分による第１の像と前記第２の偏光成分による第２の像とを前記固体撮像素子上に結像させる光学系とを有し、前記固体撮像素子に結像される前記第１の像と前記第２の像との相対変位方向と、前記固体撮像素子の画素配列の一方向とを一致させるように構成された撮像部と、
前記光学系の光学特性情報に基づいて、前記固体撮像素子に結像される前記第１の像と前記第２の像との相対的変位量を算出する重像間変位量算出部と、
前記固体撮像素子から得られる第１の画像信号と、前記変位量とに基づいて、前記固体撮像素子に結像された、前記第１の像と前記第２の像との強度比を算出する第１の画像信号処理部と
を備えたことを特徴とするものである。
【００１８】
請求項２に係る発明は、請求項１に記載の偏光撮影装置において、
前記重像間変位量算出部は、前記複屈折光学素子の光学特性および前記光学系の像倍率を含む前記光学特性情報から、前記変位量を算出することを特徴とするものである。
【００１９】
請求項３に係る発明は、請求項１または２に記載の偏光撮影装置において、
前記第１の画像処理部は、前記第１の像と前記第２の像との強弱を判定し、該判定結果に基づいて、演算結果が収束するように重像推定演算を適用し、前記強度比を算出することを特徴とするものである。
【００２０】
請求項４に係る発明は、請求項１または２に記載の偏光撮影装置において、
前記光学系は、前記第１の偏光成分と前記第２の偏光成分とに対して異なる透過率を有する偏光素子を備えることを特徴とするものである。
【００２１】
請求項５に係る発明は、請求項４に記載の偏光撮影装置において、
前記偏光素子は、少なくとも前記第１の偏光成分または前記第２の偏光成分の透過率を、変更可能に構成されていることを特徴とするものである。
【００２２】
請求項６に係る発明は、請求項１から５のいずれか一項に記載の偏光撮影装置において、
前記強度比および前記第１の画像信号に基づいて、前記複屈折光学素子を設けない場合に前記固体撮像素子により取得されるべき画像信号を推定し、第２の画像信号として出力する第２の画像信号処理部を有することを特徴とするものである。
【００２３】
請求項７に係る発明は、請求項６に記載の偏光撮影装置において、
前記第２の画像信号上に前記強度比に基づく信号を重ね合わせる第３の画像信号処理部を有することを特徴とするものである。
【００２４】
請求項８に係る発明は、請求項１から７のいずれか一項に記載の偏光撮影装置において、
前記光学系は、前記複屈折光学素子が着脱可能に構成されていることを特徴とするものである。
【発明の効果】
【００２５】
本発明によれば、固体撮像素子に結像される第１の像と第２の像との相対変位方向と、固体撮像素子の画素配列の一方向とを一致させたので、被写体からの光の直交する偏光成分を分離して結像させた重像の画像信号から、被写体からの光の直交する偏光成分の像間の強度比を算出するに際し、計算を単純化して演算時間を短縮した偏光撮影装置を提供することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の第１実施の形態に係る偏光撮影装置の概略構成を示す図である。
【図２】偏光成分による被写体像の分離を説明する図であり、図２（ａ）は、複屈折光学素子による常光線（Ｏ光線）と異常光線（Ｅ光線）の分離を示す上面図、図２（ｂ）は、固体撮像素子の受光面上に結像する被写体像の変位を示す図である。
【図３】固体撮像素子の受光面における画素配列と、被写体像の変位方向との関係を示す図である。
【図４】被写体像の偏光成分間の強度比を算出するフローチャートである。
【図５】図４の各領域の被写体像の偏光成分間の強度比推定の詳細を示すフローチャートである。
【図６】本発明の第２実施の形態に係る偏光撮影装置の光学系の概略構成を説明する図である。
【図７】本発明の第３実施の形態に係る偏光撮影装置の概略構成を示す図である。
【図８】本発明の第４実施の形態に係る偏光撮影装置の光学系の構成を説明する図である。
【発明を実施するための形態】
【００２７】
まず、本発明の実施例を説明するに先立ち、本発明が基礎とする複屈折光学素子を用いた重像の形成と、その重像に基づいて直交する偏光成分の像間の強度比を求める重像推定演算について説明する。
【００２８】
方解石や水晶などの複屈折特性を有する材料からなる複屈折光学素子では、入射した光線は結晶の異方性のために常光線（ordinary ray：Ｏ光線）と異常光線（extraordinary ray：Ｅ光線）とに分かれて進む。この２つの光線は互いに直交する偏光方向を有することが知られている。所定の厚みを有する複屈折光学素子を通過すると、Ｏ光線とＥ光線との相対的な分離量は、Ｏ光線の屈折率とＥ光線の屈折率および複屈折光学素子の厚みによって知ることが出来る。また、光学配置から、Ｏ光線とＥ光線とを特定することができる。
【００２９】
複屈折光学素子を透過して撮像素子上に結像し観測された観測画像Ｉｐは、Ｏ光線による画像（第１の像、以下、Ｏ光線像とも呼ぶ）およびＥ光線による画像（第２の像、以下、Ｅ光線像とも呼ぶ）をそれぞれＩｏ，Ｉｅとすると、式（４）のように表すことができる。
【数４】
ここで、Ｏ光線に対するＥ光線の画像データ上（すなわち撮像素子上）のｘ方向およびｙ方向の変位量をＤｘ，Ｄｙとすると、式（４）は式（５）のように書き換えることができる。
【数５】
【００３０】
ここで、Ｒは、Ｏ光線像に対するＥ光線像の強度比である。Ｒの推定値Ｒ＾は、式（３）の最小ノルム推定と同様に、強度比Ｒを変化させたときに、最も滑らかな画像が得られるべきことから、Ｒ＜１の場合は、最小ノルムの推定により式（６−１）により求めることができる。
【数６】
【００３１】
Ｒの最適値推定に関しては、勾配降下法等の公知の方法を用いることができる。式（６−１）でＮは項数を示しているが、項数が高いほどＲの推定精度が高くなる。一般には項数を増やした方が原画像の復元精度が高くなる。その際の原画像Iの推定値Ｉ＾は、式（７）で表される。
【数７】
ただし、式（６−１）,（７）の右辺はＲが１未満の場合に限って収束が保証されている。
【００３２】
複屈折光学素子を使った重像の形成では、撮像素子の受光面上でのＯ光線に対するＥ光線の相対的変位量（重像間変位量）および相対的変位方向（重像間変位方向）は、複屈折光学素子を構成する複屈折材料の屈折率、形状、光学系の像倍率等の光学系の光学特性情報から求めることが出来る。しかしながら、Ｏ光線に対して、Ｅ光線の強度が１より小さい事は保証されていない。そこで、重像である観測画像Ｉｐが、
（ｉ）Ｏ光線像に対するＥ光線像の強度比（Ｒ１）がＲ１＜１．０であり、Ｏ光線に対してＥ光線がＤｘ，Ｄｙの変位量を有するものとする場合と、
（ｉｉ）Ｅ光線像に対するＯ光線像の強度比（Ｒ２）がＲ２＜１．０であり、Ｅ光線に対してＯ光線が−Ｄｘ，−Ｄｙの変位量を有するものとする場合と
の双方の場合を考慮する。
【００３３】
上記（ｉ）および（ｉｉ）の何れの場合に属するかは、ＲＴにＲＴ＜１の適当な数値を代入して、次の変動量の計算式（８）および（９）の計算をすれば良い。
【数８】
【数９】
【００３４】
（ｉ）Ｏ光線像に対するＥ光線像の強度比（Ｒ１）がＲ１＜１．０であり、Ｏ光線に対してＥ光線がＤｘ，Ｄｙの変位量を有するものとする場合は、
【数１０】
となり、（ｉｉ）Ｅ光線像に対するＯ光線像の強度比（Ｒ２）がＲ２＜１．０であり、Ｅ光線に対してＯ光線が−Ｄｘ，−Ｄｙの変位量を有するものとする場合は
【数１１】
となる。よって、１回の試算で上記（ｉ），（ｉｉ）のいずれのケースであるか判断でき、判断した（ｉ）または（ｉｉ）のケースに応じて、式（８）または（９）の一方について、変動量を最小にする強度比Ｒを求める最適化の計算を行えば良い。
【００３５】
すなわち、（ｉ）の場合は、式（６−１）によりＯ光線像に対するＥ光線像の強度比の推定を行う。
【数１２】
また、（ｉｉ）の場合は、式（６−２）により、Ｅ光線像に対するＯ光線像の強度比の推定を行う。
【数１３】
【００３６】
以上のように、複屈折光学素子により、直交する２つの偏光成分に分離された２つの被写体像を重ね合わせた重像から、偏光成分の異なるＯ光線像とＥ光線像との強度比を推定することができる。また、推定した強度比を用いて、式（７）により複屈折光学素子を配置しなかった場合の被写体像を推定することができる。なお、具体的には、被写体からの光のＯ光線像とＥ光線像との強度比は、画像をＷ×Ｈの領域に区分して、同一領域内では強度比は変化しないものとして領域ごとに推定を行う。
【００３７】
次に、計算を単純化する方法について説明する。
【００３８】
Ｏ光線像ＩｏとＥ光線像Ｉｅとの相対的変位方向である重像間変位方向と、固体撮像素子のマトリクス状の画素配列の一方向、例えば、水平方向（ｘ方向）とが一致するように、複屈折光学素子と固体撮像素子とを配置する。このようにすると、式（６−１）および（６−２）の変動量算出の演算Ｌを１次元で実行できるので、式（１２）のように計算が単純化される。
【数１４】
ここで、Ｌ１は、水平方向（ｘ方向）の変動量を計算する演算であり、例えば、水平方向に隣接する画素データの差分値である。なお、右辺の±の符号は、Ｏ光線像に対するＥ光線像の強度比が１未満か１以上かによって＋または−となり、上述の（ｉ）および（ｉｉ）の判断方法と同様の方法で決定することができる。
【００３９】
また、式（６−１），（６−２）、または、式（１２）の強度比Ｒ＾の計算において、Ｏ光線像とＥ光線像との強度比が１に近い場合は、Σの計算の収束性が悪くなるため、項数Ｎを大きくしなければならない。さらに、項数Ｎを大きくして強度比Ｒを推定しても、式（７）等による原画像の復元の品質は保証し難いうえ、原画像を復元する演算でも項数Ｎを大きくしなければならず、計算量が多くなる。
【００４０】
そこで、測定対象に応じて、Ｏ光線とＥ光線との強度の差異が小さい場合においては、予めいずれかの偏光の強度を弱くするような光学素子を、複屈折光学素子の被写体側前方または後方に配置することによって、上記の強度比Ｒを１から離れた値にすることができる。例えば、異方性を有するフィルム等の透過性の材料を光路に配置することや、Ｏ光線またはＥ光線のいずれかの偏向方向をより透過させるように、例えば、Ｏ光線の偏光方向に対して、偏光方向を２０度または７０度傾けて偏光板を配置することによって実現できる。
【００４１】
例えば、Ｏ光線像に対するＥ光線像の強度比が０．１４〜７の範囲となる場合、Ｏ光線の透過率に対するＥ光線の透過率を１／１０に抑える光学素子を用いれば、固体撮像素子１１上での強度比は、０．０１４〜０．７となるので、実用的な項数Ｎ＝１０程度で強度比Ｒの推定が可能となる。そこで、この光学素子を使用した場合は、常に上述の（ｉ）の場合、すなわち、Ｏ光線像に対するＥ光線像の強度比（Ｒ１）がＲ１＜１．０であり、Ｏ光線に対してＥ光線がＤｘ，Ｄｙの変位量を有するものとする場合のみが発生するものとして、
【数１５】
を最急降下法で求めれば良い。
【００４２】
なお、偏光板を用いた場合は、測定対象に応じて、偏向板の偏向方向と複屈折光学素子のＯ光線またはＥ光線の偏向方向との成す角を適宜変更することができる。
【００４３】
以下に、重像推定演算の計算を単純化し、計算時間の短縮を実現した本発明の実施の形態について、図面を参照して説明する。
【００４４】
（第１実施の形態）
図１は、本発明の第１実施の形態に係る偏光撮影装置の概略構成を示す図である。偏光撮影装置１０は、固体撮像素子１１と、光学系１２と、第１の画像信号処理部２１と、光学系駆動制御部２２と、重像間変位量算出部２３と記憶部２４とを備える。ここで、固体撮像素子１１と光学系１２とは、撮像部を構成する。また、図１において、破線は光線を示し、実線は画像信号の流れを示し、２点鎖線は画像信号以外のデータの流れを示している。
【００４５】
固体撮像素子１１は、マトリクス状に画素が配置された、ＣＣＤ（charge Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等である。この固体撮像素子１１は、受光面１１ａで検出した画像光強度を電気信号である画像信号に変換する。
【００４６】
光学系１２は、複屈折光学素子１３とレンズ１４等の他の光学素子とを含んで構成され、被写体１からの光Ｂを固体撮像素子１１の受光面１１ａに結像させる。複屈折光学素子１３は、方解石や水晶などの異方性を有する材料より形成され、被写体１からの光Ｂを常光線Ｂｏと異常光線Ｂｅとに分離する複屈折率特性を有する。光学系１２は、複屈折光学素子１３で分離された常光線Ｂｏと異常光線Ｂｅとをそれぞれ、固体撮像素子１１の受光面１１ａの異なる（変位した）位置にＯ光線像（第１の像）およびＥ光線像（第２の像）として結像させる。図においては、光学系１２の光学素子をレンズ１４により代表して表示している。なお、図１では簡単のため、レンズ１４を通過する常光線Ｂｏと異常光線Ｂｅとを直線的に表現しているが、実際には光学素子を通る光線は光学素子による偏向等を受ける。
【００４７】
図２は、偏光成分による被写体像の変位を説明する図であり、図２（ａ）は、複屈折光学素子１３による常光線（Ｏ光線）と異常光線（Ｅ光線）との分離を示す上面図である。被写体１からの光Ｂは、複屈折光学素子１３に入射すると、複屈折光学素子１３内でＯ光線ＢｏとＥ光線Ｂｅとに分離される（分離方向Ｓ１）。Ｏ光線Ｂｏは、紙面に対して垂直な方向の直線偏光、Ｅ光線Ｂｅは紙面に対して平行な方向の直線偏光となる。（Ｏ光線Ｂｏは、被写体１からの光Ｂの紙面に対して垂直な偏光成分、Ｅ光線Ｂｅは、同じく紙面に対して平行な成分が分離されたものである。）なお、複屈折光学素子１３の光学軸１３ａは、所望のＯ光線ＢｏとＥ光線Ｂｅとの分離が生じる向きに設定されている。
【００４８】
また、図２（ｂ）は、固体撮像素子１１の受光面１１ａ上に結像する被写体像を示す図である。複屈折光学素子１３を透過したＯ光線ＢｏとＥ光線Ｂｅとは、光学系１２によって撮像素子１１の受光面１１ａに、それぞれＯ光線像ＩｏとＥ光線像Ｉｅとを結像する。図２（ｂ）において、Ｓ２は、Ｏ光線像ＩｏとＥ光線像Ｉｅとの間の相対的変位方向である重像間変位方向Ｓ２を示している。固体撮像素子１１は、Ｏ光線像ＩｏとＥ光線像Ｉｅとが重ね合わされた観測画像Ｉｐを電気信号に変換して第１の画像信号Ｉｐとして取り込む。
【００４９】
複屈折光学素子１３を透過した直後のＯ光線ＢｏとＥ光線Ｂｅとの分離幅Ｄｂは、Ｏ光線Ｂｏの屈折率をｎｏ、Ｅ光線Ｂｅの屈折率をｎｅ、複屈折光学素子１３の厚みをｄとすると式（１３）により与えられる。
【数１６】
したがって、光学系１２の像倍率が解れば、第１の画像信号上でのＯ光線像ＩｏとＥ光線像Ｉｅとの重像間変位方向Ｓ２および変位量Ｄを知ることができる。
【００５０】
図３は、固体撮像素子１１の受光面１１ａにおける画素配列と、被写体像Ｉｐの重像間変位方向Ｓ２との関係を示す図である。固体撮像素子１１は、水平方向（ｘ方向）と垂直方向（ｙ方向）とに沿うマトリクス状に画素が配置されている。この撮像素子１１の受光面１１ａに結像するＯ光線像ＩｏとＥ光線像Ｉｅとは、相対的に重像間変位方向Ｓ２に変位した画像として結像される。画素配列の一方向、例えば、ｘ方向と重像間変位方向Ｓ２とを一致させるように、複屈折光学素子１３と固体撮像素子１１とが配置される。なお、これらの配置は固定にしても、レンズ枠の回転に応じて自動的に調整配置するようにしても、また、目盛りなど使用者が解るような指示によって所定の位置関係になるようにしても良い。
【００５１】
また、図１に示した光学系駆動制御部２２は、偏光撮影装置１０全体を制御する図示しない制御部からの指示により、光学系１２に含まれる光学素子、例えばレンズ１４を駆動制御する。図１において、光学系駆動制御部２２は、レンズ１４と矢印で結ばれているが、レンズ１４は光学系１２の構成要素を代表して表示したものであり、光学系駆動制御部２２は、光学系１２の他の構成要素も制御する。重像間変位量算出部２３は、光学系駆動制御部２２から、偏光撮影時の光学系１２の像倍率情報を取得する。重像間変位量算出部２３はまた、複屈折率光学素子１３のＯ光線ＢｏおよびＥ光線Ｂｅの屈折率ｎｏ，ｎｅ、並びに、厚みｄ、配置、形状等の光学特性の情報を保持し、式（１３）により求めた分離幅Ｄｂに像倍率を乗じて、重像間変位量Ｄｘを算出して、第１の画像信号処理部２１へ出力する。
【００５２】
第１の画像信号処理部２１は、固体撮像素子１１と接続されており、固体撮像素子１１からＯ光線像ＩｏとＥ光線像Ｉｅとが重ね合わされた像信号である第１の画像信号Ｉｐを受信する。Ｏ光線像ＩｏとＥ光線像Ｉｅとの相対的変位方向である重像間変位方向Ｓ２と、固体撮像素子１１の画素配列の一方向とがｘ方向で一致するので、第１の信号処理部２１は、式（１２）に基づいて、第１の画像信号Ｉｐから水平方向にＤｘまたは−Ｄｘずつシフトした画像データ群を生成して、強度比Ｒ（＜１）を変更しながら各画像データに強度比Ｒのべき乗を乗算して加算する処理を行い、その変動成分である水平方向の差分値の総和を算出して、Ｏ光線像ＩｏとＥ光線像Ｉｅとの強度比Ｒの推定を行うことができる。
【００５３】
さらに、第１の画像信号処理部２１は、推定したＯ光線像ＩｏとＥ光線像Ｉｅとの強度比Ｒ、すなわち、被写体からの光の直交する偏光成分の像の強度比を記憶部２４へ送信し、記憶部２４はこれを記憶する。記憶部２４に記憶された強度比Ｒのデータは、後の偏光状態の分析に使用される。または、強度比Ｒのデータは、順次処理され図示しない表示装置に表示されるようにしても良い。
【００５４】
次に、第１の画像信号処理部２１における処理内容についてより詳しく説明する。図４は、被写体像の直交する偏光成分、すなわちＯ光線像ＩｏとＥ光線像Ｉｅとの強度比Ｒを算出するフローチャートである。画像信号処理部２１は、第１の画像信号を複数の領域に区分して、各領域内では強度比Ｒが一定であるものとし、すなわち、被写体の直交する偏光成分の像間の強度比が一定であるものとして、領域ごとの強度比Ｒを算出する。
【００５５】
先ず、第１の画像信号処理部２１は、第１の画像信号を固体撮像素子１１上のＷ×Ｈの矩形領域に対応した領域に区分する（ステップＳ０１）。各領域は、相互に重複するように設定しても良い。
【００５６】
次に、Ｗ×Ｈに区分された各領域について、Ｏ光線像ＩｏとＥ光線像Ｉｅとの強度比Ｒ（ｗ，ｈ）を推定する（ステップＳ０２）。ここで、Ｒ（ｗ，ｈ）は、領域（ｗ，ｈ）の強度比である。この推定を、順次全ての領域（ｗ，ｈ）に対して行う。ここで、領域（ｗ，ｈ）とは第１の画像信号をＷ×Ｈに区分した領域のうち、水平方向にｗ番目、垂直方向にｈ番目の領域を示すものとする。
【００５７】
第１の画像信号処理部２１では、複屈折光学素子１３によるＯ光線像ＩｏとＥ光線像Ｉｅとの重像間変位方向Ｓ２と、固体撮像素子１１の画素配列の一方向（ｘ方向）が一致しているので、式（１２）に示したように第１の画像信号から水平方向にＤｘまたは−Ｄｘずつ変位させた画像データ群を生成して、強度比Ｒを変更しながら各画像データに強度比Ｒのべき乗を乗算して加算する処理を行い、その変動成分である水平方向の差分値の総和を算出して、Ｏ光線像ＩｏとＥ光線像Ｉｅとの強度比の推定を行う。
【００５８】
また、Ｏ光線像Ｉｏに対するＥ光線像Ｉｅの強度比が１未満の場合と１以上の場合との場合分けを行うために、判定用データＲＴ＜１．０の任意の数値でテストを行う。すなわち、強度比ＲをＲＴとして、Ｄｘ方向に変位させた場合の変動成分の総和と−Ｄｘに変位させた場合の変動成分の総和を比較し、その総和が少ない方の変位方向を選択して最適値の計算を行う。
【００５９】
図５は、図４のステップＳ０２の各領域の被写体像の偏光成分間の強度比Ｒ（ｗ，ｈ）の計算過程の詳細を示すフローチャートである。先ず、第１の画像信号処理部２１は、第１の画像信号Ｉｐ（ｘ，ｙ）、推定処理を行う項数Ｎ、任意の１より小さいＲの判定用データＲＴ（例えば、ＲＴ＝０．８）を用意する（ステップＳ２０１）。ここで、（ｘ，ｙ）は、第１の画像信号をＷ×Ｈに区分した領域のうち、水平方向ｗ，垂直方向ｈの領域（ｗ，ｈ）に含まれる画素位置を示す。
【００６０】
次に、第１の画像信号処理部２１は、Ｏ光線像Ｉｏに対するＥ光線像Ｉｅの強度が弱いと仮定した場合の変動量ＲＴ１を生成する（ステップＳ２０２）。すなわち、領域（ｗ，ｈ）内の第１の画像信号Ｉｐについて、式（８）の重像間変位方向Ｓ２をｘ方向のみとした式（１４）の計算を行う。
【数１７】
【００６１】
さらに、第１の画像信号処理部２１は、Ｏ光線像Ｉｏに対するＥ光線像Ｉｅの強度が強いと仮定した場合の変動量ＲＴ２を生成する（ステップＳ２０３）。すなわち、領域（ｗ，ｈ）内の第１の画像信号について、式（９）の重像間変位方向Ｓ２をｘ方向のみとした式（１５）の計算を行う。
【数１８】
【００６２】
続いて、第１の信号処理部２１は、式（１４）および（１５）で求めた変動量ＲＴ１とＲＴ２とを比較して、Ｏ光線像ＩｏとＥ光線像Ｉｅとの強弱を判定する（ステップＳ２０４）。ＲＴ１＞ＲＴ２の場合は、Ｏ光線像Ｉｏの強度に対するＥ光線像Ｉｅの強度が弱いと判断し、ＲＴ１＜ＲＴ２の場合は、Ｏ光線像Ｉｏの強度に対するＥ光線像Ｉｅの強度が強いと判断する。
【００６３】
Ｏ光線像Ｉｏの強度に対してＥ光線像Ｉｅの強度が弱い場合は（ステップＳ２０５）、Ｒ（ｗ，ｈ）の推定値Ｒ＾（ｗ，ｈ）を、Ｅ光線像Ｉｅの強度／Ｏ光線像Ｉｏの強度として、式（１２）に基づく式（１６）により最急降下法により求める（ステップＳ２０６）。
【数１９】
ここで強度比Ｒの推定値Ｒ＾は１未満の数値となる。
【００６４】
また、Ｏ光線像Ｉｏの強度に対してＥ光線像Ｉｅの強度が強い場合は、Ｒ（ｗ，ｈ）の推定値Ｒ＾（ｗ，ｈ）を、Ｏ光線像Ｉｏ／Ｅ光線像Ｉｅの強度の強度として、式（１２）に基づく式（１７）により最急降下法により求める（ステップＳ２０７）。
【数２０】
ここで、強度比Ｒの推定値Ｒ＾は、１未満の数値となる。
【００６５】
第１の画像信号をＷ×Ｈに区分した領域のうち、水平方向ｗ、垂直方向ｈの領域についてこのようにして求めた強度比Ｒの推定値をＲ＾（ｗ，ｈ）とする。
【００６６】
なお、一例として、固体撮像素子１１の画素配列を６４０画素×４８０画素とし、一つの領域の大きさを１６画素×１６画素とすることができる。この場合、領域間の重複が無い場合は、Ｗ＝４０、Ｈ＝３０となる。また、Ｏ光線像ＩｏとＥ光線像Ｉｅとの重像間変位量は、水平方向の幅の１／５０〜１／２０程度となる１３〜３２画素程度が好ましい。
【００６７】
また、固体撮像素子１１の水平方向の両端に近い領域については、式（１６）または（１７）の計算において、演算に必要となる画像信号Ｉｐの画素位置（ｘ，ｙ）が、固体撮像素子１１の撮像可能な領域外になる場合があるが、領域外には固体撮像素子１１の最も端に位置する画素の信号値と同じ画素値の信号が水平方向に並んでいるものとして処理するなど、適切な処理を行うことができる。
【００６８】
以上説明したように本実施の形態によれば、被写体１からの光Ｂの複屈折光学素子１３によるＯ光線像（第１の像）ＩｏとＥ光線像（第２の像）Ｉｅとの相対的変位方向（重像間変位方向Ｓ２）と、固体撮像素子１１の画素配列の一方向（ｘ方向）とが一致するように、複屈折光学素子１３と固体撮像素子１１とを配置したので、被写体１からの光Ｂを偏光方向の異なるＯ光線ＢｏとＥ光線Ｂｅとに分離して固体撮像素子１１に結像させた重像の画像信号Ｉｐから被写体１からの光Ｂの直交する２つの偏光成分の像Ｉｏ，Ｉｅ間の強度比を算出するに際し、重像間変位方向Ｓ２をｘ方向のみの計算に単純化し、演算時間を短縮することができる。
【００６９】
さらに、複屈折光学素子１３を用いて被写体１からの光Ｂを偏光方向の直交する偏光成分Ｂｏ，Ｂｅに分離して、固体撮像素子１１に結像させ、得られた第１の画像信号Ｉｐを重像変位推定の方法を適用して、被写体像の直交する偏光成分間の強度比Ｒを推定したので、一つの固体撮像素子１１を用いて一回の撮影によって、被写体像と偏光状態の撮影が可能である。
【００７０】
また、本実施の形態の偏光撮影装置１０では、固体撮像素子１１の受光面１１ａの画素ごとに、それぞれ偏光方向の異なる特殊な偏光フィルタを配置する必要が無いので、安価に装置を構成することが可能であり、さらに、偏光撮影以外に通常の撮影を行うために固体撮像素子１１を使用することが可能である。
【００７１】
（第２実施の形態）
図６は、本発明の第２実施の形態に係る偏光撮影装置１０の光学系の構成を説明する図である。本実施の形態は、第１実施の形態に係る偏光撮像装置において、複屈折光学素子１３の被写体１側に偏光比を変化させる偏光素子１６を設けたものである。したがって、本実施の形態の光学系１２は、偏光素子１６、複屈折光学素子１３、レンズ１４を含んで構成される。偏光素子１６は、例えば、被写体１からの光ＢのＯ光線ＢｏとＥ光線Ｂｅとのそれぞれの偏光方向成分の強度比が、１／１０〜１０の範囲内にあるような被写体１に対しては、Ｏ光線像Ｉｏに対するＥ光線像Ｉｅの消光比を１／１５程度とするものを使用する。
【００７２】
これにより、固体撮像素子１１の受光面１１ａでのＯ光線像Ｉｏに対するＥ光線像Ｉｅの強度比Ｒは、常に０．７未満となるので、Ｏ光線像ＩｏとＥ光線像Ｉｅとの強弱を判定し場合分けするためのステップが不用となる。すなわち、第１実施の形態の図５のフローチャートのステップＳ２０２〜Ｓ２０５，Ｓ２０７が不要となり、ステップＳ２０６で式（１６）によって、強度比Ｒの推定を行うことができる。また、強度比Ｒが１から離れた値なので、演算の収束が速い。その他の構成、作用は、第１実施の形態と同様であるので、同一構成要素には同一参照符号を付して説明を省略する。
【００７３】
したがって、本実施の形態にかかる偏光撮影装置によれば、第１実施の形態の偏光撮影装置と比べ、さらに強度比Ｒの推定の計算を単純化することができ、演算時間を短縮することができる。
【００７４】
（第３実施の形態）
図７は、本発明の第３実施の形態に係る偏光撮影装置の概略構成を示す図である。本実施の形態に係る偏光撮影装置１０は、第１実施の形態により得られた領域ごとの直交する偏光成分の像の強度比Ｒを用いて、複屈折光学素子１３を設けなかった場合の被写体像を推定するとともに、各領域の偏光分布を推定した被写体像の上に視覚的に表示するようにしたものである。
【００７５】
このため、本実施の形態の偏光撮影装置１０は、第１実施の形態の偏光撮影装置の構成に加え、第２の画像信号処理部２６と第３の画像信号処理部２７と表示部２８とを備えると共に、記憶部２４は、第１の画像信号処理部２１ではなく第３の画像信号処理部２７に接続されている。
【００７６】
第２の画像信号処理部２６は、第１の画像信号処理部２１から出力された被写体像の偏光成分間の強度比Ｒ（ｗ，ｈ）を用いて、式（１８）により複屈折光学素子１３を設けなかった場合の被写体像の画像信号Ｉ＾（ｘ，ｙ，ｗ，ｈ）を推定する。
【数２１】
【００７７】
ここで、Ｒ（ｗ，ｈ）の推定と、原画像Ｉの画像信号の推定は並行して行っても良い。すなわち、図４のフローチャートのループ内で、強度比Ｒ（ｗ，ｈ）の推定後に当該領域の画像信号の推定（式（１８））を実行するようにしても良い。このようにして得られた各領域の原画像の画像信号の推定値Ｉ＾（ｘ，ｙ，ｗ，ｈ）を貼り合わせ、原画像Ｉ全体の画像信号の推定値である第２の画像信号Ｉ＾を得る。この第２の画像信号Ｉ＾は、第１実施の形態において複屈折光学素子１３を除外した場合に得られる２重化されていない像に相当する。このようにして得られた第２の画像信号Ｉ＾により画像信号の輝度分布が求まることから、これと領域毎の強度比Ｒ（ｗ，ｈ）を用いることで、Ｏ光線像Ｉｏに対するＥ光線像Ｉｅの強度比だけでなく、強度の差分のデータを得ることができる。
【００７８】
さらに、第２の画像信号処理部２６は、第２の画像信号Ｉ＾を第３の画像信号処理部２７に送信する。第３の画像信号処理部２７は、第２の画像信号Ｉ＾を第２の画像信号処理部２６から受信するとともに、強度比Ｒ（ｗ，ｈ）を第１の画像信号処理部２１から受け取り、これら第２の画像信号Ｉ＾と強度比Ｒ（ｗ，ｈ）との合成を行う。例えば、画像の領域ごとの強度比Ｒ（ｗ，ｈ）を、その値に応じた色で表現するものとし、第２の画像信号Ｉ＾に基づく原画像Ｉと、強度比Ｒ（ｗ，ｈ）に基づく領域ごとの色を重ね合わせて、画像を生成する。生成した画像は、記憶部２４に記憶するとともに、表示部２８に表示する。その他の構成、作用は、第１実施の形態と同様であるので、同一構成要素には同一参照符号を付して説明を省略する。
【００７９】
本実施の形態によれば、各領域の偏光分布を、複屈折光学素子１３が無い場合に得られる像と重ね合わせて、視覚的に分かりやすく表示することができる。
【００８０】
なお、本実施の形態では、第３の画像信号処理部２７による処理結果を記憶部２４に記憶するとともに表示部２８に表示するものとしたが、第２の画像信号処理部２６で推定した第２の画像信号Ｉ＾についても、記憶部２４に記憶し、および／または、表示部２８に表示するようにしても良い。
【００８１】
（第４実施の形態）
図８は、本発明の第４実施の形態に係る偏光撮影装置の光学系の構成を説明する図である。本実施の形態に係る偏光撮影装置１０は、第１実施の形態に係る偏光撮影装置１０において、複屈折光学素子１３を着脱可能としたものである。
【００８２】
このため、偏光撮影装置１０は、被写体１から固体撮像素子１１に向かう光路上から光路外へ、あるいは、光路外から光路上へ、複屈折光学素子１３を移動させるための駆動機構３１を備えている。偏光撮影装置１０の使用者により、偏光撮影装置１０の図示しない入力部を介して複屈折光学素子１３の着脱が指示されると、図示しない制御部が駆動機構３１を制御して、複屈折光学素子１３を駆動する。
【００８３】
駆動機構３１により光路外へ複屈折光学素子１３を移動させた場合には、被写体１からの光Ｂは、偏光方向により光路が分離されることなく、光学系１２により固体撮像素子１１の受光面１１ａに結像する。これにより、固体撮像素子１１からの画像信号は、通常の画像信号として処理することができる。すなわち、偏光撮影装置１０は、通常の撮影装置として兼用することが可能になる。その他の構成、作用は、第１実施の形態と同様であるので、同一構成要素には同一参照符号を付して説明を省略する。
【００８４】
以上説明したように、本実施の形態によれば、複屈折光学素子１３を光路上に着脱可能としたので、同一の偏光撮影装置１０を用いて、偏光状態の撮影と通常画像の撮影とを切り替えて行うことができる。
【００８５】
なお、本実施の形態では、複屈折光学素子１３を移動させて、偏光撮影と通常撮影とを切り替えるようにしたが、複屈折光学素子１３の駆動機構３１に代えて、ミラー等を用いて被写体１からの光の光路を、複屈折光学素子１３を通らないように切り替え可能に構成しても良い。あるいは、複屈折光学素子１３を、電気的に屈折率特性の有効・無効の切り替えが可能な誘電体材料を用いて構成し、複屈折率光学素子を制御する切り替え制御部を設けて偏光状態の撮影と通常の撮影とを切り替えるようにしても良い。
【００８６】
なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。たとえば、Ｏ光線像とＥ光線像との相対的変位方向である重像間変位方向Ｓ２と、固体撮像素子１１の画素配列の水平方向（ｘ方向）とが一致するように、複屈折光学素子と固体撮像素子１１とを配置するものとしたが、これに限られない。重像間変位方向と固体撮像素子１１の画素配列の垂直方向（ｙ方向）とが一致するように、複屈折光学素子と固体撮像素子１１とを配置しても良い。
【００８７】
また、第１の実施形態では、複屈折光学素子による被写体からの光の偏光分離方向と固体撮像素子の画素配列方向とが、偏光撮影装置の筐体に対して固定されている場合のみならず、複屈折光学素子がレンズの鏡枠に組み込まれており、ズーム動作やフォーカス動作による鏡枠の回転に伴って回転し、その回転に連動して撮像素子を回転させて、複屈折光学素子の偏光分離方向と撮像素子の画素配列方向とを一致させる場合も含まれる。
【００８８】
また、第２実施の形態における偏光素子１６と第４実施の形態における駆動機構３１は、第１実施の形態に係る偏光撮影装置１０に付加したものとしたが、第３実施の形態に係る偏光撮影装置１０に、これらの構成要素を組み込むことも可能である。
【符号の説明】
【００８９】
１ 被写体
１０ 偏光撮影装置
１１ 固体撮像素子
１１ａ 受光面
１２ 光学系
１３ 複屈折光学素子
１３ａ 光学軸
１４ レンズ
１６ 偏光素子
２１ 第１の画像信号処理部
２２ 光学系駆動制御部
２３ 重像間変位量算出部
２４ 記憶部
２６ 第２の画像信号処理部
２７ 第３の画像信号処理部
２８ 表示部
３１ 駆動機構
Ｂ 被写体からの光
Ｂｏ Ｏ光線（第１の偏光成分）
Ｂｅ Ｅ光線（第２の偏光成分）
Ｓ１ 分離方向
Ｓ２ 重像間変位方向
ｘ 水平方向（画素配列の一方向）
ｙ 垂直方向
Ｉ 原画像
Ｉｏ Ｏ光線像（第１の像）
Ｉｅ Ｅ光線像（第２の像）
Ｉｐ 観測画像（第１の画像信号）
【特許請求の範囲】
【請求項１】
マトリクス状に複数の画素が配列された固体撮像素子と、被写体からの光を直交する第１の偏光成分と第２の偏光成分とに分離する複屈折光学素子を含み、前記第１の偏光成分による第１の像と前記第２の偏光成分による第２の像とを前記固体撮像素子上に結像させる光学系とを有し、前記固体撮像素子に結像される前記第１の像と前記第２の像との相対変位方向と、前記固体撮像素子の画素配列の一方向とを一致させるように構成された撮像部と、
前記光学系の光学特性情報に基づいて、前記固体撮像素子に結像される前記第１の像と前記第２の像との相対的変位量を算出する重像間変位量算出部と、
前記固体撮像素子から得られる第１の画像信号と、前記変位量とに基づいて、前記固体撮像素子に結像された、前記第１の像と前記第２の像との強度比を算出する第１の画像信号処理部と
を備えたことを特徴とする偏光撮影装置。
【請求項２】
前記重像間変位量算出部は、前記複屈折光学素子の光学特性および前記光学系の像倍率を含む前記光学特性情報から、前記変位量を算出することを特徴とする請求項１に記載の偏光撮影装置。
【請求項３】
前記第１の画像処理部は、前記第１の像と前記第２の像との強弱を判定し、該判定結果に基づいて、演算結果が収束するように重像推定演算を適用し、前記強度比を算出することを特徴とする請求項１または２に記載の偏光撮影装置。
【請求項４】
前記光学系は、前記第１の偏光成分と前記第２の偏光成分とに対して異なる透過率を有する偏光素子を備えることを特徴とする請求項１または２に記載の偏光撮影装置。
【請求項５】
前記偏光素子は、少なくとも前記第１の偏光成分または前記第２の偏光成分の透過率を、変更可能に構成されていることを特徴とする請求項４に記載の偏光撮影装置。
【請求項６】
前記強度比および前記第１の画像信号に基づいて、前記複屈折光学素子を設けない場合に前記固体撮像素子により取得されるべき画像信号を推定し、第２の画像信号として出力する第２の画像信号処理部を有することを特徴とする請求項１から５のいずれか一項に記載の偏光撮影装置。
【請求項７】
前記第２の画像信号上に前記強度比に基づく信号を重ね合わせる第３の画像信号処理部を有することを特徴とする請求項６に記載の偏光撮影装置。
【請求項８】
前記光学系は、前記複屈折光学素子が着脱可能に構成されていることを特徴とする、請求項１から７のいずれか一項に記載の偏光撮影装置。
【請求項１】
マトリクス状に複数の画素が配列された固体撮像素子と、被写体からの光を直交する第１の偏光成分と第２の偏光成分とに分離する複屈折光学素子を含み、前記第１の偏光成分による第１の像と前記第２の偏光成分による第２の像とを前記固体撮像素子上に結像させる光学系とを有し、前記固体撮像素子に結像される前記第１の像と前記第２の像との相対変位方向と、前記固体撮像素子の画素配列の一方向とを一致させるように構成された撮像部と、
前記光学系の光学特性情報に基づいて、前記固体撮像素子に結像される前記第１の像と前記第２の像との相対的変位量を算出する重像間変位量算出部と、
前記固体撮像素子から得られる第１の画像信号と、前記変位量とに基づいて、前記固体撮像素子に結像された、前記第１の像と前記第２の像との強度比を算出する第１の画像信号処理部と
を備えたことを特徴とする偏光撮影装置。
【請求項２】
前記重像間変位量算出部は、前記複屈折光学素子の光学特性および前記光学系の像倍率を含む前記光学特性情報から、前記変位量を算出することを特徴とする請求項１に記載の偏光撮影装置。
【請求項３】
前記第１の画像処理部は、前記第１の像と前記第２の像との強弱を判定し、該判定結果に基づいて、演算結果が収束するように重像推定演算を適用し、前記強度比を算出することを特徴とする請求項１または２に記載の偏光撮影装置。
【請求項４】
前記光学系は、前記第１の偏光成分と前記第２の偏光成分とに対して異なる透過率を有する偏光素子を備えることを特徴とする請求項１または２に記載の偏光撮影装置。
【請求項５】
前記偏光素子は、少なくとも前記第１の偏光成分または前記第２の偏光成分の透過率を、変更可能に構成されていることを特徴とする請求項４に記載の偏光撮影装置。
【請求項６】
前記強度比および前記第１の画像信号に基づいて、前記複屈折光学素子を設けない場合に前記固体撮像素子により取得されるべき画像信号を推定し、第２の画像信号として出力する第２の画像信号処理部を有することを特徴とする請求項１から５のいずれか一項に記載の偏光撮影装置。
【請求項７】
前記第２の画像信号上に前記強度比に基づく信号を重ね合わせる第３の画像信号処理部を有することを特徴とする請求項６に記載の偏光撮影装置。
【請求項８】
前記光学系は、前記複屈折光学素子が着脱可能に構成されていることを特徴とする、請求項１から７のいずれか一項に記載の偏光撮影装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−３２９６３（Ｐ２０１２−３２９６３Ａ）
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願番号】特願２０１０−１７１１４５（Ｐ２０１０−１７１１４５）
【出願日】平成２２年７月２９日（２０１０．７．２９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願日】平成２２年７月２９日（２０１０．７．２９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]