説明

偏光イメージング装置

【課題】 画像処理精度を向上させた偏光イメージング装置を提供する。
【解決手段】
それぞれ透過軸が異なる2つ以上の偏光子の領域に分かれており、入射される入力光のうち、前記各領域において当該入力光の無偏光成分を透過させると共に、前記各領域によって偏光方向が異なる前記入力光の偏光成分を透過させる偏光子ユニットを1個又は複数個含む偏光子アレイと、前記各領域を透過した光を独立に受光する受光素子アレイと、前記受光素子アレイからの前記偏光成分及び無偏光成分を処理する画像処理部と、を有する偏光イメージング装置(100)により解決することができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、偏光イメージング装置、及びこれを用いた撮影装置、表面形状計測装置などに関する。
【背景技術】
【0002】
一般的に、画像の撮影原理は、被写体から得られる情報として、被写体からの光の強さ(輝度情報)のみを検出し、この輝度情報に基づいて陰影を再現して画像を形成する。この単純な画像形成方法では、被写体からの光以外に、不要な光情報も同時に検出してしまうため、最適な画像を得ることができない。
【0003】
そこで、例えば、周囲の景色が映り込んでしまうようなショーウインドウをカメラで撮影する場合には、偏光フィルタを利用して最適な撮影を行っている。偏光フィルタは、ガラスなどの艶のある表面の反射光が偏光になっているという性質を利用して、周辺の光の乱反射をカットし、被写体のコントラストを上げるフィルタである。偏光フィルタは、ショーウインドウのガラスに周囲の景色が写り込んだりするのを防いだり、順光の青空も偏光の性質があるので、青空を鮮やかに青く抜きたいときなどにも用いられる。
【0004】
しかしながら、通常の偏光フィルタは主として一方向のみの偏光を透過するという異方性を有し、撮影対象が複数の偏光を有する場合には、全ての邪魔な偏光をカットすることができない。この問題に対応する方法としては、偏光フィルタを回転させて複数方向についての偏光情報を得ると共に、各偏光情報に基づく複数の画像を最適化処理する方法がある。しかしながら、この方法では、回転駆動を必要とするため装置が大型化したり堅牢ではなかったり、前偏光方向に対応した360度の回転駆動に時間がかかるため高速撮影には適していない。また、回転速度については、高速化を目的として連続回転させた場合には、正確な情報を取得することが困難となるし、一方で回転駆動を遅くして段階的(ステップ的)に行う場合には、高速処理の実現が困難となる。
【0005】
これに対して、回転駆動部をなくした偏光解析装置が提案されている(国際公開WO 2004/008196(下記、特許文献1)を参照。)。この偏光解析装置は、複数の偏光方向の領域を有する偏光子アレイを用いることにより、ある入射光に含まれる様々な方向の偏光を偏光子アレイの後段に設けた受光素子アレイにより別々に受光することができる。この結果、固定された偏光子アレイであっても、あたかも主として一方向のみの偏光を透過する偏光フィルタを回転させて偏光情報を得るのと同じ情報を得ることができ、回転駆動部をなくすことができる。
【0006】
【特許文献1】国際公開WO 2004/008196
【発明の開示】
【発明が解決しようとする課題】
【0007】
しかしながら、被写体を撮影する際に得られる、被写体からの光には、様々な偏光状態の光が含まれており、上記偏光解析装置が記載された文献には、この様々な偏光状態の光を詳細に解析し、必要な偏光状態の光と不要な偏光状態の光とに分離したり、ある特定の偏光状態の光を抽出したりする技術は提案されていない。
【課題を解決するための手段】
【0008】
まず、「偏光」について、一般的な用語の意味を説明した後、本明細書で用いる「偏光成分」及び「無偏光成分」について説明する。
【0009】
一般的に、光は、「偏光」と「無偏光」とに区別することができる。
一般的な用語としての「偏光」の意味は、「光(電磁波)の電界がいずれかの方向に偏って振動している光」という意味である。したがって、偏光子を通った光に着目して説明すると、「偏光」とは、偏光子を回転するにしたがって、強度が変化する光のことである。
また、一般的な用語としての「無偏光」の意味は、「光(電磁波)の電界がどの方向に対しても振動している光」という意味である。実際には、有限の非常に短い時間で偏光方向が変化しており、偏光状態を計測する測定器を用いて観測しても、その平均的な状態のみが測定されることになる。したがって、偏光子を通った光に着目して説明すると、「無偏光」とは、偏光子を回転しても、強度が変化せず、常に一定の光のことである。
【0010】
更に、「偏光」は、以下の3つ、「直線偏光」、「円偏光」及び「楕円偏光」に区別することができる。
「直線偏光」とは、ある特定の方向にのみ電界が振動している光である。その振動方向に垂直な方向に振動している成分はなく、したがって偏光子の透過軸と偏光方向が直行するように偏光子を通した場合、光は透過しない。
「円偏光」とは、ある方向とそれに直交した方向とに電界が振動しており、互いの振動の位相差がπ/2+nπ(nは整数)となっている光である。この2つの振動が合成されることにより、電界ベクトルを光の進行方向に垂直な面に射影すると、そのベクトルの先端は円軌道を描くことになる。したがって、偏光子を用いて各方向の強度を測定した場合、測定される強度はある時間内の平均値であるため、どの方向も同じ値となる。
「楕円偏光」とは、上記「円偏光」において、合成される2つの方向の電界の振幅が異なる場合の光、または、合成される2つの電界の振幅が同じ大きさであっても、その位相がπ/2+nπ以外の場合の光である。合成される2つの方向の電界の振幅が異なる場合、その合成ベクトルの先端は、光の進行方向に垂直な面内において楕円軌道を描く。また、合成される2つの電界の振幅が同じ大きさであっても、その位相がπ/2+nπ以外の場合、合成ベクトルの先端はやはり楕円軌道を描く。したがって、偏光子を用いて各方向の強度を測定した場合、偏光子の回転角度により、透過する光の強度は変化する一方、この強度がゼロになることはない。なお、「直線偏光」及び「円偏光」は、「楕円偏光」の特殊な例であるといえる。
【0011】
上述する一般的な用語の意味を踏まえて、本明細書で用いる「偏光成分」及び「無偏光成分」について説明する。
本明細書においては、「偏光成分」とは、被測定光を偏光子に通した場合、偏光子の回転角度により強度が変化する成分、すなわち、上記「直線偏光」及び上記「楕円偏光」をいう。
また、本明細書においては、「無偏光成分」とは、被測定光を偏光子に通した場合、偏光子の回転角度により強度が変化しない成分、すなわち、上記「無偏光」及び上記「円偏光」をいう。
【0012】
本発明の好ましい態様に係る偏光イメージング装置及びこれを用いた、撮影装置、表面形状計測装置は、上記「偏光成分」と上記「無偏光成分」とを分離、そして一方を除去、抽出などして種々の効果を奏する装置であって、一般的な用語として用いられている上記「偏光」と上記「無偏光」とを分離などするものではない。すなわち、上記「無偏光成分」には、上記「無偏光」のほかに上記「円偏光」も含まれており、これらを区別していない。しかし、現実的には、物体からの反射光が上記「円偏光」であることは大変まれであるため、実質的には、上記「無偏光成分」は上記「無偏光」を意味する場合が多いことになる。
【0013】
すなわち、本発明の好ましい態様に係る偏光イメージング装置などは、輝度情報、及び複数の偏光情報を同時に得ることに加えて、さらに被写体からの光を構成する上記「偏光成分」と上記「無偏光成分」とを分離したり、ある特定の成分を抽出したりすることにより、より画像処理精度を向上させた偏光イメージング装置などを提供することを目的とする。
【0014】
本発明は、基本的には、偏光子アレイ及びその後段の受光素子アレイを有する受光モジュールを用いて、画像処理部により当該受光モジュールからの偏光情報ごとの輝度(光強度)情報を画像処理することにより、最適な画像を得られる、もしくは面内での偏光情報を得られるという知見に基づく発明である。
【0015】
[1] 本発明に係る偏光イメージング装置としては、
それぞれ透過軸が異なる3つ以上の偏光子の領域に分かれており、入射される入力光のうち、前記各領域において当該入力光の無偏光成分を透過させると共に、前記各領域によって偏光方向が異なる前記入力光の偏光成分を透過させる偏光子ユニットを1個又は複数個含む偏光子アレイと、
前記各領域を透過した光を独立に受光する受光素子アレイと、
前記受光素子アレイからの前記偏光成分及び無偏光成分を処理する画像処理部と、
を有する偏光イメージング装置が挙げられる。
【0016】
偏光子アレイとは、透過軸の異なる複数の偏光子をユニット化したもの(偏光子ユニット)を複数ユニット組み合わせたものであり、複数の偏光方向を有する光を抽出することができ、この複数抽出により解析精度が高められている。本明細書では、前記偏光子を「領域」とも呼び、この領域は、例えば自己クローニングにより周期的に形成された凹凸の方向に垂直もしくは平行な偏光を透過し、それに直交する偏光を反射する特性を有する。また、例えばワイヤグリッド型の偏光子では、領域に形成された金属細線の方向に垂直な偏光を透過し、金属細線の方向に平行な偏光を反射する特性を有する。この偏光子アレイを受光モジュールの一部に用いることで、受光素子アレイにおける素子(画素)単位で輝度情報に加えて偏光情報を同時に取得することができ、取得画像の局所的な偏光情報を検出することができる。そして、偏光情報に基づいて各受光素子からのデータを処理して、映り込みの少ない画像の取得や、顕微鏡観察などにおいて特定箇所の偏光度を測定することができる。
【0017】
被写体は、これが光を反射したときの反射光の偏光状態に着目した場合、大きく2つ、平滑な表面を有する被写体(被写部分)と凹凸のある表面を有する被写体(被写部分)とに分けられる。もちろん、平滑な表面と凹凸のある表面とは、厳密に区別できるわけではなく、凹凸の大きさが小さくなれば平滑な表面に近づくように、両者は連続性のあるものである。この結果、一般に、被写体からの光は、上記「偏光成分」と上記「無偏光成分」とから構成される。被写体の表面が平滑であるほど、反射光は偏光する一方、凹凸のある表面からの反射光は、表面において散乱され、無偏光状態となっている。
【0018】
そこで、上記偏光イメージング装置では、被写体からの光を構成する上記「偏光成分」及び上記「無偏光成分」のうち、偏光子ユニットを構成する全ての領域において等量の上記「無偏光成分」を透過させると共に、領域によって偏光方向が異なる上記「偏光成分」を透過させることにより、入射光を複数の成分に分離する。そして、画像処理部において、これらの透過光を詳細に解析し、必要な成分と不要な成分に分離したり、一方を抽出したりする。
【0019】
この結果、異なる反射箇所・反射対象からの光の偏光情報を偏光度、偏光状態ごとに個々にかつ同時に取得して、異なる偏光方向から構成される偏光画像を同時に取り込み可能とし、さらに、取り込んだ偏光画像を上記「偏光成分」及び上記「無偏光成分」に分離、選択、再構成することで偏光による不要ノイズを除去する。
【0020】
[2] 本発明に係る偏光イメージング装置としては、
前記画像処理部は、前記各領域における透過軸の角度に対する、前記各領域を透過した透過光の強度fm(i,j)に、下記式(1)で表される数学モデルを当てはめることにより、
前記透過光の強度を、前記偏光成分に関する強度A(i,j)と、前記無偏光成分に関する強度B(i,j)とに分離する、[1]の偏光イメージング装置が挙げられる。
【数3】

ここで、mは前記領域ごとに付けられた番号であり、i及びjは前記偏光子アレイにおける前記偏光子ユニットの座標であり、θmは前記領域のうち基準とする領域における透過軸を0°とした場合の他の各領域における透過軸の角度であり、θ(i,j)は前記偏光子ユニットに入力される前記偏光成分の偏光方向と、前記基準とする領域における透過軸との角度差である。
【0021】
具体的な、画像処理の一例としては、偏光子ユニットにおける各領域(偏光子)から得られた透過光の強度に上述する数学モデルを当てはめる方法が挙げられる。上記式(1)について簡単に説明すると、透過光は、偏光子ユニットの各領域において同じ光量が透過する無偏光成分(強度Bに関する第2の項)と、領域ごとに透過量が異なる(強度Aに関する第1の項)とが合わさったものである。
【0022】
ある偏光子ユニットに入射する光の偏光状態は、1ユニットの大きさと比較してより大きな周期で変化しているため、全ての領域において一様な偏光状態となっている。これに対して、各領域における透過軸は、基準とした領域(透過軸方向=0°)からθm(m=0〜)ずれた方向となっているので、偏光子ユニットを透過する透過光の強度は各領域の透過軸方向に依存した強度となる。すなわち、上記式(1)における強度Aに関する第1の項に従った強度となる。
【0023】
透過光の強度に上述する数学モデルを当てはめることにより、偏光成分に関する強度A(i,j)と、無偏光成分に関する強度B(i,j)とが求められ、両者を分離、抽出することができる。これらの分離した各成分を自由に再構成することにより、所望の画像を得ることができる。
【0024】
[3] 本発明に係る偏光イメージング装置としては、
前記画像処理部は、前記各領域を透過した透過光の強度fm(i,j)を全て加算して領域数で割ることにより平均値を算出し、前記各領域における透過軸の角度に対する、前記各領域を透過した透過光の強度fm(i,j)から前記平均値を減じて得られる強度に、下記式(2)で表される数学モデルを当てはめることにより、
前記透過光の強度から、前記偏光成分に関する強度A(i,j)を抽出する、[1]の偏光イメージング装置が挙げられる。
【数4】

ここで、mは前記領域ごとに付けられた番号であり、i及びjは前記偏光子アレイにおける前記偏光子ユニットの座標であり、θmは前記領域のうち基準とする領域における透過軸を0°とした場合の他の各領域における透過軸の角度であり、θ(i,j)は前記偏光子ユニットに入力される前記偏光成分の偏光方向と、前記基準とする領域における透過軸との角度差である。また、強度fm(i,j)の平均値をf(i,j)に上線を付けた記号で表示する。
【0025】
各領域を透過した透過光の強度fm(i,j)を全て加算して領域数で割ることで得られる、各領域における透過光の強度の平均値は、偏光成分に関する強度Aと無偏光成分に関する強度Bとの和に等しい。したがって、上記式(1)で示す透過光の強度fm(i,j)の関数から、各領域における透過光の強度の平均値を減じることにより、上記式(2)に示すように、偏光成分に関する式に単純化することができる。
【0026】
[4] 本発明に係る偏光イメージング装置としては、
前記画像処理部は、更に、前記θ(i,j)を算出して、前記偏光成分の偏光方向を求める、[2]又は[3]の偏光イメージング装置が挙げられる。
【0027】
[5] さらに、本発明に係る偏光イメージング装置としては、
それぞれ透過軸が異なる3つ以上の偏光子の領域に分かれており、入射される入力光のうち、前記各領域において当該入力光の無偏光成分を透過させると共に、前記各領域によって偏光方向が異なる前記入力光の偏光成分を透過させる偏光子ユニットを1個又は複数個含む偏光子アレイと、
前記各領域を透過した光を独立に受光する受光素子アレイと、
前記各領域を透過した透過光の強度について、隣接する領域同士の透過光の強度差が所定値より大きい偏光子ユニットと所定値より小さい偏光子ユニットとを分離する画像処理部と、
を有する偏光イメージング装置が挙げられる。
【0028】
[6] 本発明に係る偏光イメージング装置としては、
前記偏光子ユニットにおける前記透過軸が、前記領域ごとに45°以下の角度で異なる、[1]又は[5]の偏光イメージング装置が挙げられる。
【0029】
[7] 本発明に係る偏光イメージング装置としては、
前記偏光子ユニットは、前記領域を4つ有し、
前記領域における前記透過軸は、それぞれ前記領域のうち基準とする領域における透過軸に対して0°、45°、90°、135°の方向である、[1]又は[5]の偏光イメージング装置が挙げられる。
【0030】
偏光子ユニットにおける各領域の設け方には様々な態様があるが、1つのユニットに3つ以上の領域を設けることが好ましい。また、各領域における透過軸は均等にずれて形成されることが好ましい。例えば、1ユニットに3つの領域を設けた場合、基準領域(透過軸方向=0°)に対して他の領域は、自由な透過軸方向を設計できるが、好ましくは60°、120°ずれた透過軸方向とする。また、1ユニットに4つの領域を設けた場合、基準領域(透過軸方向=0°)に対して他の領域は、自由な透過軸方向を設計できるが、好ましくは45°、90°、135°ずれた透過軸方向とする。すなわち、透過軸方向を均等にずらして形成するとは、1つのユニットにM個の領域がある場合、各領域の透過軸方向をπ/Mずらして形成することである。また、このずれ角度が小さいほど、入力光が有しうる様々な偏光角度に対応することができるようになるので、45°以下のずれ、好ましくは36°以下のずれ、より好ましくは30°以下のずれがよい。1つの偏光子ユニットを構成する領域の数としては、3〜180個、3〜90個、3〜45個、3〜30個などが挙げられ、好ましくは、36個、25個、16個、9個、4個である。
【0031】
[8] 本発明に係る偏光イメージング装置としては、
前記偏光子ユニットの各領域の境界部分に遮光部分を設けるか、または前記偏光子ユニットの各領域の境界部分に対応した前記受光素子アレイの領域を遮光し、前記境界部分における光の回折や散乱の影響を抑圧する、[1]又は[5]の偏光イメージング装置が挙げられる。
【0032】
[9] 本発明に係る偏光イメージング装置としては、
前記偏光子ユニットは、直交座標系x、y、zにおいて、xy面に平行な1つの基板の上に2種以上の透明材料をz方向に交互に積層した多層構造体であって、xy面内において3つ以上の偏光子の領域に分かれており、各層は領域毎に定まるxy面内の一方向に繰り返される1次元周期的な凹凸形状を有し、
前記xy面に前記入力光が入射される、
[1]ないし[8]のいずれかの偏光イメージング装置が挙げられる。
【0033】
[10] 本発明に係る偏光イメージング装置としては、
前記偏光子ユニットは、前記各領域がワイヤーグリッド型偏光子により構成されている、
[1]ないし[8]のいずれかの偏光イメージング装置が挙げられる。
【0034】
偏光子ユニットを構成する各領域(偏光子)としては、偏光子としての機能を有するものであれば特に限定されないが、例えば、自己クローニング技術により形成された偏光子や、ワイヤーグリッド型偏光子などが挙げられる。
【0035】
[11] 本発明に係る偏光イメージング装置としては、
前記受光素子アレイがフォトディテクタ、CCD、C−MOS又は撮像管のいずれかである、[1]ないし[10]のいずれかの偏光イメージング装置が挙げられる。
偏光子ユニットにおける偏光子(領域)と受光素子との対応関係については、1つの偏光子に対して少なくとも1つの受光素子を対応させることが好ましい。また、1つの偏光子に対して2つ以上の受光素子を対応させてもよい。隣接する受光素子は必ずしも全部が同じ光学特性を有しているわけではなく、感度や雑音強度などに多少の個体差がある場合が多い。そこで、1つの偏光子に対して2つ以上の受光素子を割り当てることにより、複数の受光素子間のばらつきを平均化でき、偏光強度、偏光角などを算出する際にS/N比を向上させることができる。
【0036】
[12] また、本発明に係る偏光イメージング装置の応用例としては、
[1]の偏光イメージング装置を具備し、
前記画像処理部により、前記入力光を構成する前記偏光成分と前記無偏光成分とを分離して、前記無偏光成分を得る、撮影装置が挙げられる。
【0037】
例えば、ショーウインドウの中の商品を撮影する場合、ショーウインドウからの反射光は偏光している一方、ウインドウ内の商品からの反射光は偏光していないといった場合が多いので、両反射光をその偏光状態を解析することにより、無偏光成分のみを分離、抽出し、ガラスからの反射光(偏光成分)を除いて最適な画像とすることができる。また、ショーウインドウが曲面ガラスなどである場合には、ウインドウにおける反射箇所の違いにより反射光の偏光角度などが異なる。このような場合でも、複数の偏光角度に対応した偏光子ユニット及びそのアレイ板を用いることにより、ウインドウからの種々の偏光した反射光を分離することができる。
【0038】
[13] また、本発明に係る偏光イメージング装置の応用例としては、
[4]の偏光イメージング装置を具備し、
前記画像処理部により、更に、前記偏光成分の偏光方向の角度を前記偏光子ユニットごとにマッピングして、物体の表面形状を検出する、表面形状計測装置が挙げられる。
【0039】
[14] また、本発明に係る偏光イメージング装置の応用例としては、
[4]の偏光イメージング装置を具備し、
前記画像処理部により、更に、前記偏光成分の偏光方向の角度を前記偏光子ユニットごとにマッピングして、物体の表面を構成する物質の連続性を検出する、表面性状計測装置。
【0040】
ある偏光子ユニットに入力される入力光は、各領域に一様な偏光角度で入力されるので、当該偏光した入力光はいずれかの領域(又は領域ごとに分布を持って)を透過してくる。このため、入力光がいずれの領域を透過したのかを解析することにより、入力光の偏光角度を求めることができ、偏光子ユニットごとの偏光角度のマップを作成することができる。表面形状が他の部分と異なる箇所(例えば平滑面における傷など)からの反射光は、それ以外の箇所からの反射光と比較して、異なった偏光状態である場合が多いため、このマップを概観した場合、すぐにその異常な箇所を検出することができる。また、物体の表面を構成する物質が他の部分と異なる箇所(例えば複数物質により表面が構成されている場合など)からの反射光は、それ以外の箇所からの反射光と比較して、異なった偏光状態である場合が多いため、このマップを概観した場合、すぐにその異なる物質の箇所を検出することができる。
【0041】
[15] また、本発明に係る偏光イメージング装置の応用例としては、
[4]の偏光イメージング装置を具備し、
前記画像処理部により、更に、前記偏光成分の偏光方向の角度を前記偏光子ユニットごとにマッピングして、該マップにおいて所定の偏光角度が所定の範囲に亘って一様となる箇所又は連続的に変化する箇所を検出する、撮影装置が挙げられる。
【0042】
[16] また、本発明に係る偏光イメージング装置の応用例としては、
[15]の撮影装置を具備し、
前記画像処理部により、更に、前記マップにおいて所定の偏光角度が所定の範囲に亘って一様となる箇所又は連続的に変化する箇所を路面として特定し、前記路面として特定された箇所に位置する物体を検出する、路面上障害物検出装置が挙げられる。
【0043】
[17] また、本発明に係る偏光イメージング装置の応用例としては、
[15]の撮影装置を具備し、
前記画像処理部により、更に、前記マップにおいて所定の偏光角度が所定の範囲に亘って一様となる箇所又は連続的に変化する箇所を路面として特定し、
前記画像処理部により、更に、前記マップにおける前記路面として特定された箇所に相当する部分において、前記偏光成分に関する強度が所定値より大きい箇所または前記無偏光成分に関する強度が所定値より小さい箇所を液体成分が存在する箇所と判定すると共に、前記偏光成分に関する強度が所定値より小さい箇所または前記無偏光成分に関する強度が所定値より大きい箇所を固体成分が存在する箇所と判定する、路面状態検出装置が挙げられる。
【0044】
[18] また、本発明に係る偏光イメージング装置の応用例としては、
[1]ないし[3]のいずれかの偏光イメージング装置を具備し、
前記画像処理部により、前記入力光を構成する前記偏光成分と前記無偏光成分とを分離すると共に、前記偏光成分に関する強度または前記無偏光成分に関する強度を前記偏光子ユニットごとにマッピングする、撮影装置が挙げられる。
【0045】
[19] また、本発明に係る偏光イメージング装置の応用例としては、
[18]の撮影装置を具備し、
前記画像処理部により、更に、前記マップにおいて、前記偏光成分に関する強度が所定値より大きい箇所または前記無偏光成分に関する強度が所定値より小さい箇所を液体成分が存在する箇所と判定すると共に、前記偏光成分に関する強度が所定値より小さい箇所または前記無偏光成分に関する強度が所定値より大きい箇所を固体成分が存在する箇所と判定する、気象観察用撮影装置が挙げられる。
【0046】
[20] また、本発明に係る偏光イメージング装置の応用例としては、
[5]の偏光イメージング装置を具備し、
前記画像処理部により、更に、前記隣接する領域同士の透過光の強度差が所定値より大きい偏光子ユニットが所定の範囲に亘って隣接して連続する箇所からの情報を移動体として検出する、移動体検出用撮影装置が挙げられる。
【発明の効果】
【0047】
本発明によれば、輝度情報、及び複数の偏光情報を同時に得ることに加えて、さらに被写体からの光を構成する偏光成分と無偏光成分とを分離したり、ある特定の成分を抽出したりすることにより、より画像処理精度を向上させた偏光イメージング装置とすることができる。
【0048】
例えば、ショーウインドウの中の商品を撮影する場合、ショーウインドウからの反射光は偏光している一方、ウインドウ内の商品からの反射光は偏光していないといった場合が多いので、両反射光をその偏光状態を解析することにより、分離し、主として商品からの反射光を抽出して最適な画像とすることができる。また、ショーウインドウが曲面ガラスなどである場合には、ウインドウにおける反射箇所の違いにより反射光の偏光角度などが異なる。このような場合でも、複数の偏光角度に対応した偏光子ユニット及びそのアレイ板を用いることにより、ウインドウからの種々の偏光した反射光を分離することができる。また、偏光子ユニットごとの偏光角度のマップを作成することができ、表面形状が他の部分と異なる箇所(例えば平滑面における傷など)や物体の表面を構成する物質が他の部分と異なる箇所(例えば複数物質により表面が構成されている場合など)などの異常な箇所を検出することができる。
【0049】
更に、隣接する領域同士の透過光の強度差が所定値より大きい偏光子ユニットと所定値より小さい偏光子ユニットとを分離することにより、撮影画像において偏光成分が比較的多く含まれる箇所と比較的少なく含まれる箇所とを識別することができる。これにより、例えば、車両などの移動体を含む景観の中から車両(移動体)のガラスなどの偏光成分の多い箇所を識別することができる結果、車両(移動体)を検出することができる。
【0050】
また、偏光子ユニットごとの偏光角度のマップを作成することができ、例えば該マップにおいて所定の偏光角度が所定の範囲に亘って一様となる箇所又は連続的に変化する箇所を検出したり、更には、該検出箇所を路面として特定して、路面として特定された箇所に位置する物体を検出することができる。また、該検出箇所を路面として特定して、さらに、路面として特定された箇所における偏光成分又は無偏光成分に関する強度を解析することにより、該解析結果に基づいて路面上に水面や氷面が存在するかなどを判断することができる。この結果、撮影した画像における一部を画像処理するだけで路面上の障害物や路面状態などを検出することができ、撮影画像の全てを画像処理する必要がなくなる。なお、路面状態の検出については、次に説明する液体成分と固体成分との識別機能を利用しているため、後述するように、さらに識別精度を高めるアルゴリズムなどが必要となる場合もある。
【0051】
また、偏光子ユニットごとの偏光成分(又は無偏光成分)に関する強度のマップを作成することができ、例えば該マップにおいて偏光成分(又は無偏光成分)に関する強度の大小により、液体成分が比較的多く存在する箇所と固体成分が比較的多く存在する箇所とを識別することができる。更には、前記識別精度を高めるアルゴリズムを採用したり、例えば他の情報をも考慮したりするなどにより、液体成分が存在する箇所と固体成分が存在する箇所とをより明確に識別することができる。この結果、例えば雲などを撮影したときに雲を構成する成分(例えば、水蒸気、砂、塵など)を判断することができる。
【発明を実施するための最良の形態】
【0052】
<装置構成の概要>
以下、図面に基づいて、本発明の実施形態に係る偏光イメージング装置について説明する。図1は、本発明の実施形態に係る偏光イメージング装置の概略構成図である。図1に示すように、偏光イメージング装置100は、偏光子アレイ101と偏光子アレイからの光を受光する受光素子アレイ102とからなる受光モジュール103と、受光素子アレイ102からの光に関する情報(偏光成分及び無偏光成分)を処理する画像処理部104とを有する偏光イメージング装置である。
【0053】
なお、画像処理部104は、偏光イメージング装置に備えられたCPUなどの演算部105により、メインメモリ106中の制御プログラムから受けた指令、メモリなどの記憶手段から読み出された記憶情報などに基づいて、下記詳細に説明する画像処理を行うように構成されている。そして、得られた処理画像は、演算部105からの指令により、モニタやプリンタなどの出力部107から出力されるようになっている。
【0054】
次に、偏光イメージング装置を実現する各構成、すなわち、偏光子アレイ101と受光素子アレイ102とからなる受光モジュール103、および画像処理部104における画像処理原理について説明する。
【0055】
<受光モジュール>
図2は、フォトニック結晶からなる偏光子の概念図である。まず、フォトニック結晶からなる偏光子について説明する。図2のような周期的な溝列を形成した透明材料基板201上に、透明で高屈折率の媒質202と低屈折率の媒質203とを界面の形状を保存しながら、交互に積層する。各層はx方向に周期性を持つが、y方向には一様であってもよいしx軸方向より大きい長さの周期的または非周期的な構造を有していてもよい。このような微細な周期構造(フォトニック結晶)は、自己クローニング技術と呼ばれる方式(特開平10−335758号公報を参照)を用いることにより、再現性良く且つ高い均一性で作製することができる。
【0056】
こうして作成された周期構造体にxy面に垂直あるいは斜め方向から無偏波光または楕円偏光を入射すると、溝列と平行な偏波即ちy偏波と、それに直交するx偏波とに対して、それぞれTEモードとTMモードの光が周期構造体の内部に励起される。TEモードとTMモードの伝搬定数は、周期構造を構成する材料の屈折率、xy面の周期、積層周期によって広い範囲で選ぶことができる。
【0057】
図3は、図2に示すフォトニック結晶の伝搬特性を表すバンド図である。同図には、高屈折率材料としてSi、低屈折率材料としてSiO2を用いた場合の2次元周期構造の分散曲線の例を示してある。縦軸は波長λの逆数を積層周期Lzで規格化した値、横軸は1周期を伝搬したときの位相変化量kzz(kzはz方向の伝播定数)をπで規格化した値である。白丸がTE波、黒丸がTM波を示す。Lxは面内方向の周期を表し、ここではLz/Lx=1としてある。
【0058】
入射する光の周波数が、バンドギャップの中にあれば、そのモードは周期構造体の中で伝搬することができず、入射光は反射または回折される。一方、光の周波数がフォトニックバンド内にあれば、周期構造体の中を光は透過することができる。周波数領域301では、TE波はバンドギャップとなり反射され、TM波は伝搬域であるため透過され、従って偏光分離素子(特開2001−83321号公報、特開2000−056133号公報(特許3288976号)を参照。)として動作する。周波数領域302では、TE波が透過し、TM波が反射される偏光子として動作する。本構造の偏光子の特長は、透過光の消光比が高い、薄型軽量、任意の基板に形成可能、などが挙げられる。これまで数値シミュレーションと実験により、特に高周波数側の301の領域を利用したもので、高い消光比50dBを少ない積層数10周期で実現している。一方、周波数領域303では、TE波とTM波ともに伝搬域となり透過する。しかしこの場合、2つの曲線がずれていることからそれぞれの伝搬定数が異なり、2つのモードに位相差を与える波長板として動作することになる。
【0059】
フォトニツク結晶からなる偏光子や波長板は、構成する材料の屈折率、充填率、溝列の周期Lx、積層方向の周期Lzを調整することで、動作波長域を自由に設定することができる。例えば、基板のパターンや製膜に使用する材料、および積層周期や積層数を適当に設計することにより、任意の位相差を与える波長板を設計可能であり、例えば位相差がπ/2となるようにすれば、1/4波長板として動作させることができる。さらに、溝の周期や方向は1枚の基板内の領域毎に独立に変えることができるため、フォトニック結晶の特性を領域毎に変えることができる。これをマルチパターンフォトニック結晶と呼ぶ。例えば、偏光子であれば領域毎に光軸方向を変えることができ、また波長板であれば、光軸方向や位相差を変えることができる。
【0060】
フォトニック結晶を構成する低屈折率媒質としては、SiO2を主成分とする材料が最も一般的であり、透明波長領域が広く、化学的、熱的、機械的にも安定であり、製膜も容易に行うことができる。また、低屈折率媒質としてはその他の光学ガラス、例えばMgF2のようなより屈折率の低い材料を用いてもよい。高屈折率材料としては、Si、Geなどの半導体や、Ta25、TiO2、Nb25、HfO2、Si34などの酸化物や窒化物を用いることができる。半導体材料は屈折率が大きいため、大きなバンドキャップが得られるという利点があるが、利用波長域は近赤外に限定される。一方、酸化物や窒化物は透明波長範囲が広いことから、可視光領域でも使用することが可能となる。
【0061】
自己クローニング法によりフォトニック結晶偏光子を作製する場合、まず基板上に電子ビームリソグラフィとドライエッチングにより、先の図2の基板201に示したような周期的な溝を作製する。溝パターンの形成には、その他のフォトリソグラフィや干渉露光、金型によるスタンピング技術を用いても良い。また、図2では溝の断面形状は矩形であるが、三角形など他の形でも良い。基板としてはSiや石英ガラス、その他の光学ガラスなどが使用できる。凹凸のピッチは入射する光の波長の半分程度、例えば0.8μmの光では0.4μm程度、溝の深さは0.2μm程度である。
【0062】
上述した偏光子の開口面積や透過軸は、はじめに基板に加工する溝パターンの大きさや方向で自由に設計することができる。パターン形成は、電子ビームリソグラフィ、フォトリソグラフィ、干渉露光法、ナノプリンティングなど様々な方法で行うことができる。いずれの場合でも、微小領域ごとに溝の方向を高精度に定めることができる。そのため、透過軸の異なる微小偏光子を組み合わせた偏光子ユニット、更にそれを複数並べた偏光子アレイを形成することが可能となる。また、凹凸パターンを持つ特定の領域のみが偏光子の動作をするため、その周辺の領域を平坦あるいは、面内で等方的な凹凸パターンにしておけば偏波依存性のない媒質として光は透過する。したがって、特定の領域にのみ偏光子を作りこむことができる。
【0063】
この基板201上に、Ta25およびSiO2等のターゲットを用い、スパッタデポジションとバイアススパッタリングを組み合わせて交互多層膜を積層する。このとき、各層のx軸方向に周期的な凹凸形状が保存されるように、バイアス条件を適切に設定することが肝要である。この自己クローニング技術(特開平10−335758号公報(特許3325825号)を参照。)は、再現性、均一性が高く、工業的に微細な周期構造(フォトニック結晶)を作製する優れた手法である。基板の上に規則的な積層構造が生成される理由は、(1)ターゲットからの中性粒子の分散入射による堆積、(2)Arイオンの垂直入射によるスパッタエッチング、それと、(3)堆積粒子の再付着の3つの作用の重ね合わせによって説明することができる。
【0064】
作製条件の一例としては、たとえば、Ta25層の製膜では、ガス圧0.27Pa(2mTorr)、ターゲット印加高周波電力300W、SiO2層の製膜では、ガス圧0.80Pa(6mTorr)、ターゲット印加高周波電力300W、スパッタエッチングはSiO2層製膜後に行ない、ガス圧0.27Pa(2mTorr)、基板印加高周波電力90Wの作製条件が挙げられる。
【0065】
偏光子ユニットを構成する各領域(偏光子)としては、偏光子としての機能を有するものであれば特に限定されない。偏光子の例としては、上述した、自己クローニング技術により形成されたフォトニック結晶の他に、例えば、ワイヤーグリッド型偏光子などが挙げられる。
【0066】
ワイヤーグリッド型の偏光子とは、細い金属ワイヤーを周期的に配列することにより形成された偏光子であり、従来、電磁波のミリ波領域において多く用いられてきた偏光子である。ワイヤーグリッド型偏光子の構造は、入力光の波長に比べて十分細い金属細線が波長に比べて十分に短い間隔で並んだ構造を有する。このような構造に光を入射した場合、金属細線に平行な偏光は反射され、それに直交する偏光は透過されることはすでに知られている(例えば、米国特許6122103号を参照)。金属細線の方向については、1枚の基板内において領域ごとに独立に変化させて作製することができるため、ワイヤーグリッド偏光子の特性を領域毎に変えることができる。これを利用すれば、本実施形態における偏光子ユニットのような、例えば領域毎に透過軸の方向を変化させた構造とすることができる。
【0067】
ワイヤグリッドの作製方法としては、基板上に金属膜を形成し、リソグラフィによりパターニングを行うことで、細線状の金属を残すことができる。他の作製方法としては、リソグラフィにより基板に溝を形成し、この溝の方向とは直角で基板の法線から傾いた方向(基板面に斜めの方向)から真空蒸着により金属を成膜することで作製することができる。真空蒸着では蒸着源から飛来する粒子はその途中で他の分子もしくは原子にほとんど衝突することはなく、粒子は蒸着源から基板にむかって直線的に進むため、溝を構成する凸部にのみ成膜される一方、溝の底部(凹部)では、凸部に遮蔽されほとんど成膜されない。したがって、成膜量を制御することで、基板上に形成された溝の凸部にのみ金属膜を成膜することができ、金属細線を作製することができる。
【0068】
その他の作製方法としては次の例が挙げられる。表面に凹凸を有する基板を作製するためには、通常、基板上にレジストを塗付し、リソグラフィにより露光・現像を行い、ドライもしくはウエットのエッチング処理により、レジストを残したまま下地基板にパターニングを行う。したがって、通常、エッチング処理が終了した時点ではレジストは基板上の凸部上部に存在する。この状態において、真空蒸着により基板の垂直方向から金属膜を成膜した場合、レジスト上及び溝の底部には金属膜が成膜されるが、溝の側面(壁面)にはほとんど成膜されない。次に、レジストを溶剤で溶かすことにより、レジスト上の金属膜を剥離し、溝の底部のみに金属を残すことができる。
【0069】
上述するようにして金属細線を作製することができるが、干渉露光法においてこの金属細線を微小領域ごとに透過軸を変えて作製する方法としては、例えば、基板上において領域ごとのマスクをして上記方法を実施すればよい。例えば、4つの偏光子領域を有する偏光子ユニットを複数個並列させて偏光子アレイを作製する場合には、基板上に金属膜を形成した後、第1の領域を開口すると共に第2から第4の領域を遮蔽したマスクを用いて、第1の領域における金属細線を作製し、これを順次繰り返すことにより、第2から第4の領域にもそれぞれ透過軸が異なる金属細線を作製することができる。基板に溝(凹凸)を形成する方法でも、同様に領域ごとにマスクを利用することで作製することができる。
【0070】
なお、ワイヤグリッド型偏光子に用いられるワイヤー金属としては、アルミニウムもしくは銀が望ましいが、例えばタングステンなど、そのほかの金属であっても同様の現象を実現できる。また、リソグラフィとしては、光リソグラフィ、電子ビームリソグラフィ又はX線リソグラフィなどが挙げられるが、可視光での動作を想定すると細線の間隔が100nm程度になるため、電子ビームリソグラフィもしくはX線リソグラフィがより望ましい。また、金属の成膜では真空蒸着が望ましいが、主として基板に入射する粒子の方向性が重要であるので、高真空度の雰囲気におけるスパッタリング、もしくはコリメーターを用いたコリメーションスパッタでも可能である。
【0071】
上述した偏光子の開口面積や透過軸は、はじめに基板に加工する溝パターンの大きさや方向で自由に設計することができる。パターン形成は、電子ビームリソグラフィ、フォトリソグラフィ、干渉露光法、ナノプリンティングなど様々な方法で行うことができる。いずれの場合でも、微小領域ごとに溝の方向を高精度に定めることができる。そのため、透過軸の異なる微小偏光子を組み合わせた偏光子ユニット、更にそれを複数並べた偏光子アレイを形成することが可能となる。また、凹凸パターンを持つ特定の領域のみが偏光子の動作をするため、その周辺の領域を平坦あるいは、面内で等方的な凹凸パターンにしておけば偏波依存性のない媒質として光は透過する。したがって、特定の領域にのみ偏光子を作りこむことができる。一列以上でも作製することができる。
【0072】
以下の説明は、偏光子ユニットを構成する領域(偏光子)として、フォトニック結晶を用いた例について説明する。なお、ワイヤーグリッド型の偏光子やその他の偏光子であっても同様の説明で実施することができる。
【0073】
図4は、透過軸が4種類の領域を有する偏光子ユニットを複数並べた偏光子アレイと、受光素子アレイとからなる受光モジュールの概略概観図である。図4に示すように、受光モジュールは偏光子アレイ401と受光素子アレイ402を重ね合わせて構成される。なお、図4には、説明のため各アレイを離して図示してある。
【0074】
まず、偏光子アレイ401について説明する。偏光子の構造は図2に示す構造からなり、直交座標系x、y、zにおいて、xy面に平行な1つの基板の上に2種以上の透明材料をz方向に交互に積層した多層構造体(例えばTa25とSiO2の交互多層膜)からなる。偏光子ユニット407は、xy面内において3つ以上の領域、本実施形態では4つの領域403〜406に分かれていて、各領域で各膜は凹凸形状を有しており、この凹凸形状は領域毎に定まるxy面内の一つの方向に周期的に繰り返されて形成されている。
【0075】
第1の領域403(基準領域)は溝の方向がx軸(基準領域における透過軸)に対して0°であり、第2の領域404は45°、第3の領域405は90°、第4の領域406は135°となっている。(x軸を基準とする必要はなく、他の軸を基準として定義することもできる。)但し、配列順番は限定されるものではなく、自由に配置することができ、本実施形態では、偏光子ユニット407内に溝方向の角度が0°、45°、90°、135°の領域が形成されていればよい。それぞれの領域は、先に述べたフォトニック結晶偏光子として動作する。すなわち、xy面に入射される入力光から、各領域によって偏光方向が異なる偏光成分を透過させると共に、全領域において、それぞれ等量の無偏光成分を透過させるようになっている。なお、本実施形態では、偏光子の透過軸は4種類であるが、凹凸の軸方向は0°と60°と120°の3種類でも良いし、4方向以上であっても良い。
【0076】
ここでフォトニック結晶偏光子は、カメラ撮影用として、例えば面内の周期を0.44μm、積層周期を0.44μm、Ta25とSiO2の膜厚比を4:6とし、その動作波長が例えば波長0.8μm帯で動作するように設計する例が挙げられる。図2の構造体に光を垂直方向から入射したとき、溝に平行な偏光は反射され、透過方向には減衰され、その減衰率は15周期で30dB程度となる。一方、溝に垂直な偏光は伝搬し、その透過損失は10周期で0.1dB以下となる。しかしながら、材料の選定や構造パラメータの選定には自由度がある。例えば、高屈折率材料としては、Ta25、TiO2、Nb25でもよく、低屈折率としてはパイレックス(登録商標)ガラス、MgF2、その他光学ガラスでもよい。動作波長が赤外であれば高屈折率材料としてGe、SiGeなどを使うこともできる。また、膜厚比、面内周期、積層周期、斜面の角度に各偏波の分散関係は依存し、偏光子として動作する波長帯が変化する。従って、可視・紫外から赤外までの任意の波長帯に対して設計、作製できる。
【0077】
ここで基板表面の溝形成は電子ビームリソグラフィと反応性エッチングを用いることができる。その他、フォトリソグラフィでもピッチに対して適した光の波長を選んでおけば形成可能である。偏光子アレイを構成する各領域の大きさは、50μm角が挙げられるが、それよりも大きくても(例えば1000μm角)、小さくても(例えば5μm角)良い。また、正方形のパターンだけでなく、三角形、長方形、六角形など任意である。このようにして、領域毎に透過偏光方向の異なる偏光子アレイを形成できる。
【0078】
この偏光子アレイ401を、受光素子(画素)が同じ周期で配列された受光素子アレイ402の上に搭載することにより、偏光状態を測定する。偏光子ユニットにおける偏光子(領域)と受光素子との対応関係については、1つの偏光子に対して少なくとも1つの受光素子を対応させることが好ましい。また、1つの偏光子に対して2つ以上の受光素子を対応させてもよい。隣接する受光素子は必ずしも全部が同じ光学特性を有しているわけではなく、感度や雑音強度などに多少の個体差がある場合が多い。そこで、1つの偏光子に対して2つ以上の受光素子を割り当てることにより、複数の受光素子間のばらつきを平均化でき、偏光強度、偏光角などを算出する際にS/N比を向上させることができる。光受光素子は、CCD、半導体フォトダイオード、C−MOSや撮像管でも良い。CCDの場合では、一つの領域(画素)の大きさが数μmから数十μmであるので、偏光子アレイと組み合わせることで、高精度な画像情報として、光の偏光状態を観測できる。これにより、物質からの反射光や透過光、地表、水面などの反射光の偏波状態を観測することが可能である。例えばガラスや光ディスク、その他の構造物に光を透過あるいは反射させ、歪により誘起される複屈折率により偏波状態が変化する大きさを計測することも可能である。また、顕微鏡に組みこむことで、ミクロな偏波解析を行なうことも可能である。
【0079】
図5は、不透過領域により区切られた透過軸が4種類の領域を有する偏光子ユニット及び、それと組み合わされる受光素子アレイを示す図である。本実施形態で使用する偏光子アレイは、異なる領域を複数個配列したものであるため、それぞれの領域の境界部分は不連続となり、光の散乱や回折が発生する。散乱光および回折光は信号処理の上では雑音となって現れ、偏光解析の精度を劣化させる要因となる。このため、精度の高い装置を実現するために、偏光イメージング装置に使用する偏光子アレイまたは受光素子アレイに遮光領域を配置し、散乱光や回折光が受光されないようにするような手法がある。
【0080】
図5に示すように、偏光子ユニット507における各領域503〜506の境界部分には不透過領域508が配置されており、この部分に入射した光は受光素子アレイ502を構成する受光素子(画素)509に到達することができないようになっている。他の例としては、受光素子アレイ502のうち偏光子アレイの境界部分からの光が入射する領域に同様に不透過領域を設けることでも、散乱光および回折光を除去することができる。それぞれの受光素子で検出する光は、対応する偏光子を透過した光であること、すなわちクロストークが小さいことが重要であるが、上述するように不透過領域を設けることにより、この問題を解消することができる、
【0081】
<画像処理部における画像処理の原理>
次に、画像処理部104における画像処理の原理について説明する。図6は、実施形態に係る画像処理方法を説明するための、偏光子アレイと受光素子アレイの概略構成図である。図6に示すように、偏光子アレイ601を構成する複数の偏光子ユニット607があり、当該偏光子ユニット607は4つの偏光子領域603〜606を有する。一方、受光素子アレイ602は複数の受光素子を有し、受光素子602-0(領域番号m=0)が領域603からの透過光を受光し、受光素子602-1(領域番号m=1)が領域604からの透過光を受光し、受光素子602-2(領域番号m=2)が領域605からの透過光を受光し、受光素子602-3(領域番号m=3)が領域606からの透過光を受光する。
【0082】
説明の便宜上、偏光子ユニット及びこれに対応する受光素子ユニットを座標i,jで表し、偏光子アレイにおける偏光子ユニット607の座標、及び受光素子アレイにおける偏光子ユニット607に対応する受光素子ユニットの座標を共に座標(i,j)とする。そして、座標(i,j)の偏光子ユニット607から得られる透過光強度データをfm(i,j)とすると、偏光子ユニット607からは各領域の4方向に関するデータf0(i,j)、f1(i,j)、f2(i,j)、f3(i,j)が得られる。この透過光の強度fm(i,j)は、各領域ごとに異なる偏光成分の強度(偏光成分の最大強度(振動幅)を2A(i,j)、振幅をA(i,j)とする)と、全領域において均一な無偏光成分の強度B(i,j)との和である。そして、この透過光の強度fm(i,j)は、下記式(3)により表すことができる。
【0083】
【数5】

ここで、mは前記領域ごとに付けられた番号であり、i及びjは前記偏光子アレイにおける前記偏光子ユニットの座標であり、θmは前記領域のうち基準とする領域における繰り返し方向(透過軸)を0°とした場合の他の各領域における繰り返し方向(透過軸)の角度であり、θ(i,j)は前記偏光子ユニットに入力される前記偏光成分の偏光方向と、前記基準とする領域における繰り返し方向(透過軸)との角度差である。
【0084】
本実施形態では、各領域は均一な方向ずれをもって作製されているため、上記式(3)におけるθmをπm/Mとすることができる。これを表したのが下記式(4)である。ここでMは1つの偏光子ユニットにおける領域の数であり、例えば、4つの領域が均一な方向ずれをもって形成された場合には、0°、45°、90°、135°となる。また、例えばM=9の場合には、0°、20°、40°、60°、80°、100°、120°、140°、160°となる。
【0085】
【数6】

【0086】
ここで、強度A(i,j)、強度B(i,j)及びθ(i,j)は、1つの偏光子ユニットの大きさに比べ大きな周期で変化しているため、1つの偏光子ユニット内では一様とみなすことができる。すなわち、1つの偏光子ユニット(i,jが固定された場合)の中では変数m以外は一定の値となる。図7(A)は、上記式(3)又はその特殊型である上記式(4)について、横軸をm、縦軸をfm(i,j)として、グラフをしたものである。図7(A)から分かるように、上記式(3)又は上記式(4)は、所定量の強度B(i,j)に、領域ごとの透過軸の角度により透過強度が異なる偏光成分に関する強度が加わった強度分布となる。
【0087】
そこで、画像処理部104では、偏光子ユニットを構成する各領域に形成された凹凸形状の繰り返し方向の角度に対する、前記各領域を透過した透過光の強度fm(i,j)に、上記式(3)又は上記式(4)で表される数学モデルを当てはめることにより、透過光の強度を、偏光成分に関する強度A(i,j)と、無偏光成分に関する強度B(i,j)とに分離する。その結果、これらの分離した各成分を自由に再構成することにより、所望の画像を得ることができる。
【0088】
次に、上記数学モデルを当てはめる方法について、その一例を詳細に説明する。
画像処理部104では、まず、偏光子ユニットを構成する各領域を透過した透過光の強度fm(i,j)を全て加算して領域数で割ることにより、透過光の強度fm(i,j)の平均値(f(i,j)に上線を付けた記号で表示する。)を算出する。ここで、図7(A)からも分かるように、透過光の強度fm(i,j)の平均値は、強度A(i,j)と強度B(i,j)との和である。したがって、透過光の強度fm(i,j)の平均値は下記式(5)で表すことができる。
【0089】
【数7】

【0090】
上記式(3)は強度A(i,j)と強度B(i,j)及びθ(i,j)の関数であるが、上記式(5)を用いることにより、強度A(i,j)とθ(i,j)の関数に簡略化することができる。すなわち、下記式(6)に変形することができる。
【0091】
【数8】


ここで、mは前記領域ごとに付けられた番号であり、i及びjは前記偏光子アレイにおける前記偏光子ユニットの座標であり、θmは前記領域のうち基準とする領域における繰り返し方向を0°とした場合の他の各領域における繰り返し方向の角度であり、θ(i,j)は前記偏光子ユニットに入力される前記偏光成分の偏光方向と、前記基準とする領域における繰り返し方向との角度差である。
【0092】
本実施形態では、各領域は均一な方向ずれをもって作製されているため、上記式(6)におけるθmをπm/Mとすることができる。これを表したのが下記式(7)である。
【数9】

【0093】
このようにして、強度A(i,j)とθ(i,j)の関数に簡略化された上記式(6)、(7)を用いて、画像処理部104では、偏光子ユニットを構成する各領域に形成された凹凸形状の繰り返し方向の角度に対する、前記各領域を透過した透過光の強度fm(i,j)から前記平均値を減じて得られる強度に、上記式(6)または上記式(7)で表される数学モデルを当てはめることにより(図7(B)を参照。)、透過光の強度から、偏光成分に関する強度A(i,j)を抽出する。さらに、偏光子ユニットに入力される前記偏光成分の偏光方向と、前記基準とする領域における繰り返し方向との角度差θ(i,j)を算出する。所定の数学モデルの当てはめは、例えばフーリエ解析や最小二乗法によることで可能である。強度A(i,j)を抽出することにより、残りの変数である強度B(i,j)も抽出することができる。その結果、これらの分離した各成分を自由に再構成することにより、所望の画像を得ることができる。
【0094】
<偏光イメージング装置を応用した撮影装置>
次に、偏光イメージング装置を応用した撮影装置について説明する。本撮影装置の構成は、上述する偏光イメージング装置と同じであり、画像処理部において、装置への入力光を構成する偏光成分と無偏光成分とを分離して、無偏光成分を得るようにしている。
【0095】
図8は、偏光子ユニットにおける各領域から得られる撮影画像の一例である。また、図9は、本発明の実施形態に係る偏光イメージング装置に入力された入力光を各成分に分離、抽出して、再構成した処理画像の一例である。図9(A)は入力光から偏光成分を分離、除去することにより、車両内部の人間を抽出した画像例であり、図9(B)は偏光成分のみを抽出した画像例であり、図9(C)は偏光子ユニットごとの偏光角度をマッピングして得られた画像例である。
【0096】
上述するように、偏光子ユニットは、4つの領域から構成され、1つの偏光子ユニットから各領域の4方向の偏光角度に関する透過光強度のデータf0(i,j)、f1(i,j)、f2(i,j)、f3(i,j)が得られる。また、偏光子アレイは、i×j個の偏光子ユニットが並べられて構成されているため、例えばデータf0〜f3はそれぞれi×j個のマップ状のデータを構成する。このマップ状のデータが図8(A)〜(D)である。すなわち、図8に示す各画像は、それぞれ、一定の透過軸を有する偏光子を透過した光の強度をマップ化して、画像としたものである。
【0097】
一般に、例えば、車両内部を撮影する場合、車両内部の物体からの反射光(本来検出したい光線)に加えて、フロントガラスやサイドガラスからの反射光(ノイズ、映り込みの原因となる光線)が受光素子で検出される。ここで、車両内部の物体からの反射光の偏光度と、フロントガラスなどからの反射光の偏光度とが異なるという問題に加えて、除去したい反射光についても、それぞれ異なる偏光を有する複数の反射光から構成されることが問題となる。すなわち、フロントガラスとサイドガラスとでは、カメラから見て表面の向きが異なり偏光度、偏光状態が異なったり、また、各ガラスは表面形状が曲面であることが多く、ガラスの各部位からの反射光は偏光度、偏光状態が異なる。
【0098】
図8を用いて説明すると、図8(A)、(B)、及び(C)では、車両のサイドガラスに周囲の背景(右横の人物や空からの太陽光)が映り込み、車両内部の人物像が不明瞭である。これは、サイドガラスからの反射光が、領域m=0,1,2における透過軸とほぼ同じ偏光角度の反射光を有しているためである。一方、車両内部の人物からの反射光はほとんど偏光していない無偏光成分から構成されるため、いずれの領域も透過して、図8(A)、(B)、(C)、及び(D)の全ての画像で確認することができる。したがって、車両内部の人物像を鮮明に撮影したい場合には、図8(D)で示す領域m=3からの透過光情報を主として用いればよい。主として用いるとは、本実施例では、サイドガラスの表面形状が曲面であるため、サイドガラスからの反射光が全て均一な偏光角度を有しておらず、領域m=3からの透過光情報であっても部分的に映り込みがあるためである。このような場合には、各ユニット座標ごとに最適な情報を選択して画像処理を行うことにより、最適な画像を撮影することができる(図9(A)を参照。)。
【0099】
また、本撮影装置では、装置への入力光のうち、無偏光成分を得たい情報として説明したが、例えば、逆の成分である偏光成分を抽出してもよく、この結果得られた画像を図9(B)に示す。
【0100】
本撮影装置は、様々な分野で応用することができる。
(1)雨などで濡れた路面は、濡れていない路面と比較して平滑であり、反射光を生じる。この反射光は、例えば、路面上の白線や道路標識を見えずらくするなどの問題を引き起こし、ドライバーから見て様々な障害となる。一方、この濡れた路面からの反射光は偏光しているため、本撮影装置により、路面からの反射光を除去した画像をリアルタイムで撮影し、ドライバーに提供することができる。
(2)近年、虹彩識別が注目されている。虹彩識別とは、虹彩により人物を認識、特定するシステムである。虹彩とは瞳孔から外側に向かってカオス状に形成された皺のことであり、この皺の形状(模様)は、指紋などと同様にその人固有のパターンとなるため、個人認識の手段として注目されている。この虹彩についても、涙などにより眼が濡れた状態では反射光が識別の障害となってしまう。このような場合でも、本撮影装置により、眼からの反射光を除去した画像を撮影し、識別を的確に行うことができる。
【0101】
<偏光イメージング装置を応用した表面形状計測装置>
次に、偏光イメージング装置を応用した表面形状計測装置について説明する。この表面形状計測装置の構成は、上述する偏光イメージング装置と同じであり、画像処理部において、偏光成分の偏光方向の角度を前記偏光子ユニットごとにマッピングして、物体の表面形状を検出するようにする。
【0102】
ある偏光子ユニットに入力される入力光は、当該ユニットを構成する各領域に一様な偏光角度で入力されるので、当該偏光した入力光はいずれかの領域(又は領域ごとに分布を持って)を透過してくる。このため、入力光がいずれの領域を透過したのか、領域ごとにどのような分布をもって透過したのかなどを解析することにより、入力光の偏光角度を求めることができ、偏光子ユニットごとの偏光角度のマップを作成することができる。この結果得られた画像を図9(C)に示す。表面形状が他の部分と異なる箇所(例えば平滑面における傷など)からの反射光は、それ以外の箇所からの反射光と比較して、異なった偏光状態である場合が多いため、このマップを概観した場合、すぐにその異常な箇所を検出することができる。
【0103】
具体的な適用例としては、果物を出荷する際の果物の品質を検査する場合が挙げられる。果物はその表面に傷などがあると商品としての価値が下がるため、傷の有無や表面形状の良否が品質管理項目となっている。この傷の有無や表面形状の良否は、果物表面からの光の偏光成分の偏光角度の違いとなって表れるので、本表面形状計測装置を用いることで偏光角度のマップを作成して識別して、品質管理を行うことができる。
【0104】
他の具体的な適用例としては、半田付けの良否を判定する場合が挙げられる。基板に電子部品などを取り付ける際に半田付け作業が行われるが、半田付けが不良であると電気回路が動作しないなどの問題が生じる。一般的に、半田付けの良否は、基板と該基板から略垂直に延びた電気配線とを配線周囲に亘って接続する溶融した半田の形状によって判定することができ、該半田の形状が団子状(半田表面が凸んでいる)であると不良とされ、富士山状(半田表面が凹んでいる)であると良とされる。この半田の形状の違いは、半田表面からの光の偏光成分の偏光角度の違いとなって表れるので、本表面形状計測装置を用いることで偏光角度のマップを作成して識別することができる。
【0105】
物体の表面形状を評価する場合には、物体の表面から局所的に強い強度の反射光(リンゴや金属の表面に光を当てた際に特に反射する箇所)が発生する場合があり、ダイナミックレンジの問題が生じる。このような場合であっても、本表面形状計測装置によれば、局所的に強い強度の反射光に基づく情報を削除して、それ以外の箇所からの光のみを用いて精度よく表面形状を計測することができる。
【0106】
<偏光イメージング装置を応用した表面性状計測装置>
次に、偏光イメージング装置を応用した表面性状計測装置について説明する。この表面性状計測装置の構成は、上述する偏光イメージング装置と同じであり、画像処理部において、偏光成分の偏光方向の角度を前記偏光子ユニットごとにマッピングして、物体の表面性状を検出するようにする。
【0107】
ある偏光子ユニットに入力される入力光は、当該ユニットを構成する各領域に一様な偏光角度で入力されるので、当該偏光した入力光はいずれかの領域(又は領域ごとに分布を持って)を透過してくる。このため、入力光がいずれの領域を透過したのか、領域ごとにどのような分布をもって透過したのかなどを解析することにより、入力光の偏光角度を求めることができ、偏光子ユニットごとの偏光角度のマップを作成することができる。物体の表面を構成する物質が他の部分と異なる箇所(例えば複数物質により表面が構成されている場合など)からの反射光は、それ以外の箇所からの反射光と比較して、異なった偏光状態である場合が多いため、このマップを概観した場合、すぐにその異なる物質の箇所を検出することができる。
【0108】
なお、偏光解析をした結果、反射光の偏光が、物体の表面形状(表面の凹凸など)によるものなのか、または、物体の表面性状(表面を構成する物質の変化など)によるものなのかについては、区別することは困難であるため、他の情報をも考慮して判断することが好ましい。例えば、他の情報から予め表面性状が連続的であると分かっている表面に対して、上記偏光解析を行った結果、反射光の偏光状態のマップに不連続性が観察された場合には、表面形状の不連続性によるものと判断することができる。また逆についても同様である。
【0109】
<偏光イメージング装置を応用した撮影装置、路面上障害物検出装置、路面状態検出装置>
次に、偏光イメージング装置を応用した撮影装置、路面上障害物検出装置及び路面状態検出装置について説明する。本撮影装置の構成は、上述する偏光イメージング装置と同じであり、画像処理部において、偏光成分の偏光方向の角度を前記偏光子ユニットごとにマッピングして、該マップにおいて所定の偏光角度が所定の範囲に亘って一様となる箇所又は連続的に変化する箇所を検出するようにしている。また、本路面上障害物検出装置の構成は、画像処理部において、更に、マップにおいて所定の偏光角度が所定の範囲に亘って一様となる箇所又は連続的に変化する箇所を路面として特定し、路面として特定された箇所に位置する物体を検出するようにしている。
【0110】
また、本路面状態検出装置の構成は、画像処理部により、更に、マップにおいて所定の偏光角度が所定の範囲に亘って一様となる箇所又は連続的に変化する箇所を路面として特定(第1機能)した後、画像処理部により、更に、マップにおける路面として特定された箇所に相当する部分において、偏光成分に関する強度が所定値より大きい箇所または無偏光成分に関する強度が所定値より小さい箇所を液体成分が存在する箇所と判定すると共に、偏光成分に関する強度が所定値より小さい箇所または無偏光成分に関する強度が所定値より大きい箇所を固体成分が存在する箇所と判定する(第2機能)ようにしている。
【0111】
近年、車両には、路上に存在する障害物などを検知する装置が設置されている。この装置により、例えば車両のドライバーが視認できる障害物であっても、積極的にドライバーに知らせることができたり、よそ見などで気付かない障害物を知らせることができたりする。また、ドライバーから視角となる障害物をもドライバーに知らせることができるため、思わぬ事故を未然に防止することができる。このような緊急時に用いられる装置では、障害物の検出速度がしばしば問題となり、例えば検出に画像処理を用いている場合には、画像処理速度を高速にすることが好ましい。
【0112】
本路面上障害物検出装置では、撮影画像の中から、まず障害物が多く存在する路面を検出した後、該路面の部分のみを画像処理することにより路面上の物体を検出している。すなわち、撮影した画像における一部を画像処理するだけで障害物などを検出できるため、撮影画像の全てを画像処理する必要がなくなる。この結果、画像処理の負担を軽減して、障害物の検出速度を向上させることができる。
【0113】
本装置の動作原理は、以下の通りである。路面一面は比較的平らな面であるため、路面からの光の偏光成分の偏光角度は一様となっていたり又は連続的に変化していたりする。したがって、本撮影装置で撮影される撮影画像を処理して、偏光成分の偏光角度をマッピングした場合、路面一面は所定の偏光角度が所定の範囲に亘って一様となった箇所又は連続的に変化した箇所として表される。そして、この一様となった箇所又は連続的に変化した箇所を路面として特定することができる。一方、例えば路面の端に存在する路肩などの箇所は、路面と不連続な形状の箇所であるため、路面が示す偏光角度と路肩が示す偏光角度とは不連続となる。なお、「所定の範囲」については適当な値を設定すればよい。
【0114】
なお、偏光成分の「偏光角度」要素は、偏光子の有する透過軸との関係で規定される要素であるため、路面に対する撮影装置の角度によって路面からの偏光成分の偏光角度が異なってしまう。しかしながら、車両に搭載される路面上障害物検出装置(更にその内部構成としての撮影装置)は、車両と路面とが所定の角度関係(例えば、路面と車両の屋根は平行になる。)にあることと関連して、路面に対して既知の角度を有する。すなわち、路面に対する撮影装置の角度が分かっているため、路面からの偏光成分の偏光角度を予測することができる。本実施形態では、路面を検出する判断材料として、上述する「所定の範囲」であるか否かに加えて、予測される偏光角度であるか否かを採用することにより、検出精度を高めることができる。なお、路面を検出した後、その路面上の障害物を検出する方法としては、公知の障害物検出手法を用いて行えばよい。
【0115】
また、本路面状態検出装置は、上述する第1機能と第2機能とにより路面状態を検出する。第1機能は、上述する路面上障害物検出装置の機能であり、これにより画像処理の負担を軽減しながら路面を特定することができる。第2機能は、後述する気象観察用撮影装置で用いられる機能(その詳細は下記説明を参照)であり、路面として特定された箇所における偏光成分又は無偏光成分に関する強度を解析することにより、該解析結果に基づいて路面上に水面や氷面が存在するかなどを判断することができる。
【0116】
例えば、アスファルトなどの路面上に水溜りと氷面が存在した場合、それらの表面の滑らかさは、アスファルトが最も粗く、水溜りがもっとも滑らかであり、氷面はこれらの中間である場合が多い。そして、これらの滑らかさの違いによって、偏光成分又は無偏光成分の強度が異なることになる。したがって、これらの強度の違いから、路面上に水面や氷面が存在するかなどを判断することができる。後述するように、液体成分と固体成分との識別精度をさらに高めるアルゴリズムなどを必要とする場合もあるが、例えば、さらに気温などの情報を用いることにより、路面状態の検出精度をさらに高めることができる。
【0117】
<偏光イメージング装置を応用した気象観察用撮影装置>
次に、偏光イメージング装置を応用した撮影装置及び気象観察用撮影装置について説明する。本撮影装置の構成は、上述する偏光イメージング装置と同じであり、画像処理部において、入力光を構成する偏光成分と無偏光成分とを分離すると共に、偏光成分に関する強度または無偏光成分に関する強度を偏光子ユニットごとにマッピングするようにしている。また、気象観察用撮影装置の構成は、画像処理部おいて、更に、前記マップにおいて、偏光成分に関する強度が所定値より大きい箇所または無偏光成分に関する強度が所定値より小さい箇所を液体成分が存在する箇所と判定すると共に、偏光成分に関する強度が所定値より小さい箇所または無偏光成分に関する強度が所定値より大きい箇所を固体成分が存在する箇所と判定するようにしている。
【0118】
図10は、本発明の実施形態に係る偏光イメージング装置に入力された入力光を各成分に分離、抽出して、再構成した処理画像の一例である。図10(A)は各成分を処理していない通常の撮影画像例であり、図10(B)は偏光成分のみを抽出してこの強度をマッピングした画像例である。
【0119】
同図に示すように、例えば、雲を撮影した場合(図10(A))、について説明する。雲は例えば水の粒(水蒸気)、氷の粒、砂及び塵などにより構成され、例示するように液体成分もあれば固体成分をも有する。これらの成分のうち、水の粒に代表される液体成分は平滑な表面を有する被写体に該当する一方、氷の粒、砂及び塵などに代表される固体成分は凹凸のある表面を有する被写体に該当する。したがって、図10(B)に示すように、撮影画像を処理して偏光成分の強度についてマッピングした場合、雲の画像を偏光成分の強度の濃淡で表すことができ、液体成分が比較的多く存在する箇所と固体成分が比較的多く存在する箇所とを識別することができる。ただし、気象現象などは様々な要因が複雑に絡み合って生まれる現象であるため、偏光成分の強度の濃淡という1つの情報から各成分を明確に分離、識別できない場合も多い。したがって、各成分をより明確に分離、識別するためには、各成分の識別精度を高めるアルゴリズムを更に採用したり(例えば、「所定値」をより的確に設定するなど)、例えば他の情報をも考慮したりすることが好ましい。また、例えば黄砂の観測情報など他の情報を含めて分析することにより、固体成分が氷の粒なのか又は黄砂や塵なのかなどのより詳細な分析をすることができる。上述する液体成分及び固体成分を判定する「所定値」については適当な値を設定すればよい。また、液体成分を識別するための所定値と固体成分を識別するための所定値とを別に設定して、これらの所定値間の強度を有する偏光子ユニットを識別するようにしてもよい。これにより、より詳細な気象観察をすることができる。なお、偏光成分の強度についてのマッピングを説明したが、無偏光成分の強度についてのマッピングとした場合であっても同様に説明することができる。
【0120】
<他の実施形態に係る偏光イメージング装置>
上述する偏光イメージング装置は、入力光の偏光成分と無偏光成分とを処理(例えば分離処理)して、各成分から得られる情報を利用するものである。これに対して、次に、入力光の偏光成分と無偏光成分とを処理しなくても、有用な情報を得られる実施形態について説明する。
【0121】
すなわち、本発明の他の実施形態に係る偏光イメージング装置は、上述する偏光子アレイと上述する受光素子アレイとを有し、更に、各領域を透過した透過光の強度について、隣接する領域同士の透過光の強度差が所定値より大きい偏光子ユニットと所定値より小さい偏光子ユニットとを分離する画像処理部を有する偏光イメージング装置である。
【0122】
偏光子アレイ及び受光素子アレイについては、上述する様々な形態のものを適用することができる。
【0123】
次に、本実施形態に係る偏光イメージング装置における画像処理部の動作について、図6を用いて説明する。上述するように被写体を撮影する際に得られる、被写体からの光には、無偏光成分と偏光成分とが含まれる。ここで、偏光子ユニット607に入力された光が無偏光成分を比較的多く含む光(例えば、凹凸のある表面を有する被写体又は被写部分からの光)である場合、偏光子ユニット607を構成する各領域603〜606を透過する光の強度は領域ごとでほとんど差はない。従って、対応する受光素子602-0〜602-3が受光する透過光の強度は素子ごとでほとんど差はない。これに対して、偏光子ユニット607に入力された光が偏光成分を比較的多く含む光(例えば、平滑な表面を有する被写体又は被写部分からの光)である場合、偏光子ユニット607を構成する各領域603〜606を透過する光の強度は領域ごとで大きく異なる(図7を参照。)。従って、対応する受光素子602-0〜602-3が受光する透過光の強度は素子ごとで大きく異なる。
【0124】
これを利用して、各領域を透過した透過光の強度について、隣接する領域同士の透過光の強度差が所定値より大きい偏光子ユニットと所定値より小さい偏光子ユニットとを抽出してこれらを分離することにより、撮影画像における無偏光成分の部分(又は該成分を多く含む部分)と偏光成分の部分(又は該成分を多く含む部分)とを識別することができる。この「所定値」については適当な値を設定すればよい。また、強度差が大きい偏光子ユニットを識別するための所定値(上側所定値)と強度差が小さい偏光子ユニットを識別するための所定値(下側所定値)とを別に設定して、上側所定値と下側所定値との間の強度差を有する偏光子ユニットを識別するようにしてもよい。
【0125】
なお、1つの偏光子に対して2つ以上の受光素子を設置した場合には、偏光成分を多く含む光が入力されても「隣接する偏光子(領域)同士」の透過光の強度差は大きいが、「隣接する受光素子同士」は必ずしも大きな強度差とはならない。ある偏光子に対応する複数の受光素子はすべて同じ強度の透過光を受光するからである。この場合には、1つの偏光子に対応する複数の受光素子群を1単位としてとらえて、この受光素子群に隣接する受光素子群について強度差を計算すればよい。
【0126】
<他の実施形態に係る偏光イメージング装置を応用した移動体検出用撮影装置>
次に、他の実施形態に係る偏光イメージング装置を応用した移動体検出用撮影装置について説明する。本移動体検出用撮影装置の構成は、上述する他の実施形態に係る偏光イメージング装置と同じであり、画像処理部において、隣接する領域同士の透過光の強度差が所定値より大きい偏光子ユニットが所定の範囲に亘って隣接して連続する箇所からの情報を移動体として検出するようにする。本移動体検出用撮影装置は、例えばNシステムなどの交通監視システムなどに適用することができる。
【0127】
図11(A)は、本発明の他の実施形態に係る偏光イメージング装置に入力された入力光を画像とした一例である。図11(B)は図11(A)の拡大図である。これらの図に示すように、比較的平滑な表面を有する車両などの移動体のフロントガラスからの光は偏光成分を多く含むため、隣接する偏光子(領域)同士の透過光の強度差が大きく、偏光子ごとに強度が明瞭に異なるモザイク状の画像となる。そして、このモザイク状の画像を与える偏光子ユニットは、フロントガラス一面に対応するように、所定の範囲に亘って隣接して連続する。一方、比較的凹凸のある表面を有する車両以外の部分からの光は無偏光成分を多く含むため、隣接する偏光子(領域)同士の透過光の強度差が小さく、偏光子ごとに強度がほぼ同じの画像となる。これらの画像の差を処理することにより、例えば、車両などの移動体を含む景観の中から車両(移動体)のガラスなどの偏光成分の多い箇所を識別することができる結果、車両(移動体)を検出することができる。なお、「所定の範囲」については適当な値を設定すればよい。
【産業上の利用可能性】
【0128】
本発明により実現される偏光イメージング装置は、デジタルカメラ、ビデオカメラ、表面形状計測装置、表面性状計測装置などに利用することができる。
【図面の簡単な説明】
【0129】
【図1】図1は、本発明の実施形態に係る偏光イメージング装置の概略構成図である。
【図2】図2は、フォトニック結晶からなる偏光子の概念図である。
【図3】図3は、図2に示すフォトニック結晶の伝搬特性を表すバンド図である。
【図4】図4は、透過軸が4種類の領域を有する偏光子ユニットを複数並べた偏光子アレイと、受光素子アレイとからなる受光モジュールの概略概観図である。
【図5】図5は、不透過領域により区切られた透過軸が4種類の領域を有する偏光子ユニット及び、それと組み合わされる受光素子アレイを示す図である。
【図6】図6は、実施形態に係る画像処理方法を説明するための、偏光子アレイと受光素子アレイの概略構成図である。
【図7】図7は、画像処理部における数学モデルを当てはめる方法を説明する図である。
【図8】図8は、偏光子ユニットにおける各領域から得られる撮影画像の一例である。
【図9】図9は、本発明の実施形態に係る偏光イメージング装置に入力された入力光を各成分に分離、抽出して、再構成した処理画像の一例である。図9(A)は入力光から偏光成分を分離、除去することにより、車両内部の人間を抽出した画像例であり、図9(B)は偏光成分のみを抽出した画像例であり、図9(C)は偏光子ユニットごとの偏光角度をマッピングして得られた画像例である。
【図10】図10は、本発明の実施形態に係る偏光イメージング装置に入力された入力光を各成分に分離、抽出して、再構成した処理画像の一例である。図10(A)は各成分を処理していない通常の撮影画像例であり、図10(B)は偏光成分のみを抽出してこの強度をマッピングした画像例である。
【図11】図11(A)は、本発明の他の実施形態に係る偏光イメージング装置に入力された入力光を画像とした一例である。図11(B)は図11(A)の拡大図である。
【符号の説明】
【0130】
100 偏光イメージング装置
101 偏光子アレイ
102 受光素子アレイ
103 受光モジュール
104 画像処理部
105 演算部
106 メインメモリ
107 出力部
201 周期的な溝列を形成した透明材料基板
202 高屈折率の媒質
203 低屈折率の媒質
401 偏光子アレイ
402 受光素子アレイ
403〜406 偏光子領域
407 偏光子ユニット

【特許請求の範囲】
【請求項1】
それぞれ透過軸が異なる3つ以上の偏光子の領域に分かれており、入射される入力光のうち、前記各領域において当該入力光の無偏光成分を透過させると共に、前記各領域によって偏光方向が異なる前記入力光の偏光成分を透過させる偏光子ユニットを1個又は複数個含む偏光子アレイと、
前記各領域を透過した光を独立に受光する受光素子アレイと、
前記受光素子アレイからの前記偏光成分及び無偏光成分を処理する画像処理部と、
を有する偏光イメージング装置。
【請求項2】
前記画像処理部は、前記各領域における透過軸の角度に対する、前記各領域を透過した透過光の強度fm(i,j)に、下記式(1)で表される数学モデルを当てはめることにより、
前記透過光の強度を、前記偏光成分に関する強度A(i,j)と、前記無偏光成分に関する強度B(i,j)とに分離する、請求項1に記載する偏光イメージング装置。
【数1】

ここで、mは前記領域ごとに付けられた番号であり、i及びjは前記偏光子アレイにおける前記偏光子ユニットの座標であり、θmは前記領域のうち基準とする領域における透過軸を0°とした場合の他の各領域における透過軸の角度であり、θ(i,j)は前記偏光子ユニットに入力される前記偏光成分の偏光方向と、前記基準とする領域における透過軸との角度差である。
【請求項3】
前記画像処理部は、前記各領域を透過した透過光の強度fm(i,j)を全て加算して領域数で割ることにより平均値を算出し、前記各領域における透過軸の角度に対する、前記各領域を透過した透過光の強度fm(i,j)から前記平均値を減じて得られる強度に、下記式(2)で表される数学モデルを当てはめることにより、
前記透過光の強度から、前記偏光成分に関する強度A(i,j)を抽出する、請求項1に記載する偏光イメージング装置。
【数2】

ここで、mは前記領域ごとに付けられた番号であり、i及びjは前記偏光子アレイにおける前記偏光子ユニットの座標であり、θmは前記領域のうち基準とする領域における透過軸を0°とした場合の他の各領域における透過軸の角度であり、θ(i,j)は前記偏光子ユニットに入力される前記偏光成分の偏光方向と、前記基準とする領域における透過軸との角度差である。また、強度fm(i,j)の平均値をf(i,j)に上線を付けた記号で表示する。
【請求項4】
前記画像処理部は、更に、前記θ(i,j)を算出して、前記偏光成分の偏光方向を求める、請求項2又は3に記載する偏光イメージング装置。
【請求項5】
それぞれ透過軸が異なる3つ以上の偏光子の領域に分かれており、入射される入力光のうち、前記各領域において当該入力光の無偏光成分を透過させると共に、前記各領域によって偏光方向が異なる前記入力光の偏光成分を透過させる偏光子ユニットを1個又は複数個含む偏光子アレイと、
前記各領域を透過した光を独立に受光する受光素子アレイと、
前記各領域を透過した透過光の強度について、隣接する領域同士の透過光の強度差が所定値より大きい偏光子ユニットと所定値より小さい偏光子ユニットとを分離する画像処理部と、
を有する偏光イメージング装置。
【請求項6】
前記偏光子ユニットにおける前記透過軸が、前記領域ごとに45°以下の角度で異なる、請求項1又は5に記載する偏光イメージング装置。
【請求項7】
前記偏光子ユニットは、前記領域を4つ有し、
前記領域における前記透過軸は、それぞれ前記領域のうち基準とする領域における透過軸に対して0°、45°、90°、135°の方向である、請求項1又は5に記載する偏光イメージング装置。
【請求項8】
前記偏光子ユニットの各領域の境界部分に遮光部分を設けるか、または前記偏光子ユニットの各領域の境界部分に対応した前記受光素子アレイの領域を遮光し、前記境界部分における光の回折や散乱の影響を抑圧する、請求項1又は5に記載する偏光イメージング装置。
【請求項9】
前記偏光子ユニットは、直交座標系x、y、zにおいて、xy面に平行な1つの基板の上に2種以上の透明材料をz方向に交互に積層した多層構造体であって、xy面内において3つ以上の偏光子の領域に分かれており、各層は領域毎に定まるxy面内の一方向に繰り返される1次元周期的な凹凸形状を有し、
前記xy面に前記入力光が入射される、
請求項1ないし8のいずれかに記載する偏光イメージング装置。
【請求項10】
前記偏光子ユニットは、前記各領域がワイヤーグリッド型偏光子により構成されている、
請求項1ないし8のいずれかに記載する偏光イメージング装置。
【請求項11】
前記受光素子アレイがフォトディテクタ、CCD、C−MOS又は撮像管のいずれかである、請求項1ないし10のいずれかに記載する偏光イメージング装置。
【請求項12】
請求項1に記載する偏光イメージング装置を具備し、
前記画像処理部により、前記入力光を構成する前記偏光成分と前記無偏光成分とを分離して、前記無偏光成分を得る、撮影装置。
【請求項13】
請求項4に記載する偏光イメージング装置を具備し、
前記画像処理部により、更に、前記偏光成分の偏光方向の角度を前記偏光子ユニットごとにマッピングして、物体の表面形状を検出する、表面形状計測装置。
【請求項14】
請求項4に記載する偏光イメージング装置を具備し、
前記画像処理部により、更に、前記偏光成分の偏光方向の角度を前記偏光子ユニットごとにマッピングして、物体の表面を構成する物質の連続性を検出する、表面性状計測装置。
【請求項15】
請求項4に記載する偏光イメージング装置を具備し、
前記画像処理部により、更に、前記偏光成分の偏光方向の角度を前記偏光子ユニットごとにマッピングして、該マップにおいて所定の偏光角度が所定の範囲に亘って一様となる箇所又は連続的に変化する箇所を検出する、撮影装置。
【請求項16】
請求項15に記載する撮影装置を具備し、
前記画像処理部により、更に、前記マップにおいて所定の偏光角度が所定の範囲に亘って一様となる箇所又は連続的に変化する箇所を路面として特定し、前記路面として特定された箇所に位置する物体を検出する、路面上障害物検出装置。
【請求項17】
請求項15に記載する撮影装置を具備し、
前記画像処理部により、更に、前記マップにおいて所定の偏光角度が所定の範囲に亘って一様となる箇所又は連続的に変化する箇所を路面として特定し、
前記画像処理部により、更に、前記マップにおける前記路面として特定された箇所に相当する部分において、前記偏光成分に関する強度が所定値より大きい箇所または前記無偏光成分に関する強度が所定値より小さい箇所を液体成分が存在する箇所と判定すると共に、前記偏光成分に関する強度が所定値より小さい箇所または前記無偏光成分に関する強度が所定値より大きい箇所を固体成分が存在する箇所と判定する、路面状態検出装置。
【請求項18】
請求項1ないし3のいずれかに記載する偏光イメージング装置を具備し、
前記画像処理部により、前記入力光を構成する前記偏光成分と前記無偏光成分とを分離すると共に、前記偏光成分に関する強度または前記無偏光成分に関する強度を前記偏光子ユニットごとにマッピングする、撮影装置。
【請求項19】
請求項18に記載する撮影装置を具備し、
前記画像処理部により、更に、前記マップにおいて、前記偏光成分に関する強度が所定値より大きい箇所または前記無偏光成分に関する強度が所定値より小さい箇所を液体成分が存在する箇所と判定すると共に、前記偏光成分に関する強度が所定値より小さい箇所または前記無偏光成分に関する強度が所定値より大きい箇所を固体成分が存在する箇所と判定する、気象観察用撮影装置。
【請求項20】
請求項5に記載する偏光イメージング装置を具備し、
前記画像処理部により、更に、前記隣接する領域同士の透過光の強度差が所定値より大きい偏光子ユニットが所定の範囲に亘って隣接して連続する箇所からの情報を移動体として検出する、移動体検出用撮影装置。


【図8】
image rotate

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2007−86720(P2007−86720A)
【公開日】平成19年4月5日(2007.4.5)
【国際特許分類】
【出願番号】特願2006−45257(P2006−45257)
【出願日】平成18年2月22日(2006.2.22)
【新規性喪失の例外の表示】特許法第30条第1項適用申請有り 2005年9月7日 社団法人応用物理学会発行の「2005年(平成17年)秋季 第66回 応用物理学会学術講演会講演予稿集 第3分冊」に発表
【出願人】(302060650)株式会社フォトニックラティス (22)
【Fターム(参考)】