形状測定装置
【課題】対物レンズの光軸に沿って、被検物を移動させることなく、被検物の形状を測定できるようにする。
【解決手段】MLA１２は、対物レンズ１１の瞳面又は結像面に配置され、撮像素子１３は、MLA１２の背後に設置され、対物レンズ１１による被検物像を撮像する。レンズ駆動装置４２は、被検物の各測定点までの距離情報に応じた量だけ、対物レンズ１１を光軸方向に移動させて、被検物に焦点が合うようにする。演算処理回路３４は、撮像素子１３の出力から複数の測定画像を生成し、MLA１２の２次元状に配列された複数のＭＬの各々に対応する撮像素子１３の撮像領域を構成する画素のうち、対物レンズ１１の主光線と交わる位置にある画素から得られる基準画像を、測定画像の補正情報として用いて、被検物の３次元の形状を測定する。本発明は、被検物の３次元の形状を計測する形状測定装置に適用できる。
【解決手段】MLA１２は、対物レンズ１１の瞳面又は結像面に配置され、撮像素子１３は、MLA１２の背後に設置され、対物レンズ１１による被検物像を撮像する。レンズ駆動装置４２は、被検物の各測定点までの距離情報に応じた量だけ、対物レンズ１１を光軸方向に移動させて、被検物に焦点が合うようにする。演算処理回路３４は、撮像素子１３の出力から複数の測定画像を生成し、MLA１２の２次元状に配列された複数のＭＬの各々に対応する撮像素子１３の撮像領域を構成する画素のうち、対物レンズ１１の主光線と交わる位置にある画素から得られる基準画像を、測定画像の補正情報として用いて、被検物の３次元の形状を測定する。本発明は、被検物の３次元の形状を計測する形状測定装置に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、形状測定装置に関する。
【背景技術】
【０００２】
対物レンズの光軸に沿って被検物を移動させながら焦点位置の異なる複数の画像を得て、被検物上の点各々について、それら複数の画像より合焦測度が最大となる画像を選択し、その画像での焦点位置をその点についての高さとし、これらの情報から被検物の形状測定を行うものが知られている。
【０００３】
これは、一般的に、SFF（Shape From Focus）といった手法である。
【特許文献１】特許第２９６０６８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、このような従来の技術では、対物レンズの光軸に沿って被検物を移動させながら画像を取得する必要があり、測定に時間がかかっていた。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、対物レンズの光軸に沿って、被検物を移動することなく、被検物の形状を測定できるようにするものである。
【課題を解決するための手段】
【０００６】
本発明の一側面の形状測定装置は、対物レンズと、前記対物レンズの背後に２次元に配列された複数のレンズを有する光学素子と、前記光学素子の背後に配置された２次元の撮像素子と、前記対物レンズを光軸方向へ移動させるレンズ移動手段と、前記撮像素子の出力から複数の測定画像を生成する画像形成手段と、前記複数のレンズの各々に対応する前記撮像素子の撮像領域を構成する画素のうち、前記対物レンズの主光線と交わる位置にある画素から得られる基準画像を、前記測定画像の補正情報として用いて被検物の形状を測定する形状測定手段とを備えることを特徴とする。
【０００７】
前記形状測定手段は、前記形状の測定の前提として、前記被検物の各測定点までの距離情報を求め、前記形状測定手段により測定された距離情報に基づいて、前記被検物に焦点が合うように前記レンズ移動手段を制御する制御手段をさらに備えることを特徴とする。
【０００８】
前記距離情報は、前記基準画像を前記測定画像の補正情報として用いることで得られる前記対物レンズから前記被検物までの距離に関する情報であることを特徴とする。
【０００９】
前記レンズ移動手段によって前記対物レンズを所定の間隔ごとにステップ移動させ、前記対物レンズが停止するごとに、前記画像形成手段に前記測定画像の生成を指示する制御手段をさらに備えることを特徴とする。
【００１０】
前記ステップ移動の間隔は、前記被検物までの距離に応じて変化する測定感度が所定の範囲となるように定められることを特徴とする。
【００１１】
本発明の一側面によれば、対物レンズが光軸方向へ移動され、撮像素子の出力から複数の測定画像が生成され、複数のレンズの各々に対応する撮像素子の撮像領域を構成する画素のうち、対物レンズの主光線と交わる位置にある画素から得られる基準画像が、測定画像の補正情報として用いられて、被検物の形状が測定される。
【発明の効果】
【００１２】
本発明によれば、対物レンズの光軸に沿って、被検物を移動することなく、被検物の形状を測定できる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照しながら本発明の実施の形態について説明する。
【００１４】
本発明では、レンズを動かすことなく、複数の仮想的な物体面（Ｚ1，Ｚ2，・・・）からの（方向性を含む）ボケ量（以下、フォーカス情報ともいう）を算出し、さらに、ボケのない全焦点の画像も同時に得られるようにしている。これにより、本発明においては、それらの情報を用いた距離計測を行うことが可能となる。
【００１５】
具体的には、レンズと撮像面の間隔ａ（以下、レンズ位置ａともいう）と、レンズの焦点距離ｆから、下記の式（１）のガウスの公式により、被検物の測定点までの距離ｂを知ることができる。
【００１６】
１／ｂ＝１／ｆ−１／ａ・・・（１）
【００１７】
本発明による測定では、上記の機構的に決まるレンズ位置ａとは別に、マイクロレンズアレイ（以下、MLAという）を通した撮像素子上の画素信号を組み換え、加算することにより、仮想的にレンズと撮像面の間隔ａ1，ａ2，ａ3，・・・，ａnを構築する。これらの値を、式（１）の値ａに代入して得られる値ｂの値列が、複数の物体面（Ｚ1，Ｚ2，Ｚ3，・・・Ｚn）の位置となる。すなわち、かかる測定においては、このような再構成により、異なる物体面から発せられた光線が撮像面に到達したとして、そのときの画像を再構成し、フォーカス情報を得ることができる。
【００１８】
このようにして、レンズの光軸に沿って被検物を移動することなく、従来のSFF法と同様の情報を得ることができる。
【００１９】
なお、このような焦点検出での位置は、MLAの数だけ実行できるので、被検物をどのくらい細かく測定できるか（空間分解能）は、MLAの配列構成によって決まる。つまり、MLAの数が多いほど、測定の空間分解能が高くなることになる。
【００２０】
次に、上記の原理を用いて、被検物の形状測定を行う形状測定装置の詳細について、各構成要素ごとに説明する。
【００２１】
［１．光学系］
まず、図１を参照して、本発明を適用した形状測定装置の光学系の概要について説明する。
【００２２】
図１に示すように、光学系は、対物レンズ１１、MLA１２、及び撮像素子１３を含むようにして構成される。
【００２３】
図１には、図１ａと図１ｂの２つの光学系の構成が図示されているが、図１ａの構成では、被検物（物体面（Ｐ面））の像を捕らえる対物レンズ１１の焦点距離だけ離れた位置にMLA１２を置き、MLA１２の焦点距離だけ離れた位置に撮像素子１３が置かれている。図１ａでは、この撮像素子１３の撮像面が、物体面（Ｐ面）と共役になっており、被検物の像が結像している。
【００２４】
MLA１２は、先述したMLAと同様に、例えば７×７個などの、複数のマイクロレンズ（以下、ＭＬという）を２次元状に並べてなる光学素子である（図１では、縦方向の７個を図示している）。各ＭＬで結像した像のできる領域、すなわち、ＭＬ領域１３ＭＬから得られる画像信号は、それぞれのＭＬ領域の位置に応じて被検物の異なる視点の画像、つまり、視差のある像となっている。
【００２５】
一方、図１ｂの構成では、所定の位置にある物体面Ｐが対物レンズ１１で結像する面にMLA１２を置き、ＭＬの焦点距離だけ離れた位置に撮像素子１３が置かれている。この場合、撮像素子１３の面が、対物レンズ１１の瞳面と共役になっており、各ＭＬ領域の画像信号は、瞳を分割した像となっている。言い換えると、図１ｂでは、結像された光線が、レンズ瞳から見て違う角度ごとの光線に振り分けられている。
【００２６】
本発明では、上記の図１ａ又は図１ｂのいずれの構成からも、違う角度からの光線を再構成することによって、焦点面の異なる複数の画像を得ることができ、それを利用して、被検物の形状の測定を行う。したがって、以下の説明では、図１ａの構成を中心に述べるが、図１ｂの構成を採用しても同様である。
【００２７】
そこで、次に、図２及び図３を参照して、図１ａの光学系のさらに詳細な構成について説明する。なお、図２においては、複数のＭＬからなるMLA１２の一部としての、マイクロレンズＭＬa，マイクロレンズＭＬb，マイクロレンズＭＬcの３つのＭＬ（以下、それぞれ、ＭＬa，ＭＬb，ＭＬcという）が説明のために図示されている。
【００２８】
図２において、物体面（Ｐ面）上の点Ｐ１からの光線には、光軸と平行方向の光（図中の実線）として対物レンズ１１を通過後屈折して、ＭＬbによって撮像素子１３の撮像面上のＭＬ領域の点Ｐ１bに結像される光線群（図中の実線）や、対物レンズ１１の中心を通過後、ＭＬcによって、撮像素子１３の撮像面上のＭＬ領域の点Ｐ１cに結像される光線群（図中の点線）などがある。
【００２９】
こうして、対物レンズ１１の瞳面に置いた各ＭＬが、撮像面にそれぞれ独立に物体の像を結ぶ。また、このとき、撮像面上のＭＬ領域の点Ｐ１bと、ＭＬ領域の点Ｐ１cとは、物体面（Ｐ面）上の同じ点Ｐ１からの、異なる角度で出てきた光線を受光する。
【００３０】
同様に、物体面（Ｐ面）上の点Ｐ２からの光線には、図中の一点鎖線で示される方向に射出して対物レンズ１１を通過屈折し、ＭＬaによって撮像素子１３の撮像面上のＭＬ領域の点Ｐ２aに結像される光線、図中の実線で示されるように、対物レンズ１１の光軸と平行方向に射出して対物レンズ１１を通過後、ＭＬbによって撮像素子１３の撮像面上のＭＬ領域の点Ｐ２bに結像される光線、及び図中の点線で示されるように、下方向に射出して対物レンズ１１を通過後屈折して、ＭＬcによって撮像素子１３の撮像面上のＭＬ領域の点Ｐ２cに結像される光線が示されている。また、物体面（Ｐ面）上の点Ｐ３からの光線には、図中の一点鎖線で示されるように上方向に射出して対物レンズ１１を通過後屈折して、ＭＬaによって撮像素子１３の撮像面上のＭＬ領域の点Ｐ３aに結像される光線、図中の実線で示されるように対物レンズ１１の光軸と平行方向に射出して、ＭＬbによって撮像素子１３の撮像面上のＭＬ領域の点Ｐ３bに結像される光線が示されている。
【００３１】
ここで、仮に、対物レンズ１１だけの結像系であったとすると、例えば、点Ｐ２から射出された光は対物レンズ１１で一点に集光される。すなわち、図２の光学系でいうと、点Ｐ２a，Ｐ２b，Ｐ２cなどの点Ｐ２から射出したあらゆる方向からの光線強度が加算されたものとなり、これが画素信号となる。このことは、図２に示すような、本発明の光学系では、MLA１２の各ＭＬによって、被検物上の一点から出た光を方向別に選別して捕えることができる、ということを意味している。
【００３２】
図３は、ある１つのＭＬから見た像が、Ｐ面から射出した同じ方向からの光線で構成されたＰ面の像であることを示しており、そのことはＰ面を各ＭＬによって各ＭＬの数だけ異なる方向から見た像が得られることを示すものである。すなわち、ＭＬの数だけできるが、それらはＰ面から射出した光のうち、同じ方向へ射出した光が対応するＭＬに入射してＰ面の像を形成することを意味する。換言すれば、ＭＬの数だけ異なる視差の像が得られる。
【００３３】
図３ａないし図３ｃで示す光線のうち、図３ｂにおいて、対物レンズ１１に対して垂直に入ってくる光を集めた中央部のＭＬによる像は、Ｐ面を正面から捕らえた像となる。また、図３ａ及び図３ｃは、対物レンズ１１に斜めに入射する光を集めた端の方に位置するＭＬによる像は、Ｐ面から射出する光の角度の方向からＰ面を見た像となる。
【００３４】
対物レンズ１１の瞳面は、MLA１２の各ＭＬの口径の大きさに分割され、それぞれのＭＬが同じ物体像を結ぶ。このとき、端の方のＭＬでの像は、周辺でけられ（物体の見えない所）が発生し、端の方の視野の一部は遮られるが、基本的には、各ＭＬによる像は、物体面（Ｐ面）と共役の位置で物体面（Ｐ面）を異なる角度から見た像となる。
【００３５】
そして、Ｎ個の各MLA像のＮＡ（開き角）は、各ＭＬの口径で決まる開口で１／Ｎに縮小される。ここで注目すべきことは、各ＭＬの像は、結像側からの見込み角度が小さく、光量は少なくなるが、被写界深度（焦点深度）は非常に深くなる。従って、物体側の奥行きに関係なく、ほとんど焦点の合った像、いわゆる全焦点画像となっている。
【００３６】
さらに、図３ｂの対物レンズ１１の光軸上（図２のMLA１２の中心に相当する）のＭＬ（図２のＭＬbに相当する）によって結像される像は、物体位置が光軸方向に移動しても、焦点もほぼ合ったまま像はずれない。すなわち、物体の光軸方向の位置が変わっても像はほとんど変化しない。
【００３７】
一方、図３ａと図３ｃでの中心から外れたＭＬ（図２のＭＬa，ＭＬcに相当する）を見ると、図中の左方向の矢印で示すように、物体位置が対物レンズ１１から遠ざかる場合、結像される像は、図３ａでは図中の上方向の矢印の方向にずれ、図３ｃでは図中の下方向の矢印の方向にずれる。つまり、光線のあたる画素位置は、光軸から遠ざかる方向にずれていく。逆に、物体位置が近づけば、これらの画像の画素位置は、光軸へ近づく方向にずれていく。
【００３８】
以上のようにして、本発明の光学系は構成される。
【００３９】
［２．焦点画像生成の手順］
（２−１）MLA１２を対物レンズ１１の瞳面とした場合
次に、図４及び図５を参照しつつ、上記の本発明の光学系を採用した場合において、複数の異なる位置での物体面の画像又は信号を形成して、物体各点でのフォーカス情報を検出する方法について説明する。なお、本実施の形態においては、図１で説明したように、図１ａ又は図１ｂのいずれの構成を採用しても、異なる角度から入射される光線を再構成して、焦点面の異なる複数の画像を生成することが可能である。したがって、はじめに、（１）MLA１２を対物レンズ１１の瞳面に置いた場合について説明し、その後、（２）MLA１２を対物レンズ１１の結像面に置いた場合についても説明する。
【００４０】
図４は、対物レンズ１１とMLA１２での光線追跡図を示し、図５は、MLA１２で結像された撮像素子１３の面での画素配列の一部と、MLA領域ごとに信号処理される選択画素を示している。
【００４１】
ところで、MLA１２の後側に配置される撮像素子１３は、例えば、CCD（Charge Coupled Device）センサやCMOS（Complementary Metal Oxide Semiconductor）センサなどであり、MLA１２の各ＭＬを通過した光を受光する所定の画素配列を、ＭＬに対応した配置パターンで配置してなる。この画素配列の縦方向と横方向の画素数は、例えば７×７個などの個々のＭＬを個別に透過した部分光束を個別に受けられるように、適宜設定される。なお、ここでは、撮像素子１３として、CCDを用いた例について説明する。
【００４２】
図５において、２１×２１個の四角は、撮像素子１３を対物レンズ１１の光軸方向から見た場合に撮像面上に配列された画素を示しており、そのうちの太線で囲まれた７×７個の四角からなる領域がそれぞれ１つのＭＬ領域を示している。図５では、７×７個のＭＬ領域のうち、３×３個のＭＬ領域を代表させて示している。したがって、図中の太線で囲まれたＭＬ領域のうちの中央の領域が、対物レンズ１１の中心のＭＬ（図２のＭＬbに相当する）で結像されるＭＬ領域となる。
【００４３】
図４ａは、物体面Ｐ０（焦点の合っている焦点面Ｚ0と同じ）がフォーカス位置にある場合の光線図である。ここで、物体面Ｐ０は、光学系の焦点距離ｆ、及び対物レンズ１１と撮像素子１３の撮像面との間隔ａで一義的に決定され、具体的には、上記の光学系のガウスの式（１）で決まる距離ｂの位置である。
【００４４】
物体面Ｐ０の対物レンズ１１の光軸と一致する位置から射出した光は、MLA１２の各ＭＬで、CCD（撮像素子１３）面上の各ＭＬ領域の中央部（各ＭＬの光軸と一致）に集光する。従って、図５（既に述べたように、対物レンズ１１の光軸に一致する位置のＭＬを中心にその周囲１つずつのＭＬ領域に対応する画素エリアのみを示している）に示すように、物体面Ｐ０の中央（対物レンズ１１の光軸に一致する）の点Ｐ０２から射出した光は、各ＭＬ領域内の中央の画素（図５では黒色の四角）に集光するので、各画素エリアの中央の画素の出力を選択し、加算することで物体面Ｐ０の点Ｐ０２の全輝度が得られる。
【００４５】
物体面Ｐ０の点Ｐ０２から外れた位置からの光は、点Ｐ０２からのずれ量に応じた角度で平行にMLA１２に入射するので、これらの光は各ＭＬ領域で中央から同量、同方向へずれることになる。よって、各ＭＬ領域で同じ位置の画素を選択し、加算することで、焦点面Ｚ0にある物体面Ｐ０の画像を再現することができる。
【００４６】
図４ｂは、物体面Ｐ０より対物レンズ１１に近い物体面Ｐ１（実際には、図４ｂの点線の物体面Ｐ０で示すように、図４ａと同様に、物体面Ｐ０と撮像素子１３の撮像面とが共役のままとなっている）からの光線図である。物体面Ｐ１の対物レンズ１１の光軸と一致する位置から射出した光は、各ＭＬの光軸上からレンズの端側へ、少しずつ外側にずれる角度でMLA１２の各ＭＬに入射し、集光される。この場合、物体面Ｐ１の中央（対物レンズ１１の光軸に一致する）の点Ｐ１２から射出した光は、図５に示すように、中心のＭＬ領域（図２のＭＬbによって結像される領域に相当する）内での画素はそのままで、それ以外のＭＬ領域では、図４ａに示した物体面Ｐ０での画素の位置から１画素ずつ外側の画素（図５では間隔の狭い左下がり斜線の四角）に集光するので、それらの画素を選択し、加算することで物体面Ｐ１の点Ｐ１２の全輝度が得られる。
【００４７】
物体面Ｐ１の点Ｐ１２から外れた位置からの光は、点Ｐ１２からのずれ量に応じた角度で平行にMLA１２に入射するので、これらの光は各ＭＬ領域で中央から同量、同方向へずれることになる。よって、各ＭＬ領域で同じ位置の画素を選択し、加算することで、物体面Ｐ１の画像を再現することができる。
【００４８】
図４ｃは、物体面Ｐ０より対物レンズ１１から遠い物体面Ｐ２（実際には、図４ｃの点線の物体面Ｐ０で示すように、図４ａと同様に、物体面Ｐ０と撮像素子１３の撮像面とが共役のままとなっている）からの光線図である。物体面Ｐ２の対物レンズ１１の光軸と一致する位置から射出した光は、各ＭＬの光軸上からレンズの端側へ、少しずつ内側にずれる角度でMLA１２の各ＭＬに入射し、集光される。この場合、物体面Ｐ２の中央（対物レンズ１１の光軸に一致する）の点Ｐ２２から射出した光は、図５に示すように、中央のＭＬ領域（図２のＭＬbによって結像される領域に相当する）での画素はそのままで、それ以外のＭＬ領域では、図４ａに示した物体面Ｐ０での画素の位置から１画素ずつ内側の画素（図５では間隔の広い左下がり斜線の四角）に集光するので、それらの画素を選択し、加算することで物体面Ｐ２の点Ｐ２２の全輝度が得られる。
【００４９】
物体面Ｐ２の点Ｐ２２から外れた位置からの光は、点Ｐ２２からのずれ量に応じた角度で平行にMLA１２に入射するので、これらの光は各ＭＬ領域で中央から同量、同方向へずれることになる。よって、各ＭＬ領域で同じ位置の画素を選択し、加算することで、物体面Ｐ２の画像を再現することができる。
【００５０】
なお、図４では、撮像素子１３の右側の長方形４０は、ＭＬ領域の一部である１３ＭＬ1ないし１３ＭＬ7を模式的に表しており、各ＭＬ領域での光の集光する位置を黒色で塗り潰すことによって、図５で上述した説明を補足して概念的に説明するためのものである。すなわち、本実施の形態では、７×７個のＭＬ領域の例を取り上げているので、縦方向に７個ある各ＭＬ領域１３ＭＬ1ないし１３ＭＬ7を模式的に示し、それぞれのＭＬ領域に集光（結像）した光の様子が示されている。図４ａにおいては、物体面Ｐ０２からの線は、CCD（撮像素子１３）上の各ＭＬ領域の中央に集光（結像）する。また、図４ｂに示したように、物体面Ｐ０よりも対物レンズ１１に近い物体面Ｐ１からの光は、中央のＭＬ領域では中央に集光し（完全には結像しないが、ＭＬの開口が小さいので、焦点深度の深い状態が実現されている）、それ以外のＭＬ領域では図４ａの場合と比べて外側へ集光する。さらに、図４ｃに示したように、物体面Ｐ０よりも対物レンズ１１から遠い物体面Ｐ２からの光は、中央のＭＬ領域では中央に集光し（完全には結像しないが、ＭＬの開口が小さいので、焦点深度の深い状態が実現されている）、それ以外の領域では図４ａの場合と比べて内側へ集光する。
【００５１】
さらに捕捉すれば、本実施の形態においては、前側物体面Ｐ１や後側物体面Ｐ２は、実際には、対物レンズ１１の位置で決まる物体面Ｐ０（図４では物体面Ｐ０が撮像素子１３の受光面と共役となる）以外の、対物レンズ１１を動かすことなく得られるいわば仮想的な合焦面である。
【００５２】
以上のように、物体面Ｐ０，Ｐ１，Ｐ２のように、物体の光軸方向の位置を物体面Ｐ０から変えた場合でも、対物レンズ１１の中心のＭＬ（図２のＭＬbに相当する）によって結像される像は、焦点もほぼ合ったまま像の位置がずれないことになる。
【００５３】
すなわち、図３ｂに示した光学系の構成のレンズ中心のＭＬ（図２のＭＬbに相当する）によって結像される画像（図２のＰ２bに相当する）は、対物レンズ１１に対して垂直に入ってくる光線からなり、被検物を正面から捉えた像となる。したがって、物体位置が光軸方向に移動しても、像はずれない。そして、分割された小さな瞳からの像なのでＦ値が大きく、被写界深度（焦点深度）は非常に深くなる。つまり、被検物の光軸方向の位置が変わっても、像はほとんど変化しない。したがって、物体側の奥行きに関係なく、ほとんど焦点の合った像、いわゆる全焦点画像となっている。
【００５４】
（２−２）MLA１２を対物レンズ１１の結像面に配置した場合
ところで、上記の（２−１）においては、光学系として、図１ａの構成を採用した場合の例、つまり、MLA１２が対物レンズ１１の瞳面に設定された場合について説明した。常に焦点の合った全焦点画像を取得する方法としては、（２−１）の方法に限らず、図１ｂに示したように、MLA１２を対物レンズ１１の焦点（結像）面、すなわち、物体面と共役の位置に設定した場合でも同等の効果を得ることができる。そこで、次に、全焦点画像を取得する方法の第２の例として、（２−２）MLA１２が対物レンズ１１の結像面に設定された場合について説明する。この場合、（２−１）の方法と比べて、異なる物体面での画像の作成手順が異なるため、ここでは、図６ないし図８を参照して、その作成手順を中心に説明する。
【００５５】
図６ないし図８においては説明を分かり易くするために、撮像素子１３において直線上に並んだ５つの画素ａ，ｂ，ｃ，ｄ，ｅに入射する各光線（対応するマイクロレンズＭＬの中心を通る主光線のみ）を示している。また、各図中の各要素には、光軸と垂直な面内における座標を示すための添字（１，２，３，・・・）を付している。
【００５６】
すなわち、図６に示すように、不図示の対物レンズ１１による被検物の像がMLA１２上（Ｚ＝０）で結像（各ＭＬへ入射する領域を破線で示し、その中心の座標をＸ1ないしＸ7で示している）する場合、不図示の対物レンズ１１からの光線ｒ1，ｒ2，ｒ3，ｒ4，ｒ5は、結像面（Ｚ＝０面上）、すなわちＭＬの表面の１点に集まる。中心座標をＸ1ないしＸ7で示した各領域は、同じ作用を受けるから、以下、中央の領域について説明する。中央の領域の中心Ｘ4を出た光は、マイクロレンズＭＬ4のレンズ作用によって、撮像素子１３の面上ではそれぞれの画素に対応して、ａ4，ｂ4，ｃ4，ｄ4，ｅ4の画素信号となる。したがって、結像面（Ｚ＝０）での各画像信号は、これらの和となる。すなわち、画像信号をＬとすれば、Ｌは下記の式（２）で求めることができる。
【００５７】
Ｌ（ｉ）＝（ａi＋ｂi＋ｃi＋ｄi＋ｅi） ・・・（２）
【００５８】
ただし、上記の通り、ｉは光軸と垂直な面内におけるＸ方向の座標（ｉ＝１〜７）を示しており、例えば、座標Ｘ4の場合には、Ｌ（４）＝（ａ4＋ｂ4＋ｃ4＋ｄ4＋ｅ4）となる。なお、実際には、２次元的に考える必要があるので、Ｘ方向以外にＹ方向についても考えなければならないが、ここでは、説明を簡略化するためにＸ方向についてのみ述べる。
【００５９】
一方、図７に示すように、結像面が各ＭＬの表面からずれたＺ＝ｈ1の位置での中央の領域の中心座標Ｘ4の画像信号は、下記の式（３）から求めることができる。ただし、ｉ＝１〜７であり、座標の添数字が１〜７から外れた値は使用されない値である。
【００６０】
Ｌ（ｉ）＝（ａi-2＋ｂi-1＋ｃi＋ｄi+1＋ｅi+2） ・・・（３）
【００６１】
座標Ｘ4の場合にはｉ＝４となるので、Ｌ（４）＝（ａ2＋ｂ3＋ｃ4＋ｄ5＋ｅ6）となる。このことからも明らかなように、撮像素子１３の撮像面のそれぞれの領域での中央の画素信号ｃi（この例の場合にはｃ4）は、焦点位置によらず常に存在する。つまり、この信号だけを集めた画像は、物体側の位置にかかわらず一定で、焦点ボケのない像となる。
【００６２】
したがって、図８に示すように、下記の式（４）の関係を有する信号で構成される画像は、結像面がどこにあっても（逆の言い方をすれば、結像面が一定で被検物がどこにあっても）常に焦点の合った全焦点画像となる。ただし、図８ではより実際的な応用を説明するために、図６，７に対して、フィールドレンズ（以下、ＦＬという）を付加した図面としている。このＦＬを配置することで、像高の高い位置に配置されたＭＬに入射する光束の角度を抑えられるため、先述した例では述べていないが、ＦＬを設けたほうが好ましい。
【００６３】
Ｌ（ｉ）＝ｃi ・・・（４）
【００６４】
すなわち、例えば、図８において、撮像素子１３の撮像面のそれぞれの領域での中央の画素信号ｃ1，ｃ2，ｃ3，ｃ4，ｃ5，ｃ6，ｃ7を集めた画像は、焦点の合った全焦点画像となる。
【００６５】
以上のようにして、図１ａ又は図１ｂの構成を採用することで、焦点画像生成の手順は異なるが、異なる角度からの光線を再構成して、焦点面の異なる複数の画像が生成される。
【００６６】
［３．測定の信号処理手順］
次に、上記の手順で生成される仮想的な焦点位置での画像群から、測定のための画像データを得るために実行される信号処理について説明する。かかる信号処理では、常に焦点の合った全焦点画像を用いる点に特徴があり、焦点面を光軸方向へ少しずつずらしながら取得した各画像データに対してエッジ処理を施すことにより、焦点の合った画像を選択する。
【００６７】
（３−１）多焦点逐次処理法
上記のエッジ処理としては、いくつかの方法が考えられるが、ここではまず、画像のエッジを検出する方法として、多焦点逐次処理法を用いた場合について説明する。また、この多焦点逐次処理におけるエッジ処理として、フーリエ変換（ウェーブレット変換）法を用いた場合を一例にして説明する。
【００６８】
上記の［２．焦点画像生成の手順］により、複数の異なる物体面での画像群が形成された後、先述したSFFと同様の処理によって、各々の画像の同じ画素エリアの位置において、下記の方法でフォーカス情報を検出することができる。
【００６９】
すなわち、かかる信号処理では、図９に示すように、距離の異なる複数の物体面（・・・，Ｚ-1，Ｚ0，Ｚ1，・・・）の画像群について、それぞれFFT（Fast Fourier Transform）により画像信号をフーリエ変換（又はウェーブレット変換）し、空間周波数空間内（フーリエ面上）で高周波成分のみをハイパスフィルタ（High Pass Filter）にて抽出した後、逆フーリエ変換（又は逆ウェーブレット変換）する。この処理によって、ほぼエッジ（輪郭）部分のみの画像となる。次に、これらの画像でエッジのある各点の位置（Ｘi，Ｙi）に着目して、複数の物体面（・・・，Ｚ-1，Ｚ0，Ｚ1，・・・）の画像群の中から、最もエッジの鋭い（傾き成分の最も高い）画像をベストフォーカス（Best Focus）として、選択する。
【００７０】
図１０は、各焦点面の画像群におけるサンプリング点のエッジの傾き成分をグラフ化したものである。図１０において、横軸Ｚは物体面の位置（被検物からの距離）を表し、縦軸αはエッジの傾き成分を表し、図中上方向にいくほど、その値が大きくなる（焦点の合っている程度（フォーカスの程度）が高い）ことを意味する。
【００７１】
図１０に示すように、Ｚ方向のサンプリング点は、各物体面毎の値となっているために離散的なものとなっているが、図中の曲線で表しているように、関数近似によってピーク（図中の点線）を求めることで、補間処理による小数点以下の値を持つ位置Ｚが求められ、その精度は向上する。
【００７２】
しかしながら、この手順ではＺの位置を求めることができるものの、次に示すような問題が残る。
【００７３】
すなわち、焦点の違う画像からエッジを検出する場合、物体の距離に応じて、ピント（焦点）の合っている所と、合っていない所とが存在する。このとき、明るさ（信号強度）が極端に違うエッジが隣接している場合、焦点の合っていない明るいエッジが、隣接する焦点の合った暗いエッジを覆ってしまい、エッジの位置を誤認識する恐れがある。
【００７４】
かかる問題を解決するためには、全てのエッジで焦点の合った画像を用いて、画素単位での微分値を求め、正しいエッジ位置を先に検出しておけばよい。
【００７５】
そこで、本実施の形態においては、MLA１２の中央のＭＬ（図２のＭＬbに相当する）で結像される、対物レンズ１１の中心（軸上）の画像が物体面の位置が変わっても（Ｚの方向が変わっても）変化のない画像であって、かつ、被写界深度が深く、物体側の距離によらず常にほぼ完全にピントの合った、像ずれがなく、かつボケのない画像（全焦点画像）となることに着目し、この画像を用いる。
【００７６】
本発明の信号処理においては、この全焦点画像を用いて、上記のように、フーリエ変換及びハイパスフィルタ処理をすることによって、正しいエッジ位置（Ｘi，Ｙi）を得て、同時にその近傍画像のコントラスト信号（画像の濃度値）を登録する。次に、それらのエッジについて、多数物体面（・・・，Ｚ-1，Ｚ0，Ｚ1，・・・）の画像群の中から、着目するエッジ位置（Ｘi，Ｙi）とその近傍の画像信号が、登録したコントラスト信号と最も相関の高い画像におけるＺを求める。
【００７７】
すなわち、全焦点画像から得られた各エッジ位置（Ｘi，Ｙi）について、物体位置（Ｚ）の異なる複数の（ボケを含む）画像から、同じ座標（Ｘi，Ｙi）のエッジ位置の画素信号における、ボケのない全焦点画像のエッジ信号と最も類似性（相関）の高い物体位置（Ｚ）を求める。これにより、エッジ各点（Ｘi，Ｙi）でのＺを検出することができる。
【００７８】
具体的には、まず、注目しているエッジ位置である注目エッジ位置（Ｘi，Ｙi）と、その近傍画素の信号強度ｆi,jを検出する。次に、それらのエッジについて、多数の物体面（・・・，Ｚ-1，Ｚ0，Ｚ1，・・・）の画像群の中から、同じエッジ位置（Ｘi，Ｙi）と、その近傍信号ｇi,j（Ｚ）が、ｆi,jと最も相関の高くなるときのＺを求める。
【００７９】
この相関の求め方は、各点の明るさやコントラストの違いを吸収するよく知られた正規化相関法を用いると好適であるが、例えば、計算時間を短縮できる差分絶対値の和、又は差分の二乗和を求める方法など、かかる相関を求めることができる方法であれば他の方法であってもよい。また、相関値の計算は、例えば、差分絶対値の和により相関を求める場合に、合焦時の差分絶対値の和で除算（規格化）して求めるなど、合焦時の値を用いることにより、各点の明るさやエッジ強度に依存しない、焦点ずれだけを反映させた規格化値とすることができる。
【００８０】
そして、例えば、下記の式（５）又は式（６）の値が最も小さくなるときのＺを求める。
【００８１】
【数１】
【００８２】
【数２】
【００８３】
これにより、物体の各エッジ座標（Ｘi，Ｙi）位置でのＺが求められる。
【００８４】
なお、ここでは、撮像素子１３から出力される画像信号に対し、直接画像処理を施す例について説明したが、エッジ信号を際立たせ、検出誤差を低減する目的で、画像の前処理を施してもよい。例えば、各画像を、フーリエ変換とハイパスフィルタを組み合わせた処理や、ソーベルフィルタ、あるいはラプラシアンフィルタと呼ばれるデジタル微分フィルタなどの画像処理をすることにより、輪郭部だけを強調した、いわゆるエッジ画像を得ることができるので、その後、上記の相関処理を行えばよい。
【００８５】
また、相関を計算する際には、先述した場合と同様に、図１０に示したような補間処理を用いて求めることも可能である。
【００８６】
以上のように、多焦点逐次処理法では、画像信号の強度のみでエッジ位置を特定（光軸方向でピントの合った画像を特定）しようとすると、本来の特定すべきエッジが強いボケ光によって検出できない場合が生じるので、これを避けるために、全焦点画像を用いた相関処理を行っている。
【００８７】
（３−２）全焦点エッジ抽出法
次に、画像のエッジを検出する方法として、全焦点エッジ抽出法を用いた場合について説明する。
【００８８】
上記の（３−１）の多焦点逐次処理法では、一旦、多数の焦点画像群を形成した後に、フーリエ変換などの処理を行うため、どうしても処理時間がかかってしまう。また、エッジを検出する画像として、先の物体面（・・・，Ｚ-1，Ｚ0，Ｚ1，・・・）の画像群では、いずれもどこかに焦点面があり、その焦点からはずれた箇所はボケが生じ、全てのエッジを検出することは困難になる。そこで、全焦点エッジ抽出法では、MLA１２の中央のＭＬで結像される全焦点画像によって予め２次元画像上でエッジ位置が特定できることに着目し、特定したエッジ位置のみで光軸方向へエッジ位置の探索を行なう。つまり、全焦点画像の中の特徴（エッジ）を先に検出しておき、その検出されたエッジ位置に対応する位置の物体面の画像だけを生成し、その位置でのベストフォーカスとなるＺを検出すれば、処理する点が少なくて済み、演算の負担が少ないばかりでなく、演算時間が短くて済み、迅速な測定に寄与することができる。
【００８９】
具体的には、MLA１２の中央のＭＬで結像される全焦点画像を用いて、画像処理でよく知られている輪郭抽出のための３×３行列（一般的に微分オペレータと呼ばれる）を使ったエッジ抽出の演算処理を行う。例えば、ソーベルフィルタ（Sobel Filter）などを使って、Ｘ方向又はＹ方向で、画像中のエッジを検出する。なお、この方法は、特に、線のエッジ検出に有効である。また、スポットや交点などの点の検出には、二次微分に相当するラプラシアンフィルタ（Laplace Filter）を使ってもよい。これらは、被検物の段差など、何らかの構造や色、反射率の差などによるものである。全焦点エッジ抽出法では、検出されたエッジや点の位置（Ｘi，Ｙi）における、これらのフィルタで処理された値を、デフォーカス量として算出する。
【００９０】
そして、全焦点エッジ抽出法においては、画像のエッジのある各点（位置）に着目して、（３−１）と同様に、上記の多数の物体面（・・・，Ｚ-1，Ｚ0，Ｚ1，・・・）に対応する、このデフォーカス量の変化を算出する。これにより得られる値は、上記の図１０と同様のデータとなるため、これから信号のピーク、すなわち、ベストフォーカスとなるＺを求める。
【００９１】
このとき、先述した（３−１）の多焦点逐次処理法と同様に、合焦時のデフォーカス量で除算（規格化）することで、この全焦点エッジ抽出法においても、各点の明るさやエッジ強度に依存しないようにすることができる。なお、全焦点エッジ抽出法においては、かかる規格化を行うと好適ではあるが、必ずしもこの規格化を行う必要はない。
【００９２】
以上のように、上記の（３−１）の多焦点逐次処理法や、（３−２）の全焦点エッジ抽出法などのエッジ処理によって、物体の各エッジ座標（Ｘi，Ｙi）位置でのＺが検出される。なお、その後、検出された値を用いての距離測定処理が行われるが、その処理については、次の［４．距離測定手順］で説明する。
【００９３】
［４．距離測定手順］
（４−１）多数のフォーカス画像から物体位置を求める方法
上記の手順によって求められた、物体の各エッジ座標（Ｘi，Ｙi）位置でのＺを用いた距離測定が行われるが、その手順にはいくつかの方法があるが、ここではまず、多数のフォーカス画像（焦点面の位置が異なる多数の画像、すなわち、多数の仮想焦点面の画像）を生成し、その中からベストの焦点位置を求める方法について説明する。
【００９４】
ここで、仮想焦点面と共役な被検物像側の物体面の位置（・・・，Ｚ-1，Ｚ0，Ｚ1，・・・）の値は、式（１）に基づき、対物レンズ１１と撮像素子１３の撮像面との間隔ａ、若しくは対物レンズ１１と仮想的な焦点面との間隔（ａ1，ａ2，ａ3，・・・，ａn）によって一義的に決まる。
【００９５】
したがって、焦点面の位置（撮像面上にある場合も含む（すなわち、ａ1，ａ2，ａ3，・・・，ａn））を定めれば、その位置に焦点が合うべき被検物の部位の位置がわかり、その部位までの距離ｂが式（１）を用いて求めることができる。その結果、求めた距離ｂの値と撮像素子１３から出力される２次元画像の座標（Ｘ，Ｙ）情報と合わせて、被検物の上記部分の座標（Ｘ，Ｙ，Ｚ）、すなわち、３次元の空間座標を決定することができる。
【００９６】
（４−２）２つの異なる焦点面の画像情報から物体位置を求める方法
上記の（４−１）の方法では、多数のフォーカス画像（多数の異なる焦点面を仮定した場合に得られる画像）を生成して、それぞれのフォーカス画像の中からベストの焦点位置の部分を検出するといった方法で、被検物の各部分までの距離を正確に測定することができる。そのためには、例えば、図１０のような多点情報からピークを検出する、というような手順が必要となる。図１０において、横軸Ｚは被検物までの距離、縦軸αは焦点の合っている程度（フォーカスの程度）を示している。この図から２次元画像のある座標（Ｘ，Ｙ）における焦点の合っている被検物の部位までの距離がαの最大値となるＺの値として求めることができる、ということがわかる。しかしながら、処理の手順が多く、処理に時間がかかる可能性が高い。
【００９７】
そこで、ここでは、別の方法として、少ない処理量で、高速化を図る測定手順について説明する。この方法においては、多数の画像を生成し、そこから得られる図１０のような多点情報からピークを検出するのではなく、最低２つの異なる焦点面の画像情報を用いて、両者の差分信号、すなわち、２つの位置でのデフォーカス量の差から、Ｚの位置を求める。そして、このＺは、対物レンズ１１から被検物までの距離ｂに対応するので、この値と撮像素子１３の２次元画像の座標（Ｘ，Ｙ）情報と合わせて、被検物の座標（Ｘ，Ｙ，Ｚ）、すなわち、３次元形状を測定することができる。
【００９８】
しかしながら、この方法で演算した値そのものだけでは、被検物の局所的な反射強度の差が影響する可能性が高い。すなわち、元の照明光の明るさ分布や、被検物の位置による反射率の違いによって信号強度は変化する。特に隣接した領域に明暗の差が著しい箇所があると、デフォーカス状態では両者の信号が混ざり合うため、エッジのピークを誤検出する可能性がある。
【００９９】
そこで、先述した方法と同様の考え方で、かかる演算処理で求められた演算値を、MLA１２の中央のＭＬにより結像された画像の各画素値で除算して規格化しておくことにより、局所エリア毎に、明るさ（光強度）によらない、規格化されたデフォーカスによるボケ量を得ることができる。
【０１００】
以上のようにして、本実施の形態においては、例えば、（４−１）又は（４−２）の方法によって、距離測定の処理が行われることで、被検物の表面の座標（Ｘ，Ｙ，Ｚ）が求められ、３次元形状が測定される。
【０１０１】
このように、本実施の形態においては、１回の撮像により得られる画像信号を用いて、被検物の３次元形状を計測できるので、従来のSFFのように、複数回の撮像が必要な場合と比べて、高速で計測を行うことが可能である。
【０１０２】
［５．形状測定装置］
次に、上述した距離測定の処理を行って、被検物の３次元形状を測定する、本実施の形態に係る形状測定装置の構成について、図１１を参照して説明する。
【０１０３】
図１１に示すように、形状測定装置は、対物レンズ１１、MLA１２、撮像素子１３、制御回路３１、ユーザインターフェース３２、駆動回路３３、演算処理回路３４、及び、メモリ３５を含むようにして構成される。なお、図１１において、対物レンズ１１ないし撮像素子１３は、先述した図１等の対物レンズ１１ないし撮像素子１３に対応している。
【０１０４】
制御回路３１は、ユーザインターフェース３２を介してユーザから入力された指示にしたがって、駆動回路３３、演算処理回路３４、及びメモリ３５の制御を行う。また、制御回路３１は、図１１の形状測定装置の各部の動作を制御する。
【０１０５】
駆動回路３３は、撮像素子１３を駆動する。また、駆動回路３３は、撮像素子１３からの画像信号を、演算処理回路３４に出力する。
【０１０６】
演算処理回路３４は、駆動回路３３からの画像信号に基づいて、所定の演算処理を行う。そして、演算処理回路３４は、演算結果をメモリ３５に格納する。
【０１０７】
演算処理回路３４は、MLA１２のＭＬの各々により結像された像を、撮像素子１３により撮像することで得られる画像データから、被検物の３次元形状を測定する。かかる処理の詳細については、後述する図１２の演算処理回路３４の動作の説明の際に併せて説明する。
【０１０８】
以上のようにして、形状測定装置は構成される。
【０１０９】
次に、図１２のフローチャートを参照して、図１１の演算処理回路３４により行われる３次元形状測定処理について説明する。
【０１１０】
演算処理回路３４は、ステップＳ１１において、駆動回路３３からの画像信号を取得し、ステップＳ１２において、焦点画像を生成する。具体的には、上記の［２．焦点画像生成の手順］で述べたように、演算処理回路３４は、図１ａの構成の場合には、（２−１）の方法によって、図１ｂの構成の場合には、（２−２）の方法によって、異なる角度からの光線を再構成して、焦点面の異なる複数の画像を生成する。
【０１１１】
ステップＳ１３において、演算処理回路３４は、測定の信号処理を行う。具体的には、上記の［３．測定の信号処理手順］で述べたように、演算処理回路３４は、（３−１）の「多焦点逐次処理法」又は（３−２）の「全焦点エッジ抽出法」などのエッジ処理によって、常に焦点の合った全焦点画像を用いて、物体の各エッジ座標（Ｘi，Ｙi）位置でのＺを求める。
【０１１２】
そして、演算処理回路３４は、ステップＳ１４において、距離測定の処理を行い、ステップＳ１５において、物体の３次元形状を測定し、処理は終了する。具体的には、上記の［４．距離測定手順］で述べたように、演算処理回路３４は、（４−１）の「多数のフォーカス画像から物体位置を求める方法」又は（４−２）の「２つの異なる焦点面の画像情報から物体位置を求める方法」によって、被検物の表面の座標（Ｘ，Ｙ，Ｚ）が求められ、３次元形状が測定される。
【０１１３】
以上のように、図１１の形状測定装置においては、演算処理回路３４によって、先述した、［２．焦点画像生成の手順］、［３．測定の信号処理手順］、［４．距離測定手順］が順に実行されることで、MLA１２の中央のＭＬによって結像された像から得られる全焦点画像を用いた信号処理が行われ、それにより得られる物体の各エッジ座標（Ｘi，Ｙi）位置でのＺから、被検物の表面の座標（Ｘ，Ｙ，Ｚ）、すなわち、３次元形状が測定される。
【０１１４】
すなわち、図１ａに示したように、MLA１２が対物レンズ１１の射出瞳と共役となるように配置されている場合、演算処理回路３４は、複数のＭＬのうちの対物レンズ１１の光軸の位置（この対物レンズ１１の光軸は、対物レンズ１１の主光線の一部と一致している）にあるMLA１２の中央のＭＬにより撮像素子１３の撮像面上に形成された像から得られる全焦点画像（基準画像）を、撮像素子１３の出力から得られる焦点面の異なる複数の画像（測定画像）の補正情報として用いて、被検物の３次元の形状を測定する。
【０１１５】
なお、本実施の形態では、図１ａの構成を中心に述べたが、図１ｂに示したように、撮像素子１３の撮像面が対物レンズ１１の射出瞳と共役となるように配置されている場合には、演算処理回路３４は、対物レンズ１１の主光線が交わる撮像素子１３の撮像領域を構成する画素から得られる全焦点画像（基準画像）を、撮像素子１３の出力から得られる焦点面の異なる複数の画像（測定画像）の補正情報として用いて、被検物の３次元形状を測定することになる。
【０１１６】
［６．レンズ駆動］
次に、被検物が遠くにある場合や近くにある場合についての測定方法について説明する。この場合、レンズ位置ａを固定したままでは、測定可能な範囲を超える領域が発生することがある。そこで、本発明の形状測定装置では、測定目的に合わせて必要なときに、対物レンズ１１を動かし、レンズ位置ａの値を変えて測定を行うようにする。
【０１１７】
その具体例として、以下、実際に被検物の３次元形状を計測するときに、測定範囲を考慮した場合の処理の流れについて説明する。
【０１１８】
被検物までの距離ｂは、対物レンズ１１と光学系の撮像面（基準焦点面）との距離（レンズ位置ａ）と焦点距離ｆの値がわかっていると、上記の光学系のガウスの式（１）の関係から計算することができる。
【０１１９】
図１３には、横軸をａ（レンズ位置）、縦軸をｂ（物体距離）とした場合において、焦点距離ｆ＝25mmとして、レンズ位置ａの値を27mmから45mmまで変えたときの物体距離（距離）ｂの値をグラフ化したものと、焦点距離ｆ＝30mmとして、レンズ位置ａの値を31mmから45mmまで変えたときの物体距離ｂの値をグラフ化したものが示されている。図１３において、横軸のレンズ位置ａは、図中右方向にいくほど、レンズ位置ａが大きくなり、縦軸の物体距離ｂは、図中上方向にいくほど、物体距離ｂが大きくなる。
【０１２０】
この２つのカーブからも明らかなように、焦点の合う被検物までの物体距離ｂの値は、レンズ位置ａの値によって大きく異なる。
【０１２１】
具体的には、図１３の２つのカーブで示すように、レンズ位置ａの値が小さくなると、物体側の焦点の合う位置（物体距離）ｂは急激に遠ざかる（距離が広がる）とともに、いわゆる被写界深度が深くなり、物体距離ｂの変化に対するフォーカス情報の感度が低下する。すなわち、物体距離ｂが遠距離になるにしたがって、物体側の測定範囲は広がるが、精度が劣化することになる。
【０１２２】
従って、例えば、精度を考慮して測定する場合には、物体距離ｂが適当な値になるようにして、測定する必要がある。
【０１２３】
一方、測定範囲を広げたいときは、物体距離ｂが大きくなるようにして測定するのがよいが、物体距離ｂが遠距離になると、対物レンズ１１を移動させて間隔（レンズ位置）ａを変化させても、その変化量に対してボケの変化が小さくなるので、測定精度が劣化し、測定には限度がある。そのため、通常は、適当な値、例えば、図１３では、焦点距離ｆ＝25mmの場合にはａ＝30mmを中心に27mm〜35mmあたりにレンズ位置ａを設定するのが適当であり、焦点距離ｆ＝30mmの場合にはａ＝37mmを中心に33mm〜38mmあたりにレンズ位置ａを設定するのが適当である。すなわち、焦点を合わせる距離に応じて感度特性が変化するので、測定を開始する前に作動距離を適切に設定するのがよい。
【０１２４】
ところで、先述した、図１１の形状測定装置では、被検物への焦点合わせについては述べていないが、焦点合わせ機能があると測定範囲が広がる。本発明の別の実施の形態においては、これまで述べてきた、対物レンズ１１から被検物までの距離ｂに関する距離情報を、焦点合わせを行う場合の距離情報（以下、フォーカス信号という）として使用し、自動合焦を行う。
【０１２５】
そこで、次に、図１４を参照して、自動合焦機能を備えた形状測定装置について説明する。
【０１２６】
図１４において、図１１と対応する箇所には同一の符号が付してあり、処理が同じ部分に関しては、その説明は省略する。図１４の形状測定装置には、対物レンズ１１ないし撮像素子１３、及び、制御回路３１ないしメモリ３５の他に、制御回路３１からの指示にしたがって対物レンズ１１を動かすレンズ駆動装置４２が設けられている。また、図１４において、対物レンズ１１ないし撮像素子１３は、測定センサ系４１であるとして説明するが、測定センサ系４１は、例えば、制御回路３１ないしメモリ３５の一部をさらに含めた構成などであってもよい。さらに、図１４の構成では、CPU４３によって、制御回路３１と演算処理回路３４が構成されているものとする。
【０１２７】
CPU４３は、ユーザインターフェース３２から供給される測定開始命令により、駆動回路３３を制御して、撮像素子１３から画像信号を取り込み、取り込んだ画像信号から被検物Ｈまでの距離を測定する。ここでは、最初に、対物レンズ１１の光軸と一致する被検物Ｈの合焦ポイントＰ１までの距離が測定される。
【０１２８】
図１３を参照して説明したように、測定センサ系４１と被検物Ｈとの距離（作動距離）には最適な値があるので、CPU４３によって演算された合焦ポイントＰ１までの距離が、この最適な値からずれている場合がある。この場合、CPU４３は、そのずれ量をモニタ３６に表示し、操作者に対して作動距離が適切でないことを通知する。そうすることで、操作者は、測定センサ系４１と被検物Ｈとを相対的に移動させ、作動距離を適切に設定することが可能となる。
【０１２９】
すなわち、測定センサ系４１は、例えば、３次元空間内で自由に動作する図不示のロボットハンドに設けられており、このロボットハンドが、操作者によるユーザインターフェース３２の操作に応じて、測定センサ系４１と被検物Ｈとの作動距離を最適な値にする。つまり、CPU４３において、制御回路３１は演算処理回路３４の演算結果である測定センサ系４１と被検物Ｈまでの作動距離が最適になるように図不示のロボットハンドの制御回路に制御信号をフィードバックする。
【０１３０】
なお、ロボットハンドの代わりに、被検物Ｈを測定センサ系４１の光軸方向へ移動させる図不示の移動テーブルに載置し、この移動テーブルの位置を制御するテーブル移動装置をCPU４３が制御するようにしてもよい。
【０１３１】
CPU４３は、被検物Ｈが最適な作動距離の位置に置かれると、その基準（通常初めは視野の中心）点でのフォーカス信号を用いて、レンズ駆動装置４２によって対物レンズ１１を動かして、レンズ位置ａを変えながら焦点を合わせる（撮像面が基準焦点面である場合）。これにより、例えば、ある距離に焦点が合っている状態の感度は、その距離が離れるにしたがって低下するものであるが、レンズ位置ａを変えながら焦点を合わせ直すことで、低下するはずの感度を上げることが可能となる。
【０１３２】
そして、焦点合わせが完了した後、レンズ位置ａを測定し、レンズ位置ａと焦点距離ｆとを、上記の式（１）の関係に基づき、被検物Ｈまでの距離ｂを求めることができる。なお、通常、レンズ位置ａの値は、レンズ駆動装置４２に設けられた光学式ロータリエンコーダ等の位置読み取りセンサによって検出することができる。
【０１３３】
その後、CPU４３では、演算処理回路３４によって、被検物Ｈ全面の多数点について、先述した仮想焦点面と共役な被検物Ｈ側の面の位置（・・・，Ｚ-1，Ｚ0，Ｚ1，・・・）での画像群からのフォーカス情報が取り込まれ、さらに、レンズ位置ａから、それぞれの物点距離が求められ、被検物Ｈの３次元の立体形状が測定される。
【０１３４】
この結果、形状測定装置から離れている被検物Ｈや、近くにある被検物Ｈに対しても最適な感度で測定することができる。
【０１３５】
以上の説明では被検物Ｈの奥行きがそれほど大きくないものの場合（測定光軸方向での測定範囲が狭い場合）はよいが、測定光軸方向の測定範囲が大きい場合には、同一の被検物Ｈに対しても焦点を変えながら測定する必要が生ずる場合がある。
【０１３６】
このような場合に備えて、例えば、図３ｂの対物レンズ１１の光軸上のＭＬによって結像される像のような被検物Ｈが測定光軸方向へ移動しても焦点が合ったまま像のずれない像の画像（全焦点画像）をモニタ３６に表示し、モニタ３６上で焦点を合わせたい位置を、任意に選択できるようにする。そうすると、操作者がモニタ３６を見ながら、被検物Ｈ上で焦点を合わせたい位置を選択し、選択された位置に合焦するように演算処理回路３４からの信号で制御回路３１がレンズ駆動装置４２を制御するように構成することができる。
【０１３７】
モニタ３６上で焦点を合わせたい位置を選択する技術は、一眼レフカメラで用いられている技術を用いることができる。そして、焦点を合わせたい位置が選択された後は、選択した位置を基準点として、先に説明した視野の中心点を基準点とした場合と同様に、この点（位置）に焦点を合わせることができる。
【０１３８】
このようにして、被検物Ｈが測定光軸方向に大きい場合、操作者が全焦点画像を見ながら焦点を合わせたい位置を順次選択しながら測定したり、操作者が全焦点画像を見ながら予め焦点を合わせたいポイントを指示し、CPU４３がこれらのポイントに順次焦点を合わせながら測定するように構成したりすることができる。
【０１３９】
また、ユーザインターフェース３２から予め測定範囲を指示し、演算処理回路３４がこの測定範囲を維持しつつ、焦点の合う位置を予め定めた距離ごとにステップ的に焦点の合う範囲を変えつつ、上記測定範囲での測定を実行するようにすることもできる。それによって、予め定めた測定範囲を光軸方向へステップ的に移動させながら、所定の範囲の距離測定、ひいては被検物Ｈの各測定点での空間座標を求めることができる。
【０１４０】
なお、以上の説明は、対物レンズ１１の移動を制御回路３１からの信号によって自動的に行うことを前提にしたが、対物レンズ１１の移動を手動で行ってもよいことは勿論である。この場合は、上記ステップ移動範囲を示すメモリと指標とを対物レンズ１１の鏡筒のピントリング（回転側）と本体（固定側）に形成することで、操作者は、指標にメモリをステップ的に合わせながら測定を行えばよい。
【０１４１】
なお、本実施の形態においては、レンズ位置ａの値を正確に求める手段として、レンズ駆動装置４２に付けられる光学式ロータリエンコーダについて説明したが、これに限らず、同等の手段であれば他の手段であってもよい。
【０１４２】
また、図１４においては、CPU４３は、制御回路３１と演算処理回路３４から構成されるとして説明したが、図１４の構成の一部について、CPU４３、ユーザインターフェース３２、メモリ３５、及びモニタ３６から構成されるパーソナルコンピュータであると捉えることもできる。その場合、パーソナルコンピュータは、モニタ３６に表示された画像を見ながら操作を行う操作者の指示にしたがって、レンズ駆動装置４２等を制御することになる。
【０１４３】
以上のように、本発明によれば、対物レンズの光軸に沿って、被検物を移動することなく、測定光軸方向での広い範囲の測定を高精度に行うことができる。
【０１４４】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、記録媒体からインストールされる。
【０１４５】
この記録媒体は、コンピュータとは別に、利用者にプログラムを提供するために配布される、プログラムが記録されている磁気ディスク、光ディスク、光磁気ディスク、若しくは半導体メモリ等により構成されるだけでなく、コンピュータに予め組み込まれた状態で利用者に提供される、プログラムが記録されているハードディスクドライブやROM（Read Only Memory）等で構成される。
【０１４６】
また、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデム等のインターフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。
【０１４７】
なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１４８】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１４９】
【図１】本発明を適用した光学系の概要を説明する図である。
【図２】光学系のさらに詳細な構成について説明する図である。
【図３】ある１つのＭＬから見た像が、同じ方向からの光線で構成された、方向別に見た像であることを示す図である。
【図４】対物レンズとMLAでの光線の追跡結果を示す図である。
【図５】MLAで結像された撮像素子面における画素配列を示す図である。
【図６】MLAを対物レンズの結像面とした場合（Ｚ＝０）の構成の例を示す図である。
【図７】MLAを対物レンズの結像面とした場合（Ｚ＝ｈ1）の構成の例を示す図である。
【図８】全焦点画像の例を示す図である。
【図９】画像群のフーリエ変換法を用いた信号処理の流れを示す図である。
【図１０】サンプリング点のエッジの傾き成分をグラフ化した図である。
【図１１】本発明を適用した形状測定装置の一実施の形態の構成を示す図である。
【図１２】３次元形状測定処理について説明するフローチャートである。
【図１３】レンズ位置と物体位置との関係を示す図である。
【図１４】本発明を適用した形状測定装置の一実施の形態の他の構成を示す図である。
【符号の説明】
【０１５０】
１１ 対物レンズ， １２ MLA， １３ 撮像素子， ３１ 制御回路， ３２ ユーザインターフェース， ３３ 駆動回路， ３４ 演算処理回路， ３５ メモリ， ４１ 測定センサ系， ４２ レンズ駆動装置， ４３ CPU， ＭＬ マイクロレンズ， ＦＬ フィールドレンズ
【技術分野】
【０００１】
本発明は、形状測定装置に関する。
【背景技術】
【０００２】
対物レンズの光軸に沿って被検物を移動させながら焦点位置の異なる複数の画像を得て、被検物上の点各々について、それら複数の画像より合焦測度が最大となる画像を選択し、その画像での焦点位置をその点についての高さとし、これらの情報から被検物の形状測定を行うものが知られている。
【０００３】
これは、一般的に、SFF（Shape From Focus）といった手法である。
【特許文献１】特許第２９６０６８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、このような従来の技術では、対物レンズの光軸に沿って被検物を移動させながら画像を取得する必要があり、測定に時間がかかっていた。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、対物レンズの光軸に沿って、被検物を移動することなく、被検物の形状を測定できるようにするものである。
【課題を解決するための手段】
【０００６】
本発明の一側面の形状測定装置は、対物レンズと、前記対物レンズの背後に２次元に配列された複数のレンズを有する光学素子と、前記光学素子の背後に配置された２次元の撮像素子と、前記対物レンズを光軸方向へ移動させるレンズ移動手段と、前記撮像素子の出力から複数の測定画像を生成する画像形成手段と、前記複数のレンズの各々に対応する前記撮像素子の撮像領域を構成する画素のうち、前記対物レンズの主光線と交わる位置にある画素から得られる基準画像を、前記測定画像の補正情報として用いて被検物の形状を測定する形状測定手段とを備えることを特徴とする。
【０００７】
前記形状測定手段は、前記形状の測定の前提として、前記被検物の各測定点までの距離情報を求め、前記形状測定手段により測定された距離情報に基づいて、前記被検物に焦点が合うように前記レンズ移動手段を制御する制御手段をさらに備えることを特徴とする。
【０００８】
前記距離情報は、前記基準画像を前記測定画像の補正情報として用いることで得られる前記対物レンズから前記被検物までの距離に関する情報であることを特徴とする。
【０００９】
前記レンズ移動手段によって前記対物レンズを所定の間隔ごとにステップ移動させ、前記対物レンズが停止するごとに、前記画像形成手段に前記測定画像の生成を指示する制御手段をさらに備えることを特徴とする。
【００１０】
前記ステップ移動の間隔は、前記被検物までの距離に応じて変化する測定感度が所定の範囲となるように定められることを特徴とする。
【００１１】
本発明の一側面によれば、対物レンズが光軸方向へ移動され、撮像素子の出力から複数の測定画像が生成され、複数のレンズの各々に対応する撮像素子の撮像領域を構成する画素のうち、対物レンズの主光線と交わる位置にある画素から得られる基準画像が、測定画像の補正情報として用いられて、被検物の形状が測定される。
【発明の効果】
【００１２】
本発明によれば、対物レンズの光軸に沿って、被検物を移動することなく、被検物の形状を測定できる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照しながら本発明の実施の形態について説明する。
【００１４】
本発明では、レンズを動かすことなく、複数の仮想的な物体面（Ｚ1，Ｚ2，・・・）からの（方向性を含む）ボケ量（以下、フォーカス情報ともいう）を算出し、さらに、ボケのない全焦点の画像も同時に得られるようにしている。これにより、本発明においては、それらの情報を用いた距離計測を行うことが可能となる。
【００１５】
具体的には、レンズと撮像面の間隔ａ（以下、レンズ位置ａともいう）と、レンズの焦点距離ｆから、下記の式（１）のガウスの公式により、被検物の測定点までの距離ｂを知ることができる。
【００１６】
１／ｂ＝１／ｆ−１／ａ・・・（１）
【００１７】
本発明による測定では、上記の機構的に決まるレンズ位置ａとは別に、マイクロレンズアレイ（以下、MLAという）を通した撮像素子上の画素信号を組み換え、加算することにより、仮想的にレンズと撮像面の間隔ａ1，ａ2，ａ3，・・・，ａnを構築する。これらの値を、式（１）の値ａに代入して得られる値ｂの値列が、複数の物体面（Ｚ1，Ｚ2，Ｚ3，・・・Ｚn）の位置となる。すなわち、かかる測定においては、このような再構成により、異なる物体面から発せられた光線が撮像面に到達したとして、そのときの画像を再構成し、フォーカス情報を得ることができる。
【００１８】
このようにして、レンズの光軸に沿って被検物を移動することなく、従来のSFF法と同様の情報を得ることができる。
【００１９】
なお、このような焦点検出での位置は、MLAの数だけ実行できるので、被検物をどのくらい細かく測定できるか（空間分解能）は、MLAの配列構成によって決まる。つまり、MLAの数が多いほど、測定の空間分解能が高くなることになる。
【００２０】
次に、上記の原理を用いて、被検物の形状測定を行う形状測定装置の詳細について、各構成要素ごとに説明する。
【００２１】
［１．光学系］
まず、図１を参照して、本発明を適用した形状測定装置の光学系の概要について説明する。
【００２２】
図１に示すように、光学系は、対物レンズ１１、MLA１２、及び撮像素子１３を含むようにして構成される。
【００２３】
図１には、図１ａと図１ｂの２つの光学系の構成が図示されているが、図１ａの構成では、被検物（物体面（Ｐ面））の像を捕らえる対物レンズ１１の焦点距離だけ離れた位置にMLA１２を置き、MLA１２の焦点距離だけ離れた位置に撮像素子１３が置かれている。図１ａでは、この撮像素子１３の撮像面が、物体面（Ｐ面）と共役になっており、被検物の像が結像している。
【００２４】
MLA１２は、先述したMLAと同様に、例えば７×７個などの、複数のマイクロレンズ（以下、ＭＬという）を２次元状に並べてなる光学素子である（図１では、縦方向の７個を図示している）。各ＭＬで結像した像のできる領域、すなわち、ＭＬ領域１３ＭＬから得られる画像信号は、それぞれのＭＬ領域の位置に応じて被検物の異なる視点の画像、つまり、視差のある像となっている。
【００２５】
一方、図１ｂの構成では、所定の位置にある物体面Ｐが対物レンズ１１で結像する面にMLA１２を置き、ＭＬの焦点距離だけ離れた位置に撮像素子１３が置かれている。この場合、撮像素子１３の面が、対物レンズ１１の瞳面と共役になっており、各ＭＬ領域の画像信号は、瞳を分割した像となっている。言い換えると、図１ｂでは、結像された光線が、レンズ瞳から見て違う角度ごとの光線に振り分けられている。
【００２６】
本発明では、上記の図１ａ又は図１ｂのいずれの構成からも、違う角度からの光線を再構成することによって、焦点面の異なる複数の画像を得ることができ、それを利用して、被検物の形状の測定を行う。したがって、以下の説明では、図１ａの構成を中心に述べるが、図１ｂの構成を採用しても同様である。
【００２７】
そこで、次に、図２及び図３を参照して、図１ａの光学系のさらに詳細な構成について説明する。なお、図２においては、複数のＭＬからなるMLA１２の一部としての、マイクロレンズＭＬa，マイクロレンズＭＬb，マイクロレンズＭＬcの３つのＭＬ（以下、それぞれ、ＭＬa，ＭＬb，ＭＬcという）が説明のために図示されている。
【００２８】
図２において、物体面（Ｐ面）上の点Ｐ１からの光線には、光軸と平行方向の光（図中の実線）として対物レンズ１１を通過後屈折して、ＭＬbによって撮像素子１３の撮像面上のＭＬ領域の点Ｐ１bに結像される光線群（図中の実線）や、対物レンズ１１の中心を通過後、ＭＬcによって、撮像素子１３の撮像面上のＭＬ領域の点Ｐ１cに結像される光線群（図中の点線）などがある。
【００２９】
こうして、対物レンズ１１の瞳面に置いた各ＭＬが、撮像面にそれぞれ独立に物体の像を結ぶ。また、このとき、撮像面上のＭＬ領域の点Ｐ１bと、ＭＬ領域の点Ｐ１cとは、物体面（Ｐ面）上の同じ点Ｐ１からの、異なる角度で出てきた光線を受光する。
【００３０】
同様に、物体面（Ｐ面）上の点Ｐ２からの光線には、図中の一点鎖線で示される方向に射出して対物レンズ１１を通過屈折し、ＭＬaによって撮像素子１３の撮像面上のＭＬ領域の点Ｐ２aに結像される光線、図中の実線で示されるように、対物レンズ１１の光軸と平行方向に射出して対物レンズ１１を通過後、ＭＬbによって撮像素子１３の撮像面上のＭＬ領域の点Ｐ２bに結像される光線、及び図中の点線で示されるように、下方向に射出して対物レンズ１１を通過後屈折して、ＭＬcによって撮像素子１３の撮像面上のＭＬ領域の点Ｐ２cに結像される光線が示されている。また、物体面（Ｐ面）上の点Ｐ３からの光線には、図中の一点鎖線で示されるように上方向に射出して対物レンズ１１を通過後屈折して、ＭＬaによって撮像素子１３の撮像面上のＭＬ領域の点Ｐ３aに結像される光線、図中の実線で示されるように対物レンズ１１の光軸と平行方向に射出して、ＭＬbによって撮像素子１３の撮像面上のＭＬ領域の点Ｐ３bに結像される光線が示されている。
【００３１】
ここで、仮に、対物レンズ１１だけの結像系であったとすると、例えば、点Ｐ２から射出された光は対物レンズ１１で一点に集光される。すなわち、図２の光学系でいうと、点Ｐ２a，Ｐ２b，Ｐ２cなどの点Ｐ２から射出したあらゆる方向からの光線強度が加算されたものとなり、これが画素信号となる。このことは、図２に示すような、本発明の光学系では、MLA１２の各ＭＬによって、被検物上の一点から出た光を方向別に選別して捕えることができる、ということを意味している。
【００３２】
図３は、ある１つのＭＬから見た像が、Ｐ面から射出した同じ方向からの光線で構成されたＰ面の像であることを示しており、そのことはＰ面を各ＭＬによって各ＭＬの数だけ異なる方向から見た像が得られることを示すものである。すなわち、ＭＬの数だけできるが、それらはＰ面から射出した光のうち、同じ方向へ射出した光が対応するＭＬに入射してＰ面の像を形成することを意味する。換言すれば、ＭＬの数だけ異なる視差の像が得られる。
【００３３】
図３ａないし図３ｃで示す光線のうち、図３ｂにおいて、対物レンズ１１に対して垂直に入ってくる光を集めた中央部のＭＬによる像は、Ｐ面を正面から捕らえた像となる。また、図３ａ及び図３ｃは、対物レンズ１１に斜めに入射する光を集めた端の方に位置するＭＬによる像は、Ｐ面から射出する光の角度の方向からＰ面を見た像となる。
【００３４】
対物レンズ１１の瞳面は、MLA１２の各ＭＬの口径の大きさに分割され、それぞれのＭＬが同じ物体像を結ぶ。このとき、端の方のＭＬでの像は、周辺でけられ（物体の見えない所）が発生し、端の方の視野の一部は遮られるが、基本的には、各ＭＬによる像は、物体面（Ｐ面）と共役の位置で物体面（Ｐ面）を異なる角度から見た像となる。
【００３５】
そして、Ｎ個の各MLA像のＮＡ（開き角）は、各ＭＬの口径で決まる開口で１／Ｎに縮小される。ここで注目すべきことは、各ＭＬの像は、結像側からの見込み角度が小さく、光量は少なくなるが、被写界深度（焦点深度）は非常に深くなる。従って、物体側の奥行きに関係なく、ほとんど焦点の合った像、いわゆる全焦点画像となっている。
【００３６】
さらに、図３ｂの対物レンズ１１の光軸上（図２のMLA１２の中心に相当する）のＭＬ（図２のＭＬbに相当する）によって結像される像は、物体位置が光軸方向に移動しても、焦点もほぼ合ったまま像はずれない。すなわち、物体の光軸方向の位置が変わっても像はほとんど変化しない。
【００３７】
一方、図３ａと図３ｃでの中心から外れたＭＬ（図２のＭＬa，ＭＬcに相当する）を見ると、図中の左方向の矢印で示すように、物体位置が対物レンズ１１から遠ざかる場合、結像される像は、図３ａでは図中の上方向の矢印の方向にずれ、図３ｃでは図中の下方向の矢印の方向にずれる。つまり、光線のあたる画素位置は、光軸から遠ざかる方向にずれていく。逆に、物体位置が近づけば、これらの画像の画素位置は、光軸へ近づく方向にずれていく。
【００３８】
以上のようにして、本発明の光学系は構成される。
【００３９】
［２．焦点画像生成の手順］
（２−１）MLA１２を対物レンズ１１の瞳面とした場合
次に、図４及び図５を参照しつつ、上記の本発明の光学系を採用した場合において、複数の異なる位置での物体面の画像又は信号を形成して、物体各点でのフォーカス情報を検出する方法について説明する。なお、本実施の形態においては、図１で説明したように、図１ａ又は図１ｂのいずれの構成を採用しても、異なる角度から入射される光線を再構成して、焦点面の異なる複数の画像を生成することが可能である。したがって、はじめに、（１）MLA１２を対物レンズ１１の瞳面に置いた場合について説明し、その後、（２）MLA１２を対物レンズ１１の結像面に置いた場合についても説明する。
【００４０】
図４は、対物レンズ１１とMLA１２での光線追跡図を示し、図５は、MLA１２で結像された撮像素子１３の面での画素配列の一部と、MLA領域ごとに信号処理される選択画素を示している。
【００４１】
ところで、MLA１２の後側に配置される撮像素子１３は、例えば、CCD（Charge Coupled Device）センサやCMOS（Complementary Metal Oxide Semiconductor）センサなどであり、MLA１２の各ＭＬを通過した光を受光する所定の画素配列を、ＭＬに対応した配置パターンで配置してなる。この画素配列の縦方向と横方向の画素数は、例えば７×７個などの個々のＭＬを個別に透過した部分光束を個別に受けられるように、適宜設定される。なお、ここでは、撮像素子１３として、CCDを用いた例について説明する。
【００４２】
図５において、２１×２１個の四角は、撮像素子１３を対物レンズ１１の光軸方向から見た場合に撮像面上に配列された画素を示しており、そのうちの太線で囲まれた７×７個の四角からなる領域がそれぞれ１つのＭＬ領域を示している。図５では、７×７個のＭＬ領域のうち、３×３個のＭＬ領域を代表させて示している。したがって、図中の太線で囲まれたＭＬ領域のうちの中央の領域が、対物レンズ１１の中心のＭＬ（図２のＭＬbに相当する）で結像されるＭＬ領域となる。
【００４３】
図４ａは、物体面Ｐ０（焦点の合っている焦点面Ｚ0と同じ）がフォーカス位置にある場合の光線図である。ここで、物体面Ｐ０は、光学系の焦点距離ｆ、及び対物レンズ１１と撮像素子１３の撮像面との間隔ａで一義的に決定され、具体的には、上記の光学系のガウスの式（１）で決まる距離ｂの位置である。
【００４４】
物体面Ｐ０の対物レンズ１１の光軸と一致する位置から射出した光は、MLA１２の各ＭＬで、CCD（撮像素子１３）面上の各ＭＬ領域の中央部（各ＭＬの光軸と一致）に集光する。従って、図５（既に述べたように、対物レンズ１１の光軸に一致する位置のＭＬを中心にその周囲１つずつのＭＬ領域に対応する画素エリアのみを示している）に示すように、物体面Ｐ０の中央（対物レンズ１１の光軸に一致する）の点Ｐ０２から射出した光は、各ＭＬ領域内の中央の画素（図５では黒色の四角）に集光するので、各画素エリアの中央の画素の出力を選択し、加算することで物体面Ｐ０の点Ｐ０２の全輝度が得られる。
【００４５】
物体面Ｐ０の点Ｐ０２から外れた位置からの光は、点Ｐ０２からのずれ量に応じた角度で平行にMLA１２に入射するので、これらの光は各ＭＬ領域で中央から同量、同方向へずれることになる。よって、各ＭＬ領域で同じ位置の画素を選択し、加算することで、焦点面Ｚ0にある物体面Ｐ０の画像を再現することができる。
【００４６】
図４ｂは、物体面Ｐ０より対物レンズ１１に近い物体面Ｐ１（実際には、図４ｂの点線の物体面Ｐ０で示すように、図４ａと同様に、物体面Ｐ０と撮像素子１３の撮像面とが共役のままとなっている）からの光線図である。物体面Ｐ１の対物レンズ１１の光軸と一致する位置から射出した光は、各ＭＬの光軸上からレンズの端側へ、少しずつ外側にずれる角度でMLA１２の各ＭＬに入射し、集光される。この場合、物体面Ｐ１の中央（対物レンズ１１の光軸に一致する）の点Ｐ１２から射出した光は、図５に示すように、中心のＭＬ領域（図２のＭＬbによって結像される領域に相当する）内での画素はそのままで、それ以外のＭＬ領域では、図４ａに示した物体面Ｐ０での画素の位置から１画素ずつ外側の画素（図５では間隔の狭い左下がり斜線の四角）に集光するので、それらの画素を選択し、加算することで物体面Ｐ１の点Ｐ１２の全輝度が得られる。
【００４７】
物体面Ｐ１の点Ｐ１２から外れた位置からの光は、点Ｐ１２からのずれ量に応じた角度で平行にMLA１２に入射するので、これらの光は各ＭＬ領域で中央から同量、同方向へずれることになる。よって、各ＭＬ領域で同じ位置の画素を選択し、加算することで、物体面Ｐ１の画像を再現することができる。
【００４８】
図４ｃは、物体面Ｐ０より対物レンズ１１から遠い物体面Ｐ２（実際には、図４ｃの点線の物体面Ｐ０で示すように、図４ａと同様に、物体面Ｐ０と撮像素子１３の撮像面とが共役のままとなっている）からの光線図である。物体面Ｐ２の対物レンズ１１の光軸と一致する位置から射出した光は、各ＭＬの光軸上からレンズの端側へ、少しずつ内側にずれる角度でMLA１２の各ＭＬに入射し、集光される。この場合、物体面Ｐ２の中央（対物レンズ１１の光軸に一致する）の点Ｐ２２から射出した光は、図５に示すように、中央のＭＬ領域（図２のＭＬbによって結像される領域に相当する）での画素はそのままで、それ以外のＭＬ領域では、図４ａに示した物体面Ｐ０での画素の位置から１画素ずつ内側の画素（図５では間隔の広い左下がり斜線の四角）に集光するので、それらの画素を選択し、加算することで物体面Ｐ２の点Ｐ２２の全輝度が得られる。
【００４９】
物体面Ｐ２の点Ｐ２２から外れた位置からの光は、点Ｐ２２からのずれ量に応じた角度で平行にMLA１２に入射するので、これらの光は各ＭＬ領域で中央から同量、同方向へずれることになる。よって、各ＭＬ領域で同じ位置の画素を選択し、加算することで、物体面Ｐ２の画像を再現することができる。
【００５０】
なお、図４では、撮像素子１３の右側の長方形４０は、ＭＬ領域の一部である１３ＭＬ1ないし１３ＭＬ7を模式的に表しており、各ＭＬ領域での光の集光する位置を黒色で塗り潰すことによって、図５で上述した説明を補足して概念的に説明するためのものである。すなわち、本実施の形態では、７×７個のＭＬ領域の例を取り上げているので、縦方向に７個ある各ＭＬ領域１３ＭＬ1ないし１３ＭＬ7を模式的に示し、それぞれのＭＬ領域に集光（結像）した光の様子が示されている。図４ａにおいては、物体面Ｐ０２からの線は、CCD（撮像素子１３）上の各ＭＬ領域の中央に集光（結像）する。また、図４ｂに示したように、物体面Ｐ０よりも対物レンズ１１に近い物体面Ｐ１からの光は、中央のＭＬ領域では中央に集光し（完全には結像しないが、ＭＬの開口が小さいので、焦点深度の深い状態が実現されている）、それ以外のＭＬ領域では図４ａの場合と比べて外側へ集光する。さらに、図４ｃに示したように、物体面Ｐ０よりも対物レンズ１１から遠い物体面Ｐ２からの光は、中央のＭＬ領域では中央に集光し（完全には結像しないが、ＭＬの開口が小さいので、焦点深度の深い状態が実現されている）、それ以外の領域では図４ａの場合と比べて内側へ集光する。
【００５１】
さらに捕捉すれば、本実施の形態においては、前側物体面Ｐ１や後側物体面Ｐ２は、実際には、対物レンズ１１の位置で決まる物体面Ｐ０（図４では物体面Ｐ０が撮像素子１３の受光面と共役となる）以外の、対物レンズ１１を動かすことなく得られるいわば仮想的な合焦面である。
【００５２】
以上のように、物体面Ｐ０，Ｐ１，Ｐ２のように、物体の光軸方向の位置を物体面Ｐ０から変えた場合でも、対物レンズ１１の中心のＭＬ（図２のＭＬbに相当する）によって結像される像は、焦点もほぼ合ったまま像の位置がずれないことになる。
【００５３】
すなわち、図３ｂに示した光学系の構成のレンズ中心のＭＬ（図２のＭＬbに相当する）によって結像される画像（図２のＰ２bに相当する）は、対物レンズ１１に対して垂直に入ってくる光線からなり、被検物を正面から捉えた像となる。したがって、物体位置が光軸方向に移動しても、像はずれない。そして、分割された小さな瞳からの像なのでＦ値が大きく、被写界深度（焦点深度）は非常に深くなる。つまり、被検物の光軸方向の位置が変わっても、像はほとんど変化しない。したがって、物体側の奥行きに関係なく、ほとんど焦点の合った像、いわゆる全焦点画像となっている。
【００５４】
（２−２）MLA１２を対物レンズ１１の結像面に配置した場合
ところで、上記の（２−１）においては、光学系として、図１ａの構成を採用した場合の例、つまり、MLA１２が対物レンズ１１の瞳面に設定された場合について説明した。常に焦点の合った全焦点画像を取得する方法としては、（２−１）の方法に限らず、図１ｂに示したように、MLA１２を対物レンズ１１の焦点（結像）面、すなわち、物体面と共役の位置に設定した場合でも同等の効果を得ることができる。そこで、次に、全焦点画像を取得する方法の第２の例として、（２−２）MLA１２が対物レンズ１１の結像面に設定された場合について説明する。この場合、（２−１）の方法と比べて、異なる物体面での画像の作成手順が異なるため、ここでは、図６ないし図８を参照して、その作成手順を中心に説明する。
【００５５】
図６ないし図８においては説明を分かり易くするために、撮像素子１３において直線上に並んだ５つの画素ａ，ｂ，ｃ，ｄ，ｅに入射する各光線（対応するマイクロレンズＭＬの中心を通る主光線のみ）を示している。また、各図中の各要素には、光軸と垂直な面内における座標を示すための添字（１，２，３，・・・）を付している。
【００５６】
すなわち、図６に示すように、不図示の対物レンズ１１による被検物の像がMLA１２上（Ｚ＝０）で結像（各ＭＬへ入射する領域を破線で示し、その中心の座標をＸ1ないしＸ7で示している）する場合、不図示の対物レンズ１１からの光線ｒ1，ｒ2，ｒ3，ｒ4，ｒ5は、結像面（Ｚ＝０面上）、すなわちＭＬの表面の１点に集まる。中心座標をＸ1ないしＸ7で示した各領域は、同じ作用を受けるから、以下、中央の領域について説明する。中央の領域の中心Ｘ4を出た光は、マイクロレンズＭＬ4のレンズ作用によって、撮像素子１３の面上ではそれぞれの画素に対応して、ａ4，ｂ4，ｃ4，ｄ4，ｅ4の画素信号となる。したがって、結像面（Ｚ＝０）での各画像信号は、これらの和となる。すなわち、画像信号をＬとすれば、Ｌは下記の式（２）で求めることができる。
【００５７】
Ｌ（ｉ）＝（ａi＋ｂi＋ｃi＋ｄi＋ｅi） ・・・（２）
【００５８】
ただし、上記の通り、ｉは光軸と垂直な面内におけるＸ方向の座標（ｉ＝１〜７）を示しており、例えば、座標Ｘ4の場合には、Ｌ（４）＝（ａ4＋ｂ4＋ｃ4＋ｄ4＋ｅ4）となる。なお、実際には、２次元的に考える必要があるので、Ｘ方向以外にＹ方向についても考えなければならないが、ここでは、説明を簡略化するためにＸ方向についてのみ述べる。
【００５９】
一方、図７に示すように、結像面が各ＭＬの表面からずれたＺ＝ｈ1の位置での中央の領域の中心座標Ｘ4の画像信号は、下記の式（３）から求めることができる。ただし、ｉ＝１〜７であり、座標の添数字が１〜７から外れた値は使用されない値である。
【００６０】
Ｌ（ｉ）＝（ａi-2＋ｂi-1＋ｃi＋ｄi+1＋ｅi+2） ・・・（３）
【００６１】
座標Ｘ4の場合にはｉ＝４となるので、Ｌ（４）＝（ａ2＋ｂ3＋ｃ4＋ｄ5＋ｅ6）となる。このことからも明らかなように、撮像素子１３の撮像面のそれぞれの領域での中央の画素信号ｃi（この例の場合にはｃ4）は、焦点位置によらず常に存在する。つまり、この信号だけを集めた画像は、物体側の位置にかかわらず一定で、焦点ボケのない像となる。
【００６２】
したがって、図８に示すように、下記の式（４）の関係を有する信号で構成される画像は、結像面がどこにあっても（逆の言い方をすれば、結像面が一定で被検物がどこにあっても）常に焦点の合った全焦点画像となる。ただし、図８ではより実際的な応用を説明するために、図６，７に対して、フィールドレンズ（以下、ＦＬという）を付加した図面としている。このＦＬを配置することで、像高の高い位置に配置されたＭＬに入射する光束の角度を抑えられるため、先述した例では述べていないが、ＦＬを設けたほうが好ましい。
【００６３】
Ｌ（ｉ）＝ｃi ・・・（４）
【００６４】
すなわち、例えば、図８において、撮像素子１３の撮像面のそれぞれの領域での中央の画素信号ｃ1，ｃ2，ｃ3，ｃ4，ｃ5，ｃ6，ｃ7を集めた画像は、焦点の合った全焦点画像となる。
【００６５】
以上のようにして、図１ａ又は図１ｂの構成を採用することで、焦点画像生成の手順は異なるが、異なる角度からの光線を再構成して、焦点面の異なる複数の画像が生成される。
【００６６】
［３．測定の信号処理手順］
次に、上記の手順で生成される仮想的な焦点位置での画像群から、測定のための画像データを得るために実行される信号処理について説明する。かかる信号処理では、常に焦点の合った全焦点画像を用いる点に特徴があり、焦点面を光軸方向へ少しずつずらしながら取得した各画像データに対してエッジ処理を施すことにより、焦点の合った画像を選択する。
【００６７】
（３−１）多焦点逐次処理法
上記のエッジ処理としては、いくつかの方法が考えられるが、ここではまず、画像のエッジを検出する方法として、多焦点逐次処理法を用いた場合について説明する。また、この多焦点逐次処理におけるエッジ処理として、フーリエ変換（ウェーブレット変換）法を用いた場合を一例にして説明する。
【００６８】
上記の［２．焦点画像生成の手順］により、複数の異なる物体面での画像群が形成された後、先述したSFFと同様の処理によって、各々の画像の同じ画素エリアの位置において、下記の方法でフォーカス情報を検出することができる。
【００６９】
すなわち、かかる信号処理では、図９に示すように、距離の異なる複数の物体面（・・・，Ｚ-1，Ｚ0，Ｚ1，・・・）の画像群について、それぞれFFT（Fast Fourier Transform）により画像信号をフーリエ変換（又はウェーブレット変換）し、空間周波数空間内（フーリエ面上）で高周波成分のみをハイパスフィルタ（High Pass Filter）にて抽出した後、逆フーリエ変換（又は逆ウェーブレット変換）する。この処理によって、ほぼエッジ（輪郭）部分のみの画像となる。次に、これらの画像でエッジのある各点の位置（Ｘi，Ｙi）に着目して、複数の物体面（・・・，Ｚ-1，Ｚ0，Ｚ1，・・・）の画像群の中から、最もエッジの鋭い（傾き成分の最も高い）画像をベストフォーカス（Best Focus）として、選択する。
【００７０】
図１０は、各焦点面の画像群におけるサンプリング点のエッジの傾き成分をグラフ化したものである。図１０において、横軸Ｚは物体面の位置（被検物からの距離）を表し、縦軸αはエッジの傾き成分を表し、図中上方向にいくほど、その値が大きくなる（焦点の合っている程度（フォーカスの程度）が高い）ことを意味する。
【００７１】
図１０に示すように、Ｚ方向のサンプリング点は、各物体面毎の値となっているために離散的なものとなっているが、図中の曲線で表しているように、関数近似によってピーク（図中の点線）を求めることで、補間処理による小数点以下の値を持つ位置Ｚが求められ、その精度は向上する。
【００７２】
しかしながら、この手順ではＺの位置を求めることができるものの、次に示すような問題が残る。
【００７３】
すなわち、焦点の違う画像からエッジを検出する場合、物体の距離に応じて、ピント（焦点）の合っている所と、合っていない所とが存在する。このとき、明るさ（信号強度）が極端に違うエッジが隣接している場合、焦点の合っていない明るいエッジが、隣接する焦点の合った暗いエッジを覆ってしまい、エッジの位置を誤認識する恐れがある。
【００７４】
かかる問題を解決するためには、全てのエッジで焦点の合った画像を用いて、画素単位での微分値を求め、正しいエッジ位置を先に検出しておけばよい。
【００７５】
そこで、本実施の形態においては、MLA１２の中央のＭＬ（図２のＭＬbに相当する）で結像される、対物レンズ１１の中心（軸上）の画像が物体面の位置が変わっても（Ｚの方向が変わっても）変化のない画像であって、かつ、被写界深度が深く、物体側の距離によらず常にほぼ完全にピントの合った、像ずれがなく、かつボケのない画像（全焦点画像）となることに着目し、この画像を用いる。
【００７６】
本発明の信号処理においては、この全焦点画像を用いて、上記のように、フーリエ変換及びハイパスフィルタ処理をすることによって、正しいエッジ位置（Ｘi，Ｙi）を得て、同時にその近傍画像のコントラスト信号（画像の濃度値）を登録する。次に、それらのエッジについて、多数物体面（・・・，Ｚ-1，Ｚ0，Ｚ1，・・・）の画像群の中から、着目するエッジ位置（Ｘi，Ｙi）とその近傍の画像信号が、登録したコントラスト信号と最も相関の高い画像におけるＺを求める。
【００７７】
すなわち、全焦点画像から得られた各エッジ位置（Ｘi，Ｙi）について、物体位置（Ｚ）の異なる複数の（ボケを含む）画像から、同じ座標（Ｘi，Ｙi）のエッジ位置の画素信号における、ボケのない全焦点画像のエッジ信号と最も類似性（相関）の高い物体位置（Ｚ）を求める。これにより、エッジ各点（Ｘi，Ｙi）でのＺを検出することができる。
【００７８】
具体的には、まず、注目しているエッジ位置である注目エッジ位置（Ｘi，Ｙi）と、その近傍画素の信号強度ｆi,jを検出する。次に、それらのエッジについて、多数の物体面（・・・，Ｚ-1，Ｚ0，Ｚ1，・・・）の画像群の中から、同じエッジ位置（Ｘi，Ｙi）と、その近傍信号ｇi,j（Ｚ）が、ｆi,jと最も相関の高くなるときのＺを求める。
【００７９】
この相関の求め方は、各点の明るさやコントラストの違いを吸収するよく知られた正規化相関法を用いると好適であるが、例えば、計算時間を短縮できる差分絶対値の和、又は差分の二乗和を求める方法など、かかる相関を求めることができる方法であれば他の方法であってもよい。また、相関値の計算は、例えば、差分絶対値の和により相関を求める場合に、合焦時の差分絶対値の和で除算（規格化）して求めるなど、合焦時の値を用いることにより、各点の明るさやエッジ強度に依存しない、焦点ずれだけを反映させた規格化値とすることができる。
【００８０】
そして、例えば、下記の式（５）又は式（６）の値が最も小さくなるときのＺを求める。
【００８１】
【数１】
【００８２】
【数２】
【００８３】
これにより、物体の各エッジ座標（Ｘi，Ｙi）位置でのＺが求められる。
【００８４】
なお、ここでは、撮像素子１３から出力される画像信号に対し、直接画像処理を施す例について説明したが、エッジ信号を際立たせ、検出誤差を低減する目的で、画像の前処理を施してもよい。例えば、各画像を、フーリエ変換とハイパスフィルタを組み合わせた処理や、ソーベルフィルタ、あるいはラプラシアンフィルタと呼ばれるデジタル微分フィルタなどの画像処理をすることにより、輪郭部だけを強調した、いわゆるエッジ画像を得ることができるので、その後、上記の相関処理を行えばよい。
【００８５】
また、相関を計算する際には、先述した場合と同様に、図１０に示したような補間処理を用いて求めることも可能である。
【００８６】
以上のように、多焦点逐次処理法では、画像信号の強度のみでエッジ位置を特定（光軸方向でピントの合った画像を特定）しようとすると、本来の特定すべきエッジが強いボケ光によって検出できない場合が生じるので、これを避けるために、全焦点画像を用いた相関処理を行っている。
【００８７】
（３−２）全焦点エッジ抽出法
次に、画像のエッジを検出する方法として、全焦点エッジ抽出法を用いた場合について説明する。
【００８８】
上記の（３−１）の多焦点逐次処理法では、一旦、多数の焦点画像群を形成した後に、フーリエ変換などの処理を行うため、どうしても処理時間がかかってしまう。また、エッジを検出する画像として、先の物体面（・・・，Ｚ-1，Ｚ0，Ｚ1，・・・）の画像群では、いずれもどこかに焦点面があり、その焦点からはずれた箇所はボケが生じ、全てのエッジを検出することは困難になる。そこで、全焦点エッジ抽出法では、MLA１２の中央のＭＬで結像される全焦点画像によって予め２次元画像上でエッジ位置が特定できることに着目し、特定したエッジ位置のみで光軸方向へエッジ位置の探索を行なう。つまり、全焦点画像の中の特徴（エッジ）を先に検出しておき、その検出されたエッジ位置に対応する位置の物体面の画像だけを生成し、その位置でのベストフォーカスとなるＺを検出すれば、処理する点が少なくて済み、演算の負担が少ないばかりでなく、演算時間が短くて済み、迅速な測定に寄与することができる。
【００８９】
具体的には、MLA１２の中央のＭＬで結像される全焦点画像を用いて、画像処理でよく知られている輪郭抽出のための３×３行列（一般的に微分オペレータと呼ばれる）を使ったエッジ抽出の演算処理を行う。例えば、ソーベルフィルタ（Sobel Filter）などを使って、Ｘ方向又はＹ方向で、画像中のエッジを検出する。なお、この方法は、特に、線のエッジ検出に有効である。また、スポットや交点などの点の検出には、二次微分に相当するラプラシアンフィルタ（Laplace Filter）を使ってもよい。これらは、被検物の段差など、何らかの構造や色、反射率の差などによるものである。全焦点エッジ抽出法では、検出されたエッジや点の位置（Ｘi，Ｙi）における、これらのフィルタで処理された値を、デフォーカス量として算出する。
【００９０】
そして、全焦点エッジ抽出法においては、画像のエッジのある各点（位置）に着目して、（３−１）と同様に、上記の多数の物体面（・・・，Ｚ-1，Ｚ0，Ｚ1，・・・）に対応する、このデフォーカス量の変化を算出する。これにより得られる値は、上記の図１０と同様のデータとなるため、これから信号のピーク、すなわち、ベストフォーカスとなるＺを求める。
【００９１】
このとき、先述した（３−１）の多焦点逐次処理法と同様に、合焦時のデフォーカス量で除算（規格化）することで、この全焦点エッジ抽出法においても、各点の明るさやエッジ強度に依存しないようにすることができる。なお、全焦点エッジ抽出法においては、かかる規格化を行うと好適ではあるが、必ずしもこの規格化を行う必要はない。
【００９２】
以上のように、上記の（３−１）の多焦点逐次処理法や、（３−２）の全焦点エッジ抽出法などのエッジ処理によって、物体の各エッジ座標（Ｘi，Ｙi）位置でのＺが検出される。なお、その後、検出された値を用いての距離測定処理が行われるが、その処理については、次の［４．距離測定手順］で説明する。
【００９３】
［４．距離測定手順］
（４−１）多数のフォーカス画像から物体位置を求める方法
上記の手順によって求められた、物体の各エッジ座標（Ｘi，Ｙi）位置でのＺを用いた距離測定が行われるが、その手順にはいくつかの方法があるが、ここではまず、多数のフォーカス画像（焦点面の位置が異なる多数の画像、すなわち、多数の仮想焦点面の画像）を生成し、その中からベストの焦点位置を求める方法について説明する。
【００９４】
ここで、仮想焦点面と共役な被検物像側の物体面の位置（・・・，Ｚ-1，Ｚ0，Ｚ1，・・・）の値は、式（１）に基づき、対物レンズ１１と撮像素子１３の撮像面との間隔ａ、若しくは対物レンズ１１と仮想的な焦点面との間隔（ａ1，ａ2，ａ3，・・・，ａn）によって一義的に決まる。
【００９５】
したがって、焦点面の位置（撮像面上にある場合も含む（すなわち、ａ1，ａ2，ａ3，・・・，ａn））を定めれば、その位置に焦点が合うべき被検物の部位の位置がわかり、その部位までの距離ｂが式（１）を用いて求めることができる。その結果、求めた距離ｂの値と撮像素子１３から出力される２次元画像の座標（Ｘ，Ｙ）情報と合わせて、被検物の上記部分の座標（Ｘ，Ｙ，Ｚ）、すなわち、３次元の空間座標を決定することができる。
【００９６】
（４−２）２つの異なる焦点面の画像情報から物体位置を求める方法
上記の（４−１）の方法では、多数のフォーカス画像（多数の異なる焦点面を仮定した場合に得られる画像）を生成して、それぞれのフォーカス画像の中からベストの焦点位置の部分を検出するといった方法で、被検物の各部分までの距離を正確に測定することができる。そのためには、例えば、図１０のような多点情報からピークを検出する、というような手順が必要となる。図１０において、横軸Ｚは被検物までの距離、縦軸αは焦点の合っている程度（フォーカスの程度）を示している。この図から２次元画像のある座標（Ｘ，Ｙ）における焦点の合っている被検物の部位までの距離がαの最大値となるＺの値として求めることができる、ということがわかる。しかしながら、処理の手順が多く、処理に時間がかかる可能性が高い。
【００９７】
そこで、ここでは、別の方法として、少ない処理量で、高速化を図る測定手順について説明する。この方法においては、多数の画像を生成し、そこから得られる図１０のような多点情報からピークを検出するのではなく、最低２つの異なる焦点面の画像情報を用いて、両者の差分信号、すなわち、２つの位置でのデフォーカス量の差から、Ｚの位置を求める。そして、このＺは、対物レンズ１１から被検物までの距離ｂに対応するので、この値と撮像素子１３の２次元画像の座標（Ｘ，Ｙ）情報と合わせて、被検物の座標（Ｘ，Ｙ，Ｚ）、すなわち、３次元形状を測定することができる。
【００９８】
しかしながら、この方法で演算した値そのものだけでは、被検物の局所的な反射強度の差が影響する可能性が高い。すなわち、元の照明光の明るさ分布や、被検物の位置による反射率の違いによって信号強度は変化する。特に隣接した領域に明暗の差が著しい箇所があると、デフォーカス状態では両者の信号が混ざり合うため、エッジのピークを誤検出する可能性がある。
【００９９】
そこで、先述した方法と同様の考え方で、かかる演算処理で求められた演算値を、MLA１２の中央のＭＬにより結像された画像の各画素値で除算して規格化しておくことにより、局所エリア毎に、明るさ（光強度）によらない、規格化されたデフォーカスによるボケ量を得ることができる。
【０１００】
以上のようにして、本実施の形態においては、例えば、（４−１）又は（４−２）の方法によって、距離測定の処理が行われることで、被検物の表面の座標（Ｘ，Ｙ，Ｚ）が求められ、３次元形状が測定される。
【０１０１】
このように、本実施の形態においては、１回の撮像により得られる画像信号を用いて、被検物の３次元形状を計測できるので、従来のSFFのように、複数回の撮像が必要な場合と比べて、高速で計測を行うことが可能である。
【０１０２】
［５．形状測定装置］
次に、上述した距離測定の処理を行って、被検物の３次元形状を測定する、本実施の形態に係る形状測定装置の構成について、図１１を参照して説明する。
【０１０３】
図１１に示すように、形状測定装置は、対物レンズ１１、MLA１２、撮像素子１３、制御回路３１、ユーザインターフェース３２、駆動回路３３、演算処理回路３４、及び、メモリ３５を含むようにして構成される。なお、図１１において、対物レンズ１１ないし撮像素子１３は、先述した図１等の対物レンズ１１ないし撮像素子１３に対応している。
【０１０４】
制御回路３１は、ユーザインターフェース３２を介してユーザから入力された指示にしたがって、駆動回路３３、演算処理回路３４、及びメモリ３５の制御を行う。また、制御回路３１は、図１１の形状測定装置の各部の動作を制御する。
【０１０５】
駆動回路３３は、撮像素子１３を駆動する。また、駆動回路３３は、撮像素子１３からの画像信号を、演算処理回路３４に出力する。
【０１０６】
演算処理回路３４は、駆動回路３３からの画像信号に基づいて、所定の演算処理を行う。そして、演算処理回路３４は、演算結果をメモリ３５に格納する。
【０１０７】
演算処理回路３４は、MLA１２のＭＬの各々により結像された像を、撮像素子１３により撮像することで得られる画像データから、被検物の３次元形状を測定する。かかる処理の詳細については、後述する図１２の演算処理回路３４の動作の説明の際に併せて説明する。
【０１０８】
以上のようにして、形状測定装置は構成される。
【０１０９】
次に、図１２のフローチャートを参照して、図１１の演算処理回路３４により行われる３次元形状測定処理について説明する。
【０１１０】
演算処理回路３４は、ステップＳ１１において、駆動回路３３からの画像信号を取得し、ステップＳ１２において、焦点画像を生成する。具体的には、上記の［２．焦点画像生成の手順］で述べたように、演算処理回路３４は、図１ａの構成の場合には、（２−１）の方法によって、図１ｂの構成の場合には、（２−２）の方法によって、異なる角度からの光線を再構成して、焦点面の異なる複数の画像を生成する。
【０１１１】
ステップＳ１３において、演算処理回路３４は、測定の信号処理を行う。具体的には、上記の［３．測定の信号処理手順］で述べたように、演算処理回路３４は、（３−１）の「多焦点逐次処理法」又は（３−２）の「全焦点エッジ抽出法」などのエッジ処理によって、常に焦点の合った全焦点画像を用いて、物体の各エッジ座標（Ｘi，Ｙi）位置でのＺを求める。
【０１１２】
そして、演算処理回路３４は、ステップＳ１４において、距離測定の処理を行い、ステップＳ１５において、物体の３次元形状を測定し、処理は終了する。具体的には、上記の［４．距離測定手順］で述べたように、演算処理回路３４は、（４−１）の「多数のフォーカス画像から物体位置を求める方法」又は（４−２）の「２つの異なる焦点面の画像情報から物体位置を求める方法」によって、被検物の表面の座標（Ｘ，Ｙ，Ｚ）が求められ、３次元形状が測定される。
【０１１３】
以上のように、図１１の形状測定装置においては、演算処理回路３４によって、先述した、［２．焦点画像生成の手順］、［３．測定の信号処理手順］、［４．距離測定手順］が順に実行されることで、MLA１２の中央のＭＬによって結像された像から得られる全焦点画像を用いた信号処理が行われ、それにより得られる物体の各エッジ座標（Ｘi，Ｙi）位置でのＺから、被検物の表面の座標（Ｘ，Ｙ，Ｚ）、すなわち、３次元形状が測定される。
【０１１４】
すなわち、図１ａに示したように、MLA１２が対物レンズ１１の射出瞳と共役となるように配置されている場合、演算処理回路３４は、複数のＭＬのうちの対物レンズ１１の光軸の位置（この対物レンズ１１の光軸は、対物レンズ１１の主光線の一部と一致している）にあるMLA１２の中央のＭＬにより撮像素子１３の撮像面上に形成された像から得られる全焦点画像（基準画像）を、撮像素子１３の出力から得られる焦点面の異なる複数の画像（測定画像）の補正情報として用いて、被検物の３次元の形状を測定する。
【０１１５】
なお、本実施の形態では、図１ａの構成を中心に述べたが、図１ｂに示したように、撮像素子１３の撮像面が対物レンズ１１の射出瞳と共役となるように配置されている場合には、演算処理回路３４は、対物レンズ１１の主光線が交わる撮像素子１３の撮像領域を構成する画素から得られる全焦点画像（基準画像）を、撮像素子１３の出力から得られる焦点面の異なる複数の画像（測定画像）の補正情報として用いて、被検物の３次元形状を測定することになる。
【０１１６】
［６．レンズ駆動］
次に、被検物が遠くにある場合や近くにある場合についての測定方法について説明する。この場合、レンズ位置ａを固定したままでは、測定可能な範囲を超える領域が発生することがある。そこで、本発明の形状測定装置では、測定目的に合わせて必要なときに、対物レンズ１１を動かし、レンズ位置ａの値を変えて測定を行うようにする。
【０１１７】
その具体例として、以下、実際に被検物の３次元形状を計測するときに、測定範囲を考慮した場合の処理の流れについて説明する。
【０１１８】
被検物までの距離ｂは、対物レンズ１１と光学系の撮像面（基準焦点面）との距離（レンズ位置ａ）と焦点距離ｆの値がわかっていると、上記の光学系のガウスの式（１）の関係から計算することができる。
【０１１９】
図１３には、横軸をａ（レンズ位置）、縦軸をｂ（物体距離）とした場合において、焦点距離ｆ＝25mmとして、レンズ位置ａの値を27mmから45mmまで変えたときの物体距離（距離）ｂの値をグラフ化したものと、焦点距離ｆ＝30mmとして、レンズ位置ａの値を31mmから45mmまで変えたときの物体距離ｂの値をグラフ化したものが示されている。図１３において、横軸のレンズ位置ａは、図中右方向にいくほど、レンズ位置ａが大きくなり、縦軸の物体距離ｂは、図中上方向にいくほど、物体距離ｂが大きくなる。
【０１２０】
この２つのカーブからも明らかなように、焦点の合う被検物までの物体距離ｂの値は、レンズ位置ａの値によって大きく異なる。
【０１２１】
具体的には、図１３の２つのカーブで示すように、レンズ位置ａの値が小さくなると、物体側の焦点の合う位置（物体距離）ｂは急激に遠ざかる（距離が広がる）とともに、いわゆる被写界深度が深くなり、物体距離ｂの変化に対するフォーカス情報の感度が低下する。すなわち、物体距離ｂが遠距離になるにしたがって、物体側の測定範囲は広がるが、精度が劣化することになる。
【０１２２】
従って、例えば、精度を考慮して測定する場合には、物体距離ｂが適当な値になるようにして、測定する必要がある。
【０１２３】
一方、測定範囲を広げたいときは、物体距離ｂが大きくなるようにして測定するのがよいが、物体距離ｂが遠距離になると、対物レンズ１１を移動させて間隔（レンズ位置）ａを変化させても、その変化量に対してボケの変化が小さくなるので、測定精度が劣化し、測定には限度がある。そのため、通常は、適当な値、例えば、図１３では、焦点距離ｆ＝25mmの場合にはａ＝30mmを中心に27mm〜35mmあたりにレンズ位置ａを設定するのが適当であり、焦点距離ｆ＝30mmの場合にはａ＝37mmを中心に33mm〜38mmあたりにレンズ位置ａを設定するのが適当である。すなわち、焦点を合わせる距離に応じて感度特性が変化するので、測定を開始する前に作動距離を適切に設定するのがよい。
【０１２４】
ところで、先述した、図１１の形状測定装置では、被検物への焦点合わせについては述べていないが、焦点合わせ機能があると測定範囲が広がる。本発明の別の実施の形態においては、これまで述べてきた、対物レンズ１１から被検物までの距離ｂに関する距離情報を、焦点合わせを行う場合の距離情報（以下、フォーカス信号という）として使用し、自動合焦を行う。
【０１２５】
そこで、次に、図１４を参照して、自動合焦機能を備えた形状測定装置について説明する。
【０１２６】
図１４において、図１１と対応する箇所には同一の符号が付してあり、処理が同じ部分に関しては、その説明は省略する。図１４の形状測定装置には、対物レンズ１１ないし撮像素子１３、及び、制御回路３１ないしメモリ３５の他に、制御回路３１からの指示にしたがって対物レンズ１１を動かすレンズ駆動装置４２が設けられている。また、図１４において、対物レンズ１１ないし撮像素子１３は、測定センサ系４１であるとして説明するが、測定センサ系４１は、例えば、制御回路３１ないしメモリ３５の一部をさらに含めた構成などであってもよい。さらに、図１４の構成では、CPU４３によって、制御回路３１と演算処理回路３４が構成されているものとする。
【０１２７】
CPU４３は、ユーザインターフェース３２から供給される測定開始命令により、駆動回路３３を制御して、撮像素子１３から画像信号を取り込み、取り込んだ画像信号から被検物Ｈまでの距離を測定する。ここでは、最初に、対物レンズ１１の光軸と一致する被検物Ｈの合焦ポイントＰ１までの距離が測定される。
【０１２８】
図１３を参照して説明したように、測定センサ系４１と被検物Ｈとの距離（作動距離）には最適な値があるので、CPU４３によって演算された合焦ポイントＰ１までの距離が、この最適な値からずれている場合がある。この場合、CPU４３は、そのずれ量をモニタ３６に表示し、操作者に対して作動距離が適切でないことを通知する。そうすることで、操作者は、測定センサ系４１と被検物Ｈとを相対的に移動させ、作動距離を適切に設定することが可能となる。
【０１２９】
すなわち、測定センサ系４１は、例えば、３次元空間内で自由に動作する図不示のロボットハンドに設けられており、このロボットハンドが、操作者によるユーザインターフェース３２の操作に応じて、測定センサ系４１と被検物Ｈとの作動距離を最適な値にする。つまり、CPU４３において、制御回路３１は演算処理回路３４の演算結果である測定センサ系４１と被検物Ｈまでの作動距離が最適になるように図不示のロボットハンドの制御回路に制御信号をフィードバックする。
【０１３０】
なお、ロボットハンドの代わりに、被検物Ｈを測定センサ系４１の光軸方向へ移動させる図不示の移動テーブルに載置し、この移動テーブルの位置を制御するテーブル移動装置をCPU４３が制御するようにしてもよい。
【０１３１】
CPU４３は、被検物Ｈが最適な作動距離の位置に置かれると、その基準（通常初めは視野の中心）点でのフォーカス信号を用いて、レンズ駆動装置４２によって対物レンズ１１を動かして、レンズ位置ａを変えながら焦点を合わせる（撮像面が基準焦点面である場合）。これにより、例えば、ある距離に焦点が合っている状態の感度は、その距離が離れるにしたがって低下するものであるが、レンズ位置ａを変えながら焦点を合わせ直すことで、低下するはずの感度を上げることが可能となる。
【０１３２】
そして、焦点合わせが完了した後、レンズ位置ａを測定し、レンズ位置ａと焦点距離ｆとを、上記の式（１）の関係に基づき、被検物Ｈまでの距離ｂを求めることができる。なお、通常、レンズ位置ａの値は、レンズ駆動装置４２に設けられた光学式ロータリエンコーダ等の位置読み取りセンサによって検出することができる。
【０１３３】
その後、CPU４３では、演算処理回路３４によって、被検物Ｈ全面の多数点について、先述した仮想焦点面と共役な被検物Ｈ側の面の位置（・・・，Ｚ-1，Ｚ0，Ｚ1，・・・）での画像群からのフォーカス情報が取り込まれ、さらに、レンズ位置ａから、それぞれの物点距離が求められ、被検物Ｈの３次元の立体形状が測定される。
【０１３４】
この結果、形状測定装置から離れている被検物Ｈや、近くにある被検物Ｈに対しても最適な感度で測定することができる。
【０１３５】
以上の説明では被検物Ｈの奥行きがそれほど大きくないものの場合（測定光軸方向での測定範囲が狭い場合）はよいが、測定光軸方向の測定範囲が大きい場合には、同一の被検物Ｈに対しても焦点を変えながら測定する必要が生ずる場合がある。
【０１３６】
このような場合に備えて、例えば、図３ｂの対物レンズ１１の光軸上のＭＬによって結像される像のような被検物Ｈが測定光軸方向へ移動しても焦点が合ったまま像のずれない像の画像（全焦点画像）をモニタ３６に表示し、モニタ３６上で焦点を合わせたい位置を、任意に選択できるようにする。そうすると、操作者がモニタ３６を見ながら、被検物Ｈ上で焦点を合わせたい位置を選択し、選択された位置に合焦するように演算処理回路３４からの信号で制御回路３１がレンズ駆動装置４２を制御するように構成することができる。
【０１３７】
モニタ３６上で焦点を合わせたい位置を選択する技術は、一眼レフカメラで用いられている技術を用いることができる。そして、焦点を合わせたい位置が選択された後は、選択した位置を基準点として、先に説明した視野の中心点を基準点とした場合と同様に、この点（位置）に焦点を合わせることができる。
【０１３８】
このようにして、被検物Ｈが測定光軸方向に大きい場合、操作者が全焦点画像を見ながら焦点を合わせたい位置を順次選択しながら測定したり、操作者が全焦点画像を見ながら予め焦点を合わせたいポイントを指示し、CPU４３がこれらのポイントに順次焦点を合わせながら測定するように構成したりすることができる。
【０１３９】
また、ユーザインターフェース３２から予め測定範囲を指示し、演算処理回路３４がこの測定範囲を維持しつつ、焦点の合う位置を予め定めた距離ごとにステップ的に焦点の合う範囲を変えつつ、上記測定範囲での測定を実行するようにすることもできる。それによって、予め定めた測定範囲を光軸方向へステップ的に移動させながら、所定の範囲の距離測定、ひいては被検物Ｈの各測定点での空間座標を求めることができる。
【０１４０】
なお、以上の説明は、対物レンズ１１の移動を制御回路３１からの信号によって自動的に行うことを前提にしたが、対物レンズ１１の移動を手動で行ってもよいことは勿論である。この場合は、上記ステップ移動範囲を示すメモリと指標とを対物レンズ１１の鏡筒のピントリング（回転側）と本体（固定側）に形成することで、操作者は、指標にメモリをステップ的に合わせながら測定を行えばよい。
【０１４１】
なお、本実施の形態においては、レンズ位置ａの値を正確に求める手段として、レンズ駆動装置４２に付けられる光学式ロータリエンコーダについて説明したが、これに限らず、同等の手段であれば他の手段であってもよい。
【０１４２】
また、図１４においては、CPU４３は、制御回路３１と演算処理回路３４から構成されるとして説明したが、図１４の構成の一部について、CPU４３、ユーザインターフェース３２、メモリ３５、及びモニタ３６から構成されるパーソナルコンピュータであると捉えることもできる。その場合、パーソナルコンピュータは、モニタ３６に表示された画像を見ながら操作を行う操作者の指示にしたがって、レンズ駆動装置４２等を制御することになる。
【０１４３】
以上のように、本発明によれば、対物レンズの光軸に沿って、被検物を移動することなく、測定光軸方向での広い範囲の測定を高精度に行うことができる。
【０１４４】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、記録媒体からインストールされる。
【０１４５】
この記録媒体は、コンピュータとは別に、利用者にプログラムを提供するために配布される、プログラムが記録されている磁気ディスク、光ディスク、光磁気ディスク、若しくは半導体メモリ等により構成されるだけでなく、コンピュータに予め組み込まれた状態で利用者に提供される、プログラムが記録されているハードディスクドライブやROM（Read Only Memory）等で構成される。
【０１４６】
また、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデム等のインターフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。
【０１４７】
なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１４８】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１４９】
【図１】本発明を適用した光学系の概要を説明する図である。
【図２】光学系のさらに詳細な構成について説明する図である。
【図３】ある１つのＭＬから見た像が、同じ方向からの光線で構成された、方向別に見た像であることを示す図である。
【図４】対物レンズとMLAでの光線の追跡結果を示す図である。
【図５】MLAで結像された撮像素子面における画素配列を示す図である。
【図６】MLAを対物レンズの結像面とした場合（Ｚ＝０）の構成の例を示す図である。
【図７】MLAを対物レンズの結像面とした場合（Ｚ＝ｈ1）の構成の例を示す図である。
【図８】全焦点画像の例を示す図である。
【図９】画像群のフーリエ変換法を用いた信号処理の流れを示す図である。
【図１０】サンプリング点のエッジの傾き成分をグラフ化した図である。
【図１１】本発明を適用した形状測定装置の一実施の形態の構成を示す図である。
【図１２】３次元形状測定処理について説明するフローチャートである。
【図１３】レンズ位置と物体位置との関係を示す図である。
【図１４】本発明を適用した形状測定装置の一実施の形態の他の構成を示す図である。
【符号の説明】
【０１５０】
１１ 対物レンズ， １２ MLA， １３ 撮像素子， ３１ 制御回路， ３２ ユーザインターフェース， ３３ 駆動回路， ３４ 演算処理回路， ３５ メモリ， ４１ 測定センサ系， ４２ レンズ駆動装置， ４３ CPU， ＭＬ マイクロレンズ， ＦＬ フィールドレンズ
【特許請求の範囲】
【請求項１】
対物レンズと、
前記対物レンズの背後に２次元に配列された複数のレンズを有する光学素子と、
前記光学素子の背後に配置された２次元の撮像素子と、
前記対物レンズを光軸方向へ移動させるレンズ移動手段と、
前記撮像素子の出力から複数の測定画像を生成する画像形成手段と、
前記複数のレンズの各々に対応する前記撮像素子の撮像領域を構成する画素のうち、前記対物レンズの主光線と交わる位置にある画素から得られる基準画像を、前記測定画像の補正情報として用いて被検物の形状を測定する形状測定手段と
を備えることを特徴とする形状測定装置。
【請求項２】
前記形状測定手段は、前記形状の測定の前提として、前記被検物の各測定点までの距離情報を求め、
前記形状測定手段により測定された距離情報に基づいて、前記被検物に焦点が合うように前記レンズ移動手段を制御する制御手段をさらに備える
ことを特徴とする請求項１に記載の形状測定装置。
【請求項３】
前記距離情報は、前記基準画像を前記測定画像の補正情報として用いることで得られる前記対物レンズから前記被検物までの距離に関する情報である
ことを特徴とする請求項２に記載の形状測定装置。
【請求項４】
前記レンズ移動手段によって前記対物レンズを所定の間隔ごとにステップ移動させ、前記対物レンズが停止するごとに、前記画像形成手段に前記測定画像の生成を指示する制御手段をさらに備える
ことを特徴とする請求項１に記載の形状測定装置。
【請求項５】
前記ステップ移動の間隔は、前記被検物までの距離に応じて変化する測定感度が所定の範囲となるように定められる
ことを特徴とする請求項４に記載の形状測定装置。
【請求項１】
対物レンズと、
前記対物レンズの背後に２次元に配列された複数のレンズを有する光学素子と、
前記光学素子の背後に配置された２次元の撮像素子と、
前記対物レンズを光軸方向へ移動させるレンズ移動手段と、
前記撮像素子の出力から複数の測定画像を生成する画像形成手段と、
前記複数のレンズの各々に対応する前記撮像素子の撮像領域を構成する画素のうち、前記対物レンズの主光線と交わる位置にある画素から得られる基準画像を、前記測定画像の補正情報として用いて被検物の形状を測定する形状測定手段と
を備えることを特徴とする形状測定装置。
【請求項２】
前記形状測定手段は、前記形状の測定の前提として、前記被検物の各測定点までの距離情報を求め、
前記形状測定手段により測定された距離情報に基づいて、前記被検物に焦点が合うように前記レンズ移動手段を制御する制御手段をさらに備える
ことを特徴とする請求項１に記載の形状測定装置。
【請求項３】
前記距離情報は、前記基準画像を前記測定画像の補正情報として用いることで得られる前記対物レンズから前記被検物までの距離に関する情報である
ことを特徴とする請求項２に記載の形状測定装置。
【請求項４】
前記レンズ移動手段によって前記対物レンズを所定の間隔ごとにステップ移動させ、前記対物レンズが停止するごとに、前記画像形成手段に前記測定画像の生成を指示する制御手段をさらに備える
ことを特徴とする請求項１に記載の形状測定装置。
【請求項５】
前記ステップ移動の間隔は、前記被検物までの距離に応じて変化する測定感度が所定の範囲となるように定められる
ことを特徴とする請求項４に記載の形状測定装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１０−６６１５５（Ｐ２０１０−６６１５５Ａ）
【公開日】平成２２年３月２５日（２０１０．３．２５）
【国際特許分類】
【出願番号】特願２００８−２３３４９４（Ｐ２００８−２３３４９４）
【出願日】平成２０年９月１１日（２００８．９．１１）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２２年３月２５日（２０１０．３．２５）
【国際特許分類】
【出願日】平成２０年９月１１日（２００８．９．１１）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]