距離測定装置
【課題】精度の高い計測を、迅速かつ簡易に行うことができるようにする。
【解決手段】MLA１２は、レンズ１１の瞳面に２次元状に配置され、撮像素子１３は、２次元状に配置された光電変換機能を有する複数の画素からなり、MLA１２の各ＭＬの各々の後側であって、被検物と共役となる位置に配置される。演算処理回路３４は、MLA１２の各ＭＬの各々により結像された像を、撮像素子１３により撮像することで得られるそれぞれが異なる視点となる複数の画像において、それぞれの画像内の注目している特徴点ごとに視差を演算し、それらの視差から被検物の奥行きに関する情報を求める。本発明は、被検物を計測する距離測定装置に適用できる。
【解決手段】MLA１２は、レンズ１１の瞳面に２次元状に配置され、撮像素子１３は、２次元状に配置された光電変換機能を有する複数の画素からなり、MLA１２の各ＭＬの各々の後側であって、被検物と共役となる位置に配置される。演算処理回路３４は、MLA１２の各ＭＬの各々により結像された像を、撮像素子１３により撮像することで得られるそれぞれが異なる視点となる複数の画像において、それぞれの画像内の注目している特徴点ごとに視差を演算し、それらの視差から被検物の奥行きに関する情報を求める。本発明は、被検物を計測する距離測定装置に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、距離測定装置に関し、精度の高い計測を、迅速かつ簡易に行うことができるようにした距離測定装置に関する。
【背景技術】
【０００２】
従来より、３次元計測方法として、３角測量を用いたステレオカメラや、レーザスリット光を用いた光切断法などの計測方法が広く知られている。
【０００３】
ステレオカメラ計測に関する技術としては、例えば、特許文献１が知られている。特許文献１には、計測対象となる物体のステレオ画像から、その物体の任意の点の３次元位置を計測する方法が記載されている。
【０００４】
また、画像のボケ（ピントのずれ）に関する情報から形状などを計測する方法である画像フォーカス法を計測に応用した技術として、SFF（Shape From Focus）又はDFF（Depth From Focus）といったものがある。SFFに関する技術としては、例えば、特許文献２が知られている。
【特許文献１】特開平９−１２６７３８号公報
【特許文献２】特開平９−２６３１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示されているステレオカメラ法においては、２台のカメラの正確な位置合わせや、画像からの対応点の検索の難しさ、さらには、いわゆるオクルージョンと称される、片方のカメラから隠れて見えないところが出てくるといった問題がある。また、光切断法では、精度のよい計測はできるものの、コストがかかる上、動くものの計測は困難であるという問題がある。
【０００６】
また、特許文献２などのSFFを採用した場合、焦点位置をＺ方向に少しずつずらしながら、最もピントの合ったＺ位置の画像を見つける必要があるため、レンズや被検物を機構的にステップ移動させるので、やはり計測に時間がかかるという問題がある。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、精度の高い計測を、迅速かつ簡易に行うことができるようにするものである。
【課題を解決するための手段】
【０００８】
本発明の距離測定装置は、被検物を結像する結像レンズと、結像レンズの瞳面又は瞳共役面に配置され、２次元状に配列された複数のレンズからなる光学素子と、光学素子の背後に配置され、結像レンズによる被検物像を撮像する２次元の撮像素子と、撮像素子の出力に基づいて、被検物表面までの距離情報を求める演算手段とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、精度の高い計測を、迅速かつ簡易に行うことができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照しながら本発明の実施の形態について説明する。
【００１１】
ところで、先述した画像フォーカス法の中の１つの技術として、MLA（Micro Lens Array：マイクロレンズアレイ）と呼ばれる多数のレンズの集合体と、CCD（Charge Coupled Device）などの高解像撮像素子とを用いた撮像を行った後、それにより得られた画像信号を処理し、ピントを合わせ直すという技術がある。これは、MLAによって光の強度と方向の情報を画素ごとに記録し、デジタル信号処理により画像信号を再構成して、フォーカス位置（奥行き）を合わせ直すという意味で、リフォーカス（Refocus）とも言われており、従来のアナログ処理では得られない機能として注目されている。
【００１２】
このリフォーカス技術を採用する場合、３次元計測手法では、先ずフォーカス面の違う多数の画像を用意する必要が出てくる。撮像面での光信号は、様々な方向からの光線の信号が並んでおり、これをデジタル処理で加算処理や並び替えなどを行って再構成することで、はじめてフォーカスの違う画像を得ることができる。すなわち、撮像素子の生信号のままでは、計測を行うことはできない。
【００１３】
これに対して、複数台の撮像系（カメラ）を用いて、視差から距離を計測するステレオカメラの方式では、撮像した生画像から対応点を検出して注目点での視差を求めればよく、計測に要する時間を短縮できる。
【００１４】
そこで、本発明では、この原理を利用して、多数の焦点ボケの画像からではなく、視差から距離を求める。このため、本実施の形態においては、MLAの位置を像面ではなく、レンズの瞳面に置き、さらに、物体（被検物）と共役の結像面に撮像素子を置く構成をとる。これによって、物体の各点からの光線に対して、像面で結像する信号を直接得るとともに、光線の方向別の画像を得ることができる。
【００１５】
以下、かかる原理の詳細について、図１ないし図１１を参照して説明する。
【００１６】
図１は、本発明を適用した光学系の概要を説明する図である。
【００１７】
光学系は、図１に示すように、レンズ１１、MLA１２、及び撮像素子１３を含むようにして構成される。
【００１８】
図１に示すように、レンズ１１の瞳面には、MLA１２が設けられ、さらに、MLA１２の後側には、被検物としての物体面Ｐと共役な位置関係となるように、撮像素子１３が配置される。
【００１９】
MLA１２は、図２の上面図で示すように、例えば７×７個などの、複数のＭＬ（Micro Lens：マイクロレンズ）を２次元状に並べてなる光学素子である。ここで、MLA（Micro Lens Array：マイクロレンズアレイ）とは、レンズレットとも呼ばれる、微小レンズ（上記のＭＬに相当する）を２次元的に配列したものである。図１には、複数のＭＬからなるMLA１２の一部としての、ＭＬa，ＭＬb，ＭＬcの３つのＭＬが図示されている。
【００２０】
なお、図２においては、円形のレンズを図示しているが、勿論、他の形状であってもよく、例えば、レンズの形は四角形とすることができる。また、図２では、ＭＬの縦方向と横方向の数は、それぞれ７個となっているが、これらの数は、撮像素子１３により撮像される画像データに必要な分解能に応じて適宜設定される。
【００２１】
図１に戻り、撮像素子１３は、例えば、CCD（Charge Coupled Device）センサやCMOS（Complementary Metal Oxide Semiconductor）センサなどであり、MLA１２の各ＭＬを通過した光を受光する所定の画素配列を、ＭＬに対応した配置パターンで配置してなる。ここで、画素配列は、光電変換素子受光部の開口がそのまま、画素を形成する場合は勿論、各光電変換素子上に集光用のマイクロレンズを設け、このマイクロレンズの開口が画素を形成する場合がある。なお、画素配列の縦方向と横方向の画素数は、例えば７×７個などの、個々のＭＬを個別に透過した部分光束を個別に受けられるように、適宜設定される。
【００２２】
図１において、物体面上のＰ１からからの光線には、光軸と平行方向の光（実線）として、レンズ１１を通過後、ＭＬbによって撮像面上のＰ１bに結像される光線群（実線）や、ＭＬcによって撮像面上のＰ１cに結像される光線群（点線）などがある。このようにして、レンズ１１の瞳面に配置されたMLA１２の各ＭＬが、撮像面にそれぞれ独立に物体の像を結ぶ。すなわち、撮像面上のＰ１bの信号と、Ｐ１cの信号とは、物体面Ｐの同じＰ１からの、異なる角度で出てきた光線の信号強度である。
【００２３】
同様に、物体面上のＰ２からの光線には、一点差線で示される方向にＭＬaによって撮像面上のＰ２aに結像される光線、実線の平行方向にＭＬbによって撮像面上のＰ２bに結像される光線、及び点線の方向にＭＬcによって撮像面上のＰ２cに結像される光線が示されている。また、Ｐ３からの光線には、Ｐ２からの光線と同様に、一点差線で示される方向にＭＬaによって撮像面上のＰ３aに結像される光線、実線の平行方向にＭＬbによって撮像面上のＰ３bに結像される光線、及び点線の方向にＭＬcによって撮像面上のＰ３cに結像される光線が示されている。
【００２４】
ここで、図１において、仮に、レンズ１１だけの通常の結像系であったとすると、例えば、Ｐ２の位置ならば、上記のＰ２a，Ｐ２b，Ｐ２cなどのあらゆる角度からの光線強度が加算された画素信号が得られる。逆に言えば、図１の光学系では、これらの光線を方向別に選別して捉えることができる構成となっている。
【００２５】
図３は、各ＭＬにより結像された像の例を示す図である。
【００２６】
図３に示すように、図中左側の被検物は、MLA１２の各ＭＬにより結像されることで、図中右側に示す像のようになる。つまり、図２のMLA１２は、７×７個のＭＬからなるので、それらのＭＬのそれぞれにより結像して得られた像が、図３の右側の７×７個の像である。ここで、それらの像であるが、ある１つのＭＬから見た像が、同じ方向からの光線で構成された、方向別に見た像となる。例えば、図３の例の場合、７×７個のＭＬにより、それぞれ異なる角度からの像が結像され、それらの像が撮像素子１３によって撮像される。
【００２７】
すなわち、ＭＬごとに異なる角度からの画像となるので、ＭＬの数だけ異なる角度からの画像を取得できる。例えば、図１に示すように、物体面Ｐ（Ｐ１，Ｐ２，Ｐ３）からの実線や点線で描かれたような特定の角度で出てきた光線は、ＭＬa，ＭＬb，ＭＬcなどの、それぞれMLA１２の中の特定のＭＬで結像されることになる。
【００２８】
かかる光線の様子を詳しく描くと、図４のようになる。すなわち、図４に示すように、実線で示す方向の光線がMLA１２の上から２番目のＭＬで結像され、点線で示す方向の光線が上から５番目のＭＬで結像されるとすると、それらのＭＬにより結像される像は、レンズ１１に入射する光線の入射角からも明らかなように、異なる角度からの方向別に見たものとなる。
【００２９】
より具体的な例を示すと、図５のようになる。すなわち、図５ｂに示すように、レンズ１１に対して垂直に入ってくる中央部のＭＬの光線は、被検物を正面から捕らえたものとなる。それに対して、図５ａ，図５ｃは、レンズ１１の端のほうに位置するＭＬによる像で、被検物を斜め端から見た画像となる。
【００３０】
ここで、レンズ１１の瞳面は、各ＭＬの口径の大きさに分割され、それぞれのＭＬが同じ物体像を結ぶ。また、端の方のＭＬでの像は、周辺でけられ（物体の見えない所）が発生し、端の方の視野の一部は遮られるが、基本的には、各ＭＬによる像は、物体面Ｐと共役な位置で異なる角度から見た像となる。
【００３１】
なお、Ｎ個の各MLA像のＮＡ（開き角）は、各ＭＬの口径で決まる開口で1/Ｎに縮小される。つまり、各ＭＬの像は、結像側からの見込み角度が小さく、光量は少なくなるが、被写界深度（焦点深度）は非常に深くなる。したがって、物体側の奥行きに関係なく、ほとんど焦点の合った像となる。
【００３２】
また、物体（被検物）の像は、物体面Ｐと共役な撮像素子１３上において、ＭＬの小領域ごとに結像される。例えば、上述した、図１においては、レンズ１１を通過した後の各ＭＬに入る光束で、主光線の傾きが異なる光束が、物体面Ｐで異なる位置からの光線となっている。そして、Ｐ面上の各点、Ｐ１，Ｐ２，Ｐ３は、それぞれ、ＭＬa，ＭＬb，ＭＬcによって、それぞれの領域で撮像面上に結像される。
【００３３】
ちなみに、通常のレンズ結像された像は、これらの各ＭＬ像内の画素から、物体面Ｐの同じ点からの光線に対応させて画素信号を集め、デジタル加算することで得られる。言い換えれば、違う方向から見たＭＬ画像の中で、同じ物点からの画素の信号を、それぞれ足し合わせて再構成すれば、通常の画像となる。
【００３４】
そして、像面にある撮像素子１３は、物体からの光線をMLA１２のＭＬの数だけ異なる角度別に画素単位で検出する。具体的には、MLA１２の後面で、撮像素子１３の受光面上に結像された、ＭＬの数だけ存在する異なる方向から見た画像群を得る。そして、後述する後段の回路によって、取得した画像群の画像信号をそのまま用いて、計測処理が行われる。すなわち、本実施の形態においては、レンズ１１で結像されたピント面（被検物と共役）にMLA１２を置くことで、物体からの光線をさらに細かく分割して撮像し、その各分割領域内で、光線の方向別に画像信号を検出する。
【００３５】
ここで、撮像素子１３が十分な画素数を有していれば、これらの画像から得られる光線情報は、物体からのすべての光線について、結像位置での強度だけでなく、光線１本ずつ、その方向を検出できる。すなわち、通常の光学系からの画像では、物体からの軸上近傍の光と軸外光とがすべて集光された強度信号が得られるだけであるが、図１に示すような、MLA１２を用いた光学系では、光軸上でレンズ１１の中心を通る軸上の光線と、光軸に対して斜めに入射される軸外光線とを独立に検出できる。
【００３６】
一般に、軸外光線は、軸上よりもその収差が大きくなるため、両方の光線をすべて点に集めて結像させる通常の光学系では、収差補正光学系を追加しなければ、光学視野の周辺（軸外）のボケ量は増加する。しかし、本実施の形態のように、それぞれの方向の光線を独立に検出すれば、ボケがなく、レンズ１１の光軸に対して異なる角度で入射される多数（ＭＬの数）のピントの合った画像を同時に取得できる。これらの画像は、被検物を別々の異なる方向から撮像した画像となる。したがって、異なる位置のカメラ画像間でのステレオ処理と同様に、異なる画像で、それぞれの画像内の注目している特徴点（注目画素）ごとに、視差を求めれば、３画測量の原理を用いて、各位置での奥行きに関する情報が得られ、３次元の計測ができる。この場合、基本的には、２つの画像から距離を算出するステレオ処理と違って、多数の方向の画像から視差が得られるので、精度が向上されると共に、いわゆる、オクルージョン（見えない箇所）の影響も回避できる。
【００３７】
次に、具体的な３次元計測として、被検物の奥行きに関する情報を画像から得る具体的な手法について述べる。
【００３８】
ここで、ステレオカメラ計測とは、２台のカメラを基線長で定義される距離Ｂだけ離して撮像した画像の中で、対応する被検物の特徴点を抽出し、同じ特徴点の視差を求めて、３画測量の原理を用いて奥行きＺを求める手法である。図６に示すように、カメラ１，２の対によって、実空間上の座標（Ｘ，Ｙ，Ｚ）にある同一の点Ｐを撮像している場合について考えると、Ｐはカメラ１の受光素子上の座標p1（x1，y1）に射影され、同様にＰは、カメラ２の受光素子上の座標p2（x2，y2）に射影されるものとする。すると、幾何的点Ｐの座標（Ｘ，Ｙ，Ｚ）と、カメラ１，２の受光素子上の点Ｐの射影の座標p1（x1，y1），p2（x2，y2）は、下記の式で表わされる。
【００３９】
Ｘ＝x1×Ｂ／ｄ ・・・（１）
Ｙ＝y1×Ｂ／ｄ ・・・（２）
Ｚ＝f×Ｂ／ｄ ・・・（３）
【００４０】
ただし、式（１）ないし式（３）においては、ｄ＝x1−x2である。
【００４１】
このように、カメラ１とカメラ２で得られた２枚の画像上で同一の物体のｘ座標のずれを用いれば、物体までのＺ座標を求めることができる。したがって、このようなずれ、すなわち、視差を求めれば、物体までのＺ座標を算出することができる。本実施の形態においては、ＭＬの数に応じたＮ枚の異なる視点の画像が撮られているので、それらの画像を用いて、はるかに多くの組み合わせから視差情報が得られる。
【００４２】
視差を求めるための画像の組み合わせであるが、例えば、図５ａに示すMLA１２の端の方に位置するＭＬによる像と、図５ｂに示すMLA１２の中央部のＭＬによる像とを比較したり、図５ａと図５ｃの両端からの画像で比較を行ってもよい。なお、例えばMLA１２の両端のＭＬを用いるなど、互いに離れた位置にあるＭＬにより結像された像の画像を使うことで、より高い精度でＺ方向を求めることが可能となる。
【００４３】
また、ステレオカメラ計測においては、オクルージョンと称される死角（片方のカメラからは見えない隠れ点が存在する）の問題を生じることがあるが、本実施の形態においては、あらゆる方向から検出を行うことになるので、かかる問題をほぼ解決することができる。
【００４４】
図７は、図３の右側の７×７個の像に対応する複数の画像の中から、典型的な、中央と、左右、上下の５枚の画像を選択したときの例を示している。この場合において、仮に、左右の像からでは、隠れて見えない特徴点が存在していたとしても、それ以外の上下の画像においてその点が見えれば、その点は、上下の画像によりステレオ計測される。
【００４５】
そして、この例の場合には、図７の５枚の画像の中で、注目している特徴点（注目画素）の検出が行われる。例えば、ここでは、人間の形をした記号と、三角と四角からなる物体のカメラまでの距離が異なると仮定して、画像上でのそれらの距離（位置の差）を、左右方向はｄ0，ｄ1，ｄ2で表わし、上下方向はｓ0，ｓ1，ｓ2で表わす。このように定義することで、視差は、ｄ1−ｄ0，ｄ2−ｄ0，ｓ1−ｓ0，ｓ2−ｓ0で求まり、これらは、いずれも同じ物体間の視差であるため、原理的に一致するはずである。しかし実際には、計測誤差などでばらつく可能性が高いため、本実施の形態においては、これらの平均値を取ることで、そのばらつきを低減して計測精度を向上させることもできる。
【００４６】
なお、本実施の形態においては、中央と、左右、上下の５枚の画像を使った例について説明したが、距離を計測するための視差を求める画像は、上述した原理からして最低２枚あればよく、また、MLA１２全体の数で行ってその平均値を用いてもよい。
【００４７】
また、かかる手法により、特徴点の位置（座標）を求める場合、元の画像が、レンズの歪み（ディストーション）などの光学収差によって歪んでいる場合も考えられるが、以下のようにして、その影響を回避して計測することができる。
【００４８】
一般に、レンズ１１は、多群構成の設計で収差補正がなされた光学系を使って実際の収差量を低減することは困難でないが、MLA１２については、ＭＬとして非球面レンズにするとしても、多群構成のレンズ１１のように、あらゆる幾何収差補正を施すことは容易ではない。したがって、レンズ１１及びMLA１２の両方を合わせた収差の補正が必要となる。
【００４９】
そこで、次に、かかる収差の補正について説明する。
【００５０】
レンズ収差として、球面収差や色収差は、像のボケ量に寄与するので、結像位置の計測精度には影響するが、像高（レンズ面内の位置）に対しては不変であるので、位置ずれに直接は影響しない。位置のずれに直接影響するのは、歪みと倍率色収差である。コマ収差、非点収差、像面湾曲は、像高によってボケ量が変わる（像の端に行くほどボケが大きくなる）が、先述した通り、これは通常の光学系では、多くの角度からの光線を足し合わせた信号強度となって画素が構成されているためで、本実施の形態の光学系では、MLA１２によって瞳面を細かく分割し、それぞれのＭＬでは限られた像高（角度）からの光線となるので、像高によるボケ量の差は小さくなり、位置ずれだけとなって寄与する。
【００５１】
ただし、非点収差と像面湾曲は、像高とＸＹ平面内によって、最良焦点の位置がずれるので、撮像するときの焦点の平面では、ボケの要因となる。
【００５２】
図８は、収差の補正について説明する図である。
【００５３】
図８において、ａは、カリブレーション用のチャートを示しており、ｂは、格子状のａのチャートを本実施の形態のシステムで撮像したときのイメージ図を表わしている。ここでは、格子状のパターンを示しているが、縦横に配列した点（スポット）の配列であってもよい。
【００５４】
本実施の形態では、このチャートを各ＭＬで撮像した画像が取得され、元のチャートからのずれ量が計測される。そして、各ＭＬすべてについて、座標位置とその（Ｘ，Ｙ）のずれ量を表わす補正テーブルが作成される。図８のｃは、この像から実際に歪みを計測した結果のイメージ図であって、図中右上と左下の矢印が、ある位置での収差によるずれ量を表わしている。これにより、レンズ１１とMLA１２を合わせたそのシステムの光学系の収差を知ることができる。
【００５５】
そして、実際の３次元計測においては、図７を参照して説明した方法で、MLA１２からの画像で視差を計算するときに、そのＭＬの補正テーブルを使って、特徴点の座標位置を補正する。これによって、収差に影響されない正確な計測が可能となる。
【００５６】
次に、図９ないし図１１を参照して、被検物の各点の奥行き（距離）Ｚを求める具体的な手法について説明する。
【００５７】
本実施の形態では、図７を参照して説明したように、ある特徴点を異なるＭＬから見た像は、奥行きＺに応じた視差を持つので、被検物の特徴点を検出し、複数のＭＬの画像信号からその特徴点の視差、すなわち、位置ずれを求める。
【００５８】
図９において、MLA１２は、レンズ１１の焦点距離ｆの位置に配置されており、物体側で距離ｆの物点からの光線は、ＭＬ上で平行光線となる。また、軸上の物点からの光は、ＭＬ上で垂直な光線となる。
【００５９】
なお、図９に示すように、撮像素子１３は、ＭＬの焦点位置に配置され、いわゆる像側テレセントリックな構成としているため、かかる構成を採用することで、仮に、像側の焦点がずれても、結像点検出の座標位置が変わらないというメリットがあるが、必ずしもこの構成である必要はない。
【００６０】
図１０は、CCDなどからなる撮像素子１３から得られる画像信号の波形例を示しており、図９のＭＬa，ＭＬb，ＭＬcの３つのＭＬ領域のそれぞれで下側から上側に向かって１次元の方向で見たときの信号を表わしている。なお、図１０において、各画像信号の波形は、図中上にいくほど、信号強度が高くなることを意味する。
【００６１】
図９の各種の線で示す光線をたどれば分かるように、物体側の面Ｚ0上にある特徴点Ａ0，Ｂ0の光は、それぞれ、ＭＬa上では、Ｍａ0，Ｍａ1、ＭＬb上では、Ｍｂ0，Ｍｂ1、ＭＬc上では、Ｍｃ0，Ｍｃ1の位置で結像される。図１０の画像信号は、離散的にサンプリングされたデジタル信号であるが、特徴点からの信号強度のピーク位置は、デジタル信号処理によって、各ＭＬ領域で正確に検出することができる。なお、ここでは、特徴点の位置は、信号のピーク点であることを仮定している。
【００６２】
具体的な演算方法としては、例えば、平滑化デジタル微分（差分処理）を行って、信号が０になるＸ軸との交点（ゼロクロス位置）を補間処理によって求めることで、ピーク位置を小数点以下までの実数で算出する。また、特徴点は、ピーク信号ではなく、エッジ信号（傾斜波形）から求めてもよく、その場合は、その最大傾斜点、すなわち、微分信号値のピーク位置（２階微分した信号のゼロクロス点）を捉えることで同様に求められる。
【００６３】
このようにして、Ｚ0面上の物点Ａ0，Ｂ0の位置に対応する各ＭＬでのＭａ0，Ｍａ1、Ｍｂ0，Ｍｂ1、Ｍｃ0，Ｍｃ1の座標位置が求まる。すなわち、図１０のＭＬa，ＭＬb，ＭＬcのそれぞれの上側に示す画像信号の波形から求められるピーク位置が特徴点の位置となる。また、図９に示すように、ここでは、Ｚ0面が焦点距離ｆの位置に設定されているので、特徴点Ａ0，Ｂ0からの光線は、像側撮像面に垂直に入射し、撮像素子１３のそれぞれのＭＬ領域内での中心位置となる。
【００６４】
次に、この２つの物点が、特徴点Ａ1，Ｂ1として、異なる位置Ｚ1面上にあるとすると、像面では、それぞれ、ＭＬa上では、Ｍａ2，Ｍａ3、ＭＬb上では、Ｍｂ0，Ｍｂ1、ＭＬc上では、Ｍｃ2，Ｍｃ3の位置で、特徴点Ａ1，Ｂ1からの光線が結像される。このとき、撮像素子１３からの画像信号は、図１０のＭＬa，ＭＬb，ＭＬcのそれぞれの下側に示す画像信号の波形のようになり、上記の場合と同様の処理により、ピーク位置を算出し、それぞれの正確な座標が求められる。
【００６５】
そして、図１０のＭＬa，ＭＬb，ＭＬcのそれぞれの上側の波形と下側の波形から特徴点の座標位置が求まり、同じ特徴点に対応するピークの座標位置の差が、距離Ｚに対する視差となる。
【００６６】
ここで分かる通り、光軸上となるＭＬbでは、奥行きに対して不変であるため、視差は得られない。一方、光軸から遠いＭＬ（端に近い）ほど、大きな視差が得られる。本実施の形態では、視差の大きさからＺを求めるので、大きいほど計測精度の点で有利となる。ここでは、図１０に示すように、上下で対称なＭＬaとＭＬcとから、物点Ａの視差として、ｄＡ1及びｄＡ2が得られる。同様に、物点Ｂの視差として、ｄＢ1及びｄＢ2が得られる。ここで、ＭＬaとＭＬcとは、光軸から同じ距離の位置にあり、同じ物点の視差なので、理論的には、ｄＡ1＝ｄＡ2，ｄＢ1＝ｄＢ2となる。
【００６７】
実際には、それぞれの計測平均値、（ｄＡ1＋ｄＡ2）／２，（ｄＢ1＋ｄＢ2）／２を視差として用いれば、精度が向上する。
【００６８】
また、ここでは図示していないが、MLA１２は、２次元に配列されており、紙面と垂直方向のＭＬからも、同様の視差データが得られる。MLA１２の配列が正方配列の場合、光軸から等距離となる４つのＭＬでの視差データが得られる。したがって、それらの４つのデータを平均化することによって、計測精度は更に向上する。
【００６９】
図１１は、幾何光学の原理により、この視差ｄから奥行きＺ1を求めるための関係を示したものである。なお、図１１において、物体側の面Ｚ0は、焦点距離ｆの位置となる。
【００７０】
ここで、視差ｄ、奥行き距離Ｚ1と、光学系のパラメータとの関係は、次のようになる。
【００７１】
１／Ｚ1＝１／ｆ−１／ａ ・・・（４）
【００７２】
Ｎｐ／（ａ−ｆ）＝ｄ／Ｌ ・・・（５）
【００７３】
また、ａは、図１１に示すように、レンズ１１の主面から像側結像点までの距離、ＮｐはＭＬの中心線の光軸からの距離、ＬはMLA１２と撮像素子１３までの距離を表わしている。そして、これらの関係により、距離Ｚは、下記の式（６）で求められる。
【００７４】
Ｚ＝Ｚ1−ｆ＝ｄｆ2／ＮｐＬ ・・・（６）
【００７５】
そして、被検物のすべての特徴点において、同様の処理を行うことにより、３次元計測が達成されることになる。
【００７６】
以上のような原理で、被検物の各点の奥行きＺを求めることができる。
【００７７】
次に、かかる原理を用いて、被検物の各点の奥行きＺを求める、３次元計測装置の構成について、図１２を参照して説明する。なお、本実施の形態において、図１２の３次元計測装置は、被検物表面までの距離情報として、被検物の各点の奥行きＺを演算するものであって、距離測定装置の一例であると言える。
【００７８】
図１２に示すように、３次元計測装置は、レンズ１１、MLA１２、撮像素子１３、制御回路３１、ユーザインターフェース３２、演算処理回路３４、及び、メモリ３５を含むようにして構成される。なお、図１２において、レンズ１１ないし撮像素子１３は、図１等のレンズ１１ないし撮像素子１３に対応しており、説明が繰り返しになる箇所については、その説明を省略する。
【００７９】
制御回路３１は、ユーザインターフェース３２を介してユーザから入力された指示にしたがって、駆動回路３３、演算処理回路３４、及びメモリ３５の制御を行う。
【００８０】
駆動回路３３は、撮像素子１３を駆動する。また、駆動回路３３は、撮像素子１３からの画像信号を、演算処理回路３４に出力する。
【００８１】
演算処理回路３４は、駆動回路３３からの画像信号に基づいて、所定の演算処理を行う。そして、演算処理回路３４は、演算結果をメモリ３５に格納する。
【００８２】
ここで、演算処理回路３４によって行われる演算処理であるが、MLA１２のＭＬの各々により結像された像を、撮像素子１３により撮像することで得られるそれぞれが異なる視点となる複数の画像において、それぞれの画像内の注目している特徴点ごとに視差を演算し、それらの視差から被検物の各点における奥行きに関する情報を求める処理となる。ただし、かかる処理の詳細については、ここでは省略し、後述する図１３の演算処理回路３４の動作の説明の際に併せて説明することにする。
【００８３】
以上のようにして、３次元計測装置は構成される。
【００８４】
次に、図１３のフローチャートを参照して、図１２の演算処理回路３４により行われる奥行きＺの演算処理について説明する。
【００８５】
演算処理回路３４は、ステップＳ１１において、駆動回路３３を介して撮像素子１３から供給される画像信号を取得し、ステップＳ１２において、その画像信号に対応する画像の特定の特徴点の位置（座標）を求める。例えば、演算処理回路３４によって、撮像素子１３からの画像信号に対応する複数の画像のうち、図７に示すような、中央と左右、上下の５枚の画像における、人間の形をした記号、三角、四角からなる物体に対応する画素の位置が特徴点として求められる。
【００８６】
ステップＳ１３において、演算処理回路３４は、図８で説明した補正テーブルを用いて、特徴点の位置を補正する。これにより、光学系の収差に影響されない正確な計測が可能となる。
【００８７】
ステップＳ１４において、演算処理回路３４は、例えば、図７における、ｄ1−ｄ0，ｄ2−ｄ0，ｓ1−ｓ0，ｓ2−ｓ0などで求められる視差を演算する。なお、かかる視差の求め方の具体的な方法は、上述した図９ないし図１１を参照して説明した通りである。
【００８８】
ステップＳ１５において、演算処理回路３４は、例えば、あらかじめ求められている光学パラメータと、ステップＳ１４の処理で求めた視差ｄを用いて、上記の式（６）を演算することで、奥行き距離Ｚを求め、奥行き演算処理は終了する。
【００８９】
その後、被検物のすべての特徴点で、同様の処理を繰り返すことで、３次元の計測が行われる。
【００９０】
以上のように、本発明によれば、レンズの瞳面に置いたMLAとその後面の撮像系により、各ＭＬ領域で多数の視点から画像を得て、それらから被検物の特徴点の視差を検出することで、広い範囲での精度の高い計測を、迅速かつ簡易に行うことができる。
【００９１】
その結果、広い範囲で、高い精度で、簡易に３次元の形状や変位をリアルタイムで計測できるシステムを実現することが可能となる。すなわち、例えば、１台の撮像装置で、１回の撮像で簡便に被検物の３次元の画像情報を得て、被検物の３次元形状や物体までの距離や奥行き、又は、その変位量を３次元情報として検出する方法、装置、センサ、画像入力機器、あるいは、デジタル機器を提案することが可能となる。
【００９２】
ところで、従来のリフォーカス技術においては、多数のフォーカス面の画像を取得し、複雑なデジタル画像処理により奥行きの計測を行うため、高速な、あるいはリアルタイムでの計測は困難であった。また、一般的に、画像フォーカス法では焦点ボケを利用するので、精度を出すためには焦点深度を深くする必要があるが、そうすると計測できる範囲が狭まるというジレンマを抱えており、本質的に広い範囲で精度の高い計測を行うのは困難であった。そこで、これらの問題を解決するために、本実施の形態に示す構成を採用することで、広い範囲での精度の高い計測を、迅速かつ簡易に行うことが可能となる。
【００９３】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、記録媒体からインストールされる。
【００９４】
この記録媒体は、コンピュータとは別に、利用者にプログラムを提供するために配布される、プログラムが記録されている磁気ディスク、光ディスク、光磁気ディスク、若しくは半導体メモリ等により構成されるだけでなく、コンピュータに予め組み込まれた状態で利用者に提供される、プログラムが記録されているハードディスクドライブやROM（Read Only Memory）等で構成される。
【００９５】
また、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデム等のインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。
【００９６】
なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００９７】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【００９８】
さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【００９９】
【図１】本発明を適用した光学系の概要を説明する図である。
【図２】MLAの上面図である。
【図３】各ＭＬにより結像された像を示す図である。
【図４】物体面からの光線の様子を示す図である。
【図５】物体面からの光線の様子を示す図である。
【図６】ステレオカメラ計測の例を示す図である。
【図７】視差の求め方を説明するための図である。
【図８】収差の補正について説明するための図である。
【図９】被検物の各点の奥行きを求める手法を説明するための図である。
【図１０】映像信号波形の例を示す図である。
【図１１】幾何光学の原理を用いて、視差から奥行きを求める例を示す図である。
【図１２】本発明を適用した３次元計測装置の一実施の形態の構成を示す図である。
【図１３】奥行き演算処理について説明するフローチャートである。
【符号の説明】
【０１００】
１１ レンズ， １２ MLA， １３ 撮像素子， ３１ 制御回路， ３２ ユーザインターフェース， ３３ 駆動回路， ３４ 演算処理回路， ３５ メモリ
【技術分野】
【０００１】
本発明は、距離測定装置に関し、精度の高い計測を、迅速かつ簡易に行うことができるようにした距離測定装置に関する。
【背景技術】
【０００２】
従来より、３次元計測方法として、３角測量を用いたステレオカメラや、レーザスリット光を用いた光切断法などの計測方法が広く知られている。
【０００３】
ステレオカメラ計測に関する技術としては、例えば、特許文献１が知られている。特許文献１には、計測対象となる物体のステレオ画像から、その物体の任意の点の３次元位置を計測する方法が記載されている。
【０００４】
また、画像のボケ（ピントのずれ）に関する情報から形状などを計測する方法である画像フォーカス法を計測に応用した技術として、SFF（Shape From Focus）又はDFF（Depth From Focus）といったものがある。SFFに関する技術としては、例えば、特許文献２が知られている。
【特許文献１】特開平９−１２６７３８号公報
【特許文献２】特開平９−２６３１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示されているステレオカメラ法においては、２台のカメラの正確な位置合わせや、画像からの対応点の検索の難しさ、さらには、いわゆるオクルージョンと称される、片方のカメラから隠れて見えないところが出てくるといった問題がある。また、光切断法では、精度のよい計測はできるものの、コストがかかる上、動くものの計測は困難であるという問題がある。
【０００６】
また、特許文献２などのSFFを採用した場合、焦点位置をＺ方向に少しずつずらしながら、最もピントの合ったＺ位置の画像を見つける必要があるため、レンズや被検物を機構的にステップ移動させるので、やはり計測に時間がかかるという問題がある。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、精度の高い計測を、迅速かつ簡易に行うことができるようにするものである。
【課題を解決するための手段】
【０００８】
本発明の距離測定装置は、被検物を結像する結像レンズと、結像レンズの瞳面又は瞳共役面に配置され、２次元状に配列された複数のレンズからなる光学素子と、光学素子の背後に配置され、結像レンズによる被検物像を撮像する２次元の撮像素子と、撮像素子の出力に基づいて、被検物表面までの距離情報を求める演算手段とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、精度の高い計測を、迅速かつ簡易に行うことができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照しながら本発明の実施の形態について説明する。
【００１１】
ところで、先述した画像フォーカス法の中の１つの技術として、MLA（Micro Lens Array：マイクロレンズアレイ）と呼ばれる多数のレンズの集合体と、CCD（Charge Coupled Device）などの高解像撮像素子とを用いた撮像を行った後、それにより得られた画像信号を処理し、ピントを合わせ直すという技術がある。これは、MLAによって光の強度と方向の情報を画素ごとに記録し、デジタル信号処理により画像信号を再構成して、フォーカス位置（奥行き）を合わせ直すという意味で、リフォーカス（Refocus）とも言われており、従来のアナログ処理では得られない機能として注目されている。
【００１２】
このリフォーカス技術を採用する場合、３次元計測手法では、先ずフォーカス面の違う多数の画像を用意する必要が出てくる。撮像面での光信号は、様々な方向からの光線の信号が並んでおり、これをデジタル処理で加算処理や並び替えなどを行って再構成することで、はじめてフォーカスの違う画像を得ることができる。すなわち、撮像素子の生信号のままでは、計測を行うことはできない。
【００１３】
これに対して、複数台の撮像系（カメラ）を用いて、視差から距離を計測するステレオカメラの方式では、撮像した生画像から対応点を検出して注目点での視差を求めればよく、計測に要する時間を短縮できる。
【００１４】
そこで、本発明では、この原理を利用して、多数の焦点ボケの画像からではなく、視差から距離を求める。このため、本実施の形態においては、MLAの位置を像面ではなく、レンズの瞳面に置き、さらに、物体（被検物）と共役の結像面に撮像素子を置く構成をとる。これによって、物体の各点からの光線に対して、像面で結像する信号を直接得るとともに、光線の方向別の画像を得ることができる。
【００１５】
以下、かかる原理の詳細について、図１ないし図１１を参照して説明する。
【００１６】
図１は、本発明を適用した光学系の概要を説明する図である。
【００１７】
光学系は、図１に示すように、レンズ１１、MLA１２、及び撮像素子１３を含むようにして構成される。
【００１８】
図１に示すように、レンズ１１の瞳面には、MLA１２が設けられ、さらに、MLA１２の後側には、被検物としての物体面Ｐと共役な位置関係となるように、撮像素子１３が配置される。
【００１９】
MLA１２は、図２の上面図で示すように、例えば７×７個などの、複数のＭＬ（Micro Lens：マイクロレンズ）を２次元状に並べてなる光学素子である。ここで、MLA（Micro Lens Array：マイクロレンズアレイ）とは、レンズレットとも呼ばれる、微小レンズ（上記のＭＬに相当する）を２次元的に配列したものである。図１には、複数のＭＬからなるMLA１２の一部としての、ＭＬa，ＭＬb，ＭＬcの３つのＭＬが図示されている。
【００２０】
なお、図２においては、円形のレンズを図示しているが、勿論、他の形状であってもよく、例えば、レンズの形は四角形とすることができる。また、図２では、ＭＬの縦方向と横方向の数は、それぞれ７個となっているが、これらの数は、撮像素子１３により撮像される画像データに必要な分解能に応じて適宜設定される。
【００２１】
図１に戻り、撮像素子１３は、例えば、CCD（Charge Coupled Device）センサやCMOS（Complementary Metal Oxide Semiconductor）センサなどであり、MLA１２の各ＭＬを通過した光を受光する所定の画素配列を、ＭＬに対応した配置パターンで配置してなる。ここで、画素配列は、光電変換素子受光部の開口がそのまま、画素を形成する場合は勿論、各光電変換素子上に集光用のマイクロレンズを設け、このマイクロレンズの開口が画素を形成する場合がある。なお、画素配列の縦方向と横方向の画素数は、例えば７×７個などの、個々のＭＬを個別に透過した部分光束を個別に受けられるように、適宜設定される。
【００２２】
図１において、物体面上のＰ１からからの光線には、光軸と平行方向の光（実線）として、レンズ１１を通過後、ＭＬbによって撮像面上のＰ１bに結像される光線群（実線）や、ＭＬcによって撮像面上のＰ１cに結像される光線群（点線）などがある。このようにして、レンズ１１の瞳面に配置されたMLA１２の各ＭＬが、撮像面にそれぞれ独立に物体の像を結ぶ。すなわち、撮像面上のＰ１bの信号と、Ｐ１cの信号とは、物体面Ｐの同じＰ１からの、異なる角度で出てきた光線の信号強度である。
【００２３】
同様に、物体面上のＰ２からの光線には、一点差線で示される方向にＭＬaによって撮像面上のＰ２aに結像される光線、実線の平行方向にＭＬbによって撮像面上のＰ２bに結像される光線、及び点線の方向にＭＬcによって撮像面上のＰ２cに結像される光線が示されている。また、Ｐ３からの光線には、Ｐ２からの光線と同様に、一点差線で示される方向にＭＬaによって撮像面上のＰ３aに結像される光線、実線の平行方向にＭＬbによって撮像面上のＰ３bに結像される光線、及び点線の方向にＭＬcによって撮像面上のＰ３cに結像される光線が示されている。
【００２４】
ここで、図１において、仮に、レンズ１１だけの通常の結像系であったとすると、例えば、Ｐ２の位置ならば、上記のＰ２a，Ｐ２b，Ｐ２cなどのあらゆる角度からの光線強度が加算された画素信号が得られる。逆に言えば、図１の光学系では、これらの光線を方向別に選別して捉えることができる構成となっている。
【００２５】
図３は、各ＭＬにより結像された像の例を示す図である。
【００２６】
図３に示すように、図中左側の被検物は、MLA１２の各ＭＬにより結像されることで、図中右側に示す像のようになる。つまり、図２のMLA１２は、７×７個のＭＬからなるので、それらのＭＬのそれぞれにより結像して得られた像が、図３の右側の７×７個の像である。ここで、それらの像であるが、ある１つのＭＬから見た像が、同じ方向からの光線で構成された、方向別に見た像となる。例えば、図３の例の場合、７×７個のＭＬにより、それぞれ異なる角度からの像が結像され、それらの像が撮像素子１３によって撮像される。
【００２７】
すなわち、ＭＬごとに異なる角度からの画像となるので、ＭＬの数だけ異なる角度からの画像を取得できる。例えば、図１に示すように、物体面Ｐ（Ｐ１，Ｐ２，Ｐ３）からの実線や点線で描かれたような特定の角度で出てきた光線は、ＭＬa，ＭＬb，ＭＬcなどの、それぞれMLA１２の中の特定のＭＬで結像されることになる。
【００２８】
かかる光線の様子を詳しく描くと、図４のようになる。すなわち、図４に示すように、実線で示す方向の光線がMLA１２の上から２番目のＭＬで結像され、点線で示す方向の光線が上から５番目のＭＬで結像されるとすると、それらのＭＬにより結像される像は、レンズ１１に入射する光線の入射角からも明らかなように、異なる角度からの方向別に見たものとなる。
【００２９】
より具体的な例を示すと、図５のようになる。すなわち、図５ｂに示すように、レンズ１１に対して垂直に入ってくる中央部のＭＬの光線は、被検物を正面から捕らえたものとなる。それに対して、図５ａ，図５ｃは、レンズ１１の端のほうに位置するＭＬによる像で、被検物を斜め端から見た画像となる。
【００３０】
ここで、レンズ１１の瞳面は、各ＭＬの口径の大きさに分割され、それぞれのＭＬが同じ物体像を結ぶ。また、端の方のＭＬでの像は、周辺でけられ（物体の見えない所）が発生し、端の方の視野の一部は遮られるが、基本的には、各ＭＬによる像は、物体面Ｐと共役な位置で異なる角度から見た像となる。
【００３１】
なお、Ｎ個の各MLA像のＮＡ（開き角）は、各ＭＬの口径で決まる開口で1/Ｎに縮小される。つまり、各ＭＬの像は、結像側からの見込み角度が小さく、光量は少なくなるが、被写界深度（焦点深度）は非常に深くなる。したがって、物体側の奥行きに関係なく、ほとんど焦点の合った像となる。
【００３２】
また、物体（被検物）の像は、物体面Ｐと共役な撮像素子１３上において、ＭＬの小領域ごとに結像される。例えば、上述した、図１においては、レンズ１１を通過した後の各ＭＬに入る光束で、主光線の傾きが異なる光束が、物体面Ｐで異なる位置からの光線となっている。そして、Ｐ面上の各点、Ｐ１，Ｐ２，Ｐ３は、それぞれ、ＭＬa，ＭＬb，ＭＬcによって、それぞれの領域で撮像面上に結像される。
【００３３】
ちなみに、通常のレンズ結像された像は、これらの各ＭＬ像内の画素から、物体面Ｐの同じ点からの光線に対応させて画素信号を集め、デジタル加算することで得られる。言い換えれば、違う方向から見たＭＬ画像の中で、同じ物点からの画素の信号を、それぞれ足し合わせて再構成すれば、通常の画像となる。
【００３４】
そして、像面にある撮像素子１３は、物体からの光線をMLA１２のＭＬの数だけ異なる角度別に画素単位で検出する。具体的には、MLA１２の後面で、撮像素子１３の受光面上に結像された、ＭＬの数だけ存在する異なる方向から見た画像群を得る。そして、後述する後段の回路によって、取得した画像群の画像信号をそのまま用いて、計測処理が行われる。すなわち、本実施の形態においては、レンズ１１で結像されたピント面（被検物と共役）にMLA１２を置くことで、物体からの光線をさらに細かく分割して撮像し、その各分割領域内で、光線の方向別に画像信号を検出する。
【００３５】
ここで、撮像素子１３が十分な画素数を有していれば、これらの画像から得られる光線情報は、物体からのすべての光線について、結像位置での強度だけでなく、光線１本ずつ、その方向を検出できる。すなわち、通常の光学系からの画像では、物体からの軸上近傍の光と軸外光とがすべて集光された強度信号が得られるだけであるが、図１に示すような、MLA１２を用いた光学系では、光軸上でレンズ１１の中心を通る軸上の光線と、光軸に対して斜めに入射される軸外光線とを独立に検出できる。
【００３６】
一般に、軸外光線は、軸上よりもその収差が大きくなるため、両方の光線をすべて点に集めて結像させる通常の光学系では、収差補正光学系を追加しなければ、光学視野の周辺（軸外）のボケ量は増加する。しかし、本実施の形態のように、それぞれの方向の光線を独立に検出すれば、ボケがなく、レンズ１１の光軸に対して異なる角度で入射される多数（ＭＬの数）のピントの合った画像を同時に取得できる。これらの画像は、被検物を別々の異なる方向から撮像した画像となる。したがって、異なる位置のカメラ画像間でのステレオ処理と同様に、異なる画像で、それぞれの画像内の注目している特徴点（注目画素）ごとに、視差を求めれば、３画測量の原理を用いて、各位置での奥行きに関する情報が得られ、３次元の計測ができる。この場合、基本的には、２つの画像から距離を算出するステレオ処理と違って、多数の方向の画像から視差が得られるので、精度が向上されると共に、いわゆる、オクルージョン（見えない箇所）の影響も回避できる。
【００３７】
次に、具体的な３次元計測として、被検物の奥行きに関する情報を画像から得る具体的な手法について述べる。
【００３８】
ここで、ステレオカメラ計測とは、２台のカメラを基線長で定義される距離Ｂだけ離して撮像した画像の中で、対応する被検物の特徴点を抽出し、同じ特徴点の視差を求めて、３画測量の原理を用いて奥行きＺを求める手法である。図６に示すように、カメラ１，２の対によって、実空間上の座標（Ｘ，Ｙ，Ｚ）にある同一の点Ｐを撮像している場合について考えると、Ｐはカメラ１の受光素子上の座標p1（x1，y1）に射影され、同様にＰは、カメラ２の受光素子上の座標p2（x2，y2）に射影されるものとする。すると、幾何的点Ｐの座標（Ｘ，Ｙ，Ｚ）と、カメラ１，２の受光素子上の点Ｐの射影の座標p1（x1，y1），p2（x2，y2）は、下記の式で表わされる。
【００３９】
Ｘ＝x1×Ｂ／ｄ ・・・（１）
Ｙ＝y1×Ｂ／ｄ ・・・（２）
Ｚ＝f×Ｂ／ｄ ・・・（３）
【００４０】
ただし、式（１）ないし式（３）においては、ｄ＝x1−x2である。
【００４１】
このように、カメラ１とカメラ２で得られた２枚の画像上で同一の物体のｘ座標のずれを用いれば、物体までのＺ座標を求めることができる。したがって、このようなずれ、すなわち、視差を求めれば、物体までのＺ座標を算出することができる。本実施の形態においては、ＭＬの数に応じたＮ枚の異なる視点の画像が撮られているので、それらの画像を用いて、はるかに多くの組み合わせから視差情報が得られる。
【００４２】
視差を求めるための画像の組み合わせであるが、例えば、図５ａに示すMLA１２の端の方に位置するＭＬによる像と、図５ｂに示すMLA１２の中央部のＭＬによる像とを比較したり、図５ａと図５ｃの両端からの画像で比較を行ってもよい。なお、例えばMLA１２の両端のＭＬを用いるなど、互いに離れた位置にあるＭＬにより結像された像の画像を使うことで、より高い精度でＺ方向を求めることが可能となる。
【００４３】
また、ステレオカメラ計測においては、オクルージョンと称される死角（片方のカメラからは見えない隠れ点が存在する）の問題を生じることがあるが、本実施の形態においては、あらゆる方向から検出を行うことになるので、かかる問題をほぼ解決することができる。
【００４４】
図７は、図３の右側の７×７個の像に対応する複数の画像の中から、典型的な、中央と、左右、上下の５枚の画像を選択したときの例を示している。この場合において、仮に、左右の像からでは、隠れて見えない特徴点が存在していたとしても、それ以外の上下の画像においてその点が見えれば、その点は、上下の画像によりステレオ計測される。
【００４５】
そして、この例の場合には、図７の５枚の画像の中で、注目している特徴点（注目画素）の検出が行われる。例えば、ここでは、人間の形をした記号と、三角と四角からなる物体のカメラまでの距離が異なると仮定して、画像上でのそれらの距離（位置の差）を、左右方向はｄ0，ｄ1，ｄ2で表わし、上下方向はｓ0，ｓ1，ｓ2で表わす。このように定義することで、視差は、ｄ1−ｄ0，ｄ2−ｄ0，ｓ1−ｓ0，ｓ2−ｓ0で求まり、これらは、いずれも同じ物体間の視差であるため、原理的に一致するはずである。しかし実際には、計測誤差などでばらつく可能性が高いため、本実施の形態においては、これらの平均値を取ることで、そのばらつきを低減して計測精度を向上させることもできる。
【００４６】
なお、本実施の形態においては、中央と、左右、上下の５枚の画像を使った例について説明したが、距離を計測するための視差を求める画像は、上述した原理からして最低２枚あればよく、また、MLA１２全体の数で行ってその平均値を用いてもよい。
【００４７】
また、かかる手法により、特徴点の位置（座標）を求める場合、元の画像が、レンズの歪み（ディストーション）などの光学収差によって歪んでいる場合も考えられるが、以下のようにして、その影響を回避して計測することができる。
【００４８】
一般に、レンズ１１は、多群構成の設計で収差補正がなされた光学系を使って実際の収差量を低減することは困難でないが、MLA１２については、ＭＬとして非球面レンズにするとしても、多群構成のレンズ１１のように、あらゆる幾何収差補正を施すことは容易ではない。したがって、レンズ１１及びMLA１２の両方を合わせた収差の補正が必要となる。
【００４９】
そこで、次に、かかる収差の補正について説明する。
【００５０】
レンズ収差として、球面収差や色収差は、像のボケ量に寄与するので、結像位置の計測精度には影響するが、像高（レンズ面内の位置）に対しては不変であるので、位置ずれに直接は影響しない。位置のずれに直接影響するのは、歪みと倍率色収差である。コマ収差、非点収差、像面湾曲は、像高によってボケ量が変わる（像の端に行くほどボケが大きくなる）が、先述した通り、これは通常の光学系では、多くの角度からの光線を足し合わせた信号強度となって画素が構成されているためで、本実施の形態の光学系では、MLA１２によって瞳面を細かく分割し、それぞれのＭＬでは限られた像高（角度）からの光線となるので、像高によるボケ量の差は小さくなり、位置ずれだけとなって寄与する。
【００５１】
ただし、非点収差と像面湾曲は、像高とＸＹ平面内によって、最良焦点の位置がずれるので、撮像するときの焦点の平面では、ボケの要因となる。
【００５２】
図８は、収差の補正について説明する図である。
【００５３】
図８において、ａは、カリブレーション用のチャートを示しており、ｂは、格子状のａのチャートを本実施の形態のシステムで撮像したときのイメージ図を表わしている。ここでは、格子状のパターンを示しているが、縦横に配列した点（スポット）の配列であってもよい。
【００５４】
本実施の形態では、このチャートを各ＭＬで撮像した画像が取得され、元のチャートからのずれ量が計測される。そして、各ＭＬすべてについて、座標位置とその（Ｘ，Ｙ）のずれ量を表わす補正テーブルが作成される。図８のｃは、この像から実際に歪みを計測した結果のイメージ図であって、図中右上と左下の矢印が、ある位置での収差によるずれ量を表わしている。これにより、レンズ１１とMLA１２を合わせたそのシステムの光学系の収差を知ることができる。
【００５５】
そして、実際の３次元計測においては、図７を参照して説明した方法で、MLA１２からの画像で視差を計算するときに、そのＭＬの補正テーブルを使って、特徴点の座標位置を補正する。これによって、収差に影響されない正確な計測が可能となる。
【００５６】
次に、図９ないし図１１を参照して、被検物の各点の奥行き（距離）Ｚを求める具体的な手法について説明する。
【００５７】
本実施の形態では、図７を参照して説明したように、ある特徴点を異なるＭＬから見た像は、奥行きＺに応じた視差を持つので、被検物の特徴点を検出し、複数のＭＬの画像信号からその特徴点の視差、すなわち、位置ずれを求める。
【００５８】
図９において、MLA１２は、レンズ１１の焦点距離ｆの位置に配置されており、物体側で距離ｆの物点からの光線は、ＭＬ上で平行光線となる。また、軸上の物点からの光は、ＭＬ上で垂直な光線となる。
【００５９】
なお、図９に示すように、撮像素子１３は、ＭＬの焦点位置に配置され、いわゆる像側テレセントリックな構成としているため、かかる構成を採用することで、仮に、像側の焦点がずれても、結像点検出の座標位置が変わらないというメリットがあるが、必ずしもこの構成である必要はない。
【００６０】
図１０は、CCDなどからなる撮像素子１３から得られる画像信号の波形例を示しており、図９のＭＬa，ＭＬb，ＭＬcの３つのＭＬ領域のそれぞれで下側から上側に向かって１次元の方向で見たときの信号を表わしている。なお、図１０において、各画像信号の波形は、図中上にいくほど、信号強度が高くなることを意味する。
【００６１】
図９の各種の線で示す光線をたどれば分かるように、物体側の面Ｚ0上にある特徴点Ａ0，Ｂ0の光は、それぞれ、ＭＬa上では、Ｍａ0，Ｍａ1、ＭＬb上では、Ｍｂ0，Ｍｂ1、ＭＬc上では、Ｍｃ0，Ｍｃ1の位置で結像される。図１０の画像信号は、離散的にサンプリングされたデジタル信号であるが、特徴点からの信号強度のピーク位置は、デジタル信号処理によって、各ＭＬ領域で正確に検出することができる。なお、ここでは、特徴点の位置は、信号のピーク点であることを仮定している。
【００６２】
具体的な演算方法としては、例えば、平滑化デジタル微分（差分処理）を行って、信号が０になるＸ軸との交点（ゼロクロス位置）を補間処理によって求めることで、ピーク位置を小数点以下までの実数で算出する。また、特徴点は、ピーク信号ではなく、エッジ信号（傾斜波形）から求めてもよく、その場合は、その最大傾斜点、すなわち、微分信号値のピーク位置（２階微分した信号のゼロクロス点）を捉えることで同様に求められる。
【００６３】
このようにして、Ｚ0面上の物点Ａ0，Ｂ0の位置に対応する各ＭＬでのＭａ0，Ｍａ1、Ｍｂ0，Ｍｂ1、Ｍｃ0，Ｍｃ1の座標位置が求まる。すなわち、図１０のＭＬa，ＭＬb，ＭＬcのそれぞれの上側に示す画像信号の波形から求められるピーク位置が特徴点の位置となる。また、図９に示すように、ここでは、Ｚ0面が焦点距離ｆの位置に設定されているので、特徴点Ａ0，Ｂ0からの光線は、像側撮像面に垂直に入射し、撮像素子１３のそれぞれのＭＬ領域内での中心位置となる。
【００６４】
次に、この２つの物点が、特徴点Ａ1，Ｂ1として、異なる位置Ｚ1面上にあるとすると、像面では、それぞれ、ＭＬa上では、Ｍａ2，Ｍａ3、ＭＬb上では、Ｍｂ0，Ｍｂ1、ＭＬc上では、Ｍｃ2，Ｍｃ3の位置で、特徴点Ａ1，Ｂ1からの光線が結像される。このとき、撮像素子１３からの画像信号は、図１０のＭＬa，ＭＬb，ＭＬcのそれぞれの下側に示す画像信号の波形のようになり、上記の場合と同様の処理により、ピーク位置を算出し、それぞれの正確な座標が求められる。
【００６５】
そして、図１０のＭＬa，ＭＬb，ＭＬcのそれぞれの上側の波形と下側の波形から特徴点の座標位置が求まり、同じ特徴点に対応するピークの座標位置の差が、距離Ｚに対する視差となる。
【００６６】
ここで分かる通り、光軸上となるＭＬbでは、奥行きに対して不変であるため、視差は得られない。一方、光軸から遠いＭＬ（端に近い）ほど、大きな視差が得られる。本実施の形態では、視差の大きさからＺを求めるので、大きいほど計測精度の点で有利となる。ここでは、図１０に示すように、上下で対称なＭＬaとＭＬcとから、物点Ａの視差として、ｄＡ1及びｄＡ2が得られる。同様に、物点Ｂの視差として、ｄＢ1及びｄＢ2が得られる。ここで、ＭＬaとＭＬcとは、光軸から同じ距離の位置にあり、同じ物点の視差なので、理論的には、ｄＡ1＝ｄＡ2，ｄＢ1＝ｄＢ2となる。
【００６７】
実際には、それぞれの計測平均値、（ｄＡ1＋ｄＡ2）／２，（ｄＢ1＋ｄＢ2）／２を視差として用いれば、精度が向上する。
【００６８】
また、ここでは図示していないが、MLA１２は、２次元に配列されており、紙面と垂直方向のＭＬからも、同様の視差データが得られる。MLA１２の配列が正方配列の場合、光軸から等距離となる４つのＭＬでの視差データが得られる。したがって、それらの４つのデータを平均化することによって、計測精度は更に向上する。
【００６９】
図１１は、幾何光学の原理により、この視差ｄから奥行きＺ1を求めるための関係を示したものである。なお、図１１において、物体側の面Ｚ0は、焦点距離ｆの位置となる。
【００７０】
ここで、視差ｄ、奥行き距離Ｚ1と、光学系のパラメータとの関係は、次のようになる。
【００７１】
１／Ｚ1＝１／ｆ−１／ａ ・・・（４）
【００７２】
Ｎｐ／（ａ−ｆ）＝ｄ／Ｌ ・・・（５）
【００７３】
また、ａは、図１１に示すように、レンズ１１の主面から像側結像点までの距離、ＮｐはＭＬの中心線の光軸からの距離、ＬはMLA１２と撮像素子１３までの距離を表わしている。そして、これらの関係により、距離Ｚは、下記の式（６）で求められる。
【００７４】
Ｚ＝Ｚ1−ｆ＝ｄｆ2／ＮｐＬ ・・・（６）
【００７５】
そして、被検物のすべての特徴点において、同様の処理を行うことにより、３次元計測が達成されることになる。
【００７６】
以上のような原理で、被検物の各点の奥行きＺを求めることができる。
【００７７】
次に、かかる原理を用いて、被検物の各点の奥行きＺを求める、３次元計測装置の構成について、図１２を参照して説明する。なお、本実施の形態において、図１２の３次元計測装置は、被検物表面までの距離情報として、被検物の各点の奥行きＺを演算するものであって、距離測定装置の一例であると言える。
【００７８】
図１２に示すように、３次元計測装置は、レンズ１１、MLA１２、撮像素子１３、制御回路３１、ユーザインターフェース３２、演算処理回路３４、及び、メモリ３５を含むようにして構成される。なお、図１２において、レンズ１１ないし撮像素子１３は、図１等のレンズ１１ないし撮像素子１３に対応しており、説明が繰り返しになる箇所については、その説明を省略する。
【００７９】
制御回路３１は、ユーザインターフェース３２を介してユーザから入力された指示にしたがって、駆動回路３３、演算処理回路３４、及びメモリ３５の制御を行う。
【００８０】
駆動回路３３は、撮像素子１３を駆動する。また、駆動回路３３は、撮像素子１３からの画像信号を、演算処理回路３４に出力する。
【００８１】
演算処理回路３４は、駆動回路３３からの画像信号に基づいて、所定の演算処理を行う。そして、演算処理回路３４は、演算結果をメモリ３５に格納する。
【００８２】
ここで、演算処理回路３４によって行われる演算処理であるが、MLA１２のＭＬの各々により結像された像を、撮像素子１３により撮像することで得られるそれぞれが異なる視点となる複数の画像において、それぞれの画像内の注目している特徴点ごとに視差を演算し、それらの視差から被検物の各点における奥行きに関する情報を求める処理となる。ただし、かかる処理の詳細については、ここでは省略し、後述する図１３の演算処理回路３４の動作の説明の際に併せて説明することにする。
【００８３】
以上のようにして、３次元計測装置は構成される。
【００８４】
次に、図１３のフローチャートを参照して、図１２の演算処理回路３４により行われる奥行きＺの演算処理について説明する。
【００８５】
演算処理回路３４は、ステップＳ１１において、駆動回路３３を介して撮像素子１３から供給される画像信号を取得し、ステップＳ１２において、その画像信号に対応する画像の特定の特徴点の位置（座標）を求める。例えば、演算処理回路３４によって、撮像素子１３からの画像信号に対応する複数の画像のうち、図７に示すような、中央と左右、上下の５枚の画像における、人間の形をした記号、三角、四角からなる物体に対応する画素の位置が特徴点として求められる。
【００８６】
ステップＳ１３において、演算処理回路３４は、図８で説明した補正テーブルを用いて、特徴点の位置を補正する。これにより、光学系の収差に影響されない正確な計測が可能となる。
【００８７】
ステップＳ１４において、演算処理回路３４は、例えば、図７における、ｄ1−ｄ0，ｄ2−ｄ0，ｓ1−ｓ0，ｓ2−ｓ0などで求められる視差を演算する。なお、かかる視差の求め方の具体的な方法は、上述した図９ないし図１１を参照して説明した通りである。
【００８８】
ステップＳ１５において、演算処理回路３４は、例えば、あらかじめ求められている光学パラメータと、ステップＳ１４の処理で求めた視差ｄを用いて、上記の式（６）を演算することで、奥行き距離Ｚを求め、奥行き演算処理は終了する。
【００８９】
その後、被検物のすべての特徴点で、同様の処理を繰り返すことで、３次元の計測が行われる。
【００９０】
以上のように、本発明によれば、レンズの瞳面に置いたMLAとその後面の撮像系により、各ＭＬ領域で多数の視点から画像を得て、それらから被検物の特徴点の視差を検出することで、広い範囲での精度の高い計測を、迅速かつ簡易に行うことができる。
【００９１】
その結果、広い範囲で、高い精度で、簡易に３次元の形状や変位をリアルタイムで計測できるシステムを実現することが可能となる。すなわち、例えば、１台の撮像装置で、１回の撮像で簡便に被検物の３次元の画像情報を得て、被検物の３次元形状や物体までの距離や奥行き、又は、その変位量を３次元情報として検出する方法、装置、センサ、画像入力機器、あるいは、デジタル機器を提案することが可能となる。
【００９２】
ところで、従来のリフォーカス技術においては、多数のフォーカス面の画像を取得し、複雑なデジタル画像処理により奥行きの計測を行うため、高速な、あるいはリアルタイムでの計測は困難であった。また、一般的に、画像フォーカス法では焦点ボケを利用するので、精度を出すためには焦点深度を深くする必要があるが、そうすると計測できる範囲が狭まるというジレンマを抱えており、本質的に広い範囲で精度の高い計測を行うのは困難であった。そこで、これらの問題を解決するために、本実施の形態に示す構成を採用することで、広い範囲での精度の高い計測を、迅速かつ簡易に行うことが可能となる。
【００９３】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、記録媒体からインストールされる。
【００９４】
この記録媒体は、コンピュータとは別に、利用者にプログラムを提供するために配布される、プログラムが記録されている磁気ディスク、光ディスク、光磁気ディスク、若しくは半導体メモリ等により構成されるだけでなく、コンピュータに予め組み込まれた状態で利用者に提供される、プログラムが記録されているハードディスクドライブやROM（Read Only Memory）等で構成される。
【００９５】
また、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデム等のインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。
【００９６】
なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００９７】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【００９８】
さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【００９９】
【図１】本発明を適用した光学系の概要を説明する図である。
【図２】MLAの上面図である。
【図３】各ＭＬにより結像された像を示す図である。
【図４】物体面からの光線の様子を示す図である。
【図５】物体面からの光線の様子を示す図である。
【図６】ステレオカメラ計測の例を示す図である。
【図７】視差の求め方を説明するための図である。
【図８】収差の補正について説明するための図である。
【図９】被検物の各点の奥行きを求める手法を説明するための図である。
【図１０】映像信号波形の例を示す図である。
【図１１】幾何光学の原理を用いて、視差から奥行きを求める例を示す図である。
【図１２】本発明を適用した３次元計測装置の一実施の形態の構成を示す図である。
【図１３】奥行き演算処理について説明するフローチャートである。
【符号の説明】
【０１００】
１１ レンズ， １２ MLA， １３ 撮像素子， ３１ 制御回路， ３２ ユーザインターフェース， ３３ 駆動回路， ３４ 演算処理回路， ３５ メモリ
【特許請求の範囲】
【請求項１】
被検物を結像する結像レンズと、
前記結像レンズの瞳面又は瞳共役面に配置され、２次元状に配列された複数のレンズからなる光学素子と、
前記光学素子の背後に配置され、前記結像レンズによる被検物像を撮像する２次元の撮像素子と、
前記撮像素子の出力に基づいて、被検物表面までの距離情報を求める演算手段と
を備えることを特徴とする距離測定装置。
【請求項２】
前記演算手段は、前記複数のレンズの各々によって結像された像を、前記撮像素子によって撮像することで得られるそれぞれが異なる視点となる複数の画像において、それぞれの画像内の注目している特徴点ごとに視差を演算し、それらの視差から前記被検物の各点における奥行きに関する情報を求める
ことを特徴とする請求項１に記載の距離測定装置。
【請求項３】
前記演算手段は、前記複数のレンズのうち、光軸からより離れた位置にある複数のレンズによって結像された像から得られる複数の画像を用いて、前記視差を演算する
ことを特徴とする請求項２に記載の距離測定装置。
【請求項４】
前記複数の画像は、少なくとも２枚以上であればよく、
前記演算手段は、前記複数の画像の数に応じた分だけ求められる視差の平均値を、前記視差として演算する
ことを特徴とする請求項２に記載の距離測定装置。
【請求項５】
前記演算手段は、あらかじめ求められた前記結像レンズ及び前記複数のレンズの収差を補正するための情報を用いて、前記特徴点の位置を補正する
ことを特徴とする請求項２に記載の距離測定装置。
【請求項６】
請求項１から５の何れか一項に記載の距離測定装置は、３次元計測装置である
ことを特徴とする距離測定装置。
【請求項１】
被検物を結像する結像レンズと、
前記結像レンズの瞳面又は瞳共役面に配置され、２次元状に配列された複数のレンズからなる光学素子と、
前記光学素子の背後に配置され、前記結像レンズによる被検物像を撮像する２次元の撮像素子と、
前記撮像素子の出力に基づいて、被検物表面までの距離情報を求める演算手段と
を備えることを特徴とする距離測定装置。
【請求項２】
前記演算手段は、前記複数のレンズの各々によって結像された像を、前記撮像素子によって撮像することで得られるそれぞれが異なる視点となる複数の画像において、それぞれの画像内の注目している特徴点ごとに視差を演算し、それらの視差から前記被検物の各点における奥行きに関する情報を求める
ことを特徴とする請求項１に記載の距離測定装置。
【請求項３】
前記演算手段は、前記複数のレンズのうち、光軸からより離れた位置にある複数のレンズによって結像された像から得られる複数の画像を用いて、前記視差を演算する
ことを特徴とする請求項２に記載の距離測定装置。
【請求項４】
前記複数の画像は、少なくとも２枚以上であればよく、
前記演算手段は、前記複数の画像の数に応じた分だけ求められる視差の平均値を、前記視差として演算する
ことを特徴とする請求項２に記載の距離測定装置。
【請求項５】
前記演算手段は、あらかじめ求められた前記結像レンズ及び前記複数のレンズの収差を補正するための情報を用いて、前記特徴点の位置を補正する
ことを特徴とする請求項２に記載の距離測定装置。
【請求項６】
請求項１から５の何れか一項に記載の距離測定装置は、３次元計測装置である
ことを特徴とする距離測定装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００９−２８８０４２（Ｐ２００９−２８８０４２Ａ）
【公開日】平成２１年１２月１０日（２００９．１２．１０）
【国際特許分類】
【出願番号】特願２００８−１４０４２０（Ｐ２００８−１４０４２０）
【出願日】平成２０年５月２９日（２００８．５．２９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２１年１２月１０日（２００９．１２．１０）
【国際特許分類】
【出願日】平成２０年５月２９日（２００８．５．２９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]