説明

校正用ターゲット、校正支援装置、校正支援方法、および校正支援プログラム

【課題】基準面と撮像ユニットとの位置関係の校正を容易に行う。
【解決手段】基準面に載置された撮影対象の撮影を行う撮像ユニット15に関して、撮像ユニット15の光軸方向を校正するための校正用ターゲット20である。校正用ターゲット20は、基準面との接触面となる底面と、交線が底面と平行である2つの傾斜面とを有している。2つの傾斜面には、底面に正射影したパタンが同じである校正用パタンがそれぞれ形成されている。撮像ユニット15によって撮影された校正用ターゲット20の撮影画像を、画像解析・処理ユニット16は、2つの傾斜面にそれぞれ形成された2つの校正用パタンを認識し、認識した2つの校正用パタンの寸法を算出し、算出した2つの校正用パタンの寸法に基づいて、校正のための校正情報を作成する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、基準面に載置された撮影対象の撮影を行う撮影装置に関して、上記撮影装置の光軸方向を校正するための校正用ターゲットと、該校正用ターゲットを利用して上記校正を支援する校正支援装置、校正支援方法、および校正支援プログラムとに関するものである。特に、本発明は、計測対象に投影された、位置に応じて周期的に輝度が変化する光パタンを解析することによって、計測対象の三次元形状を計測する三次元形状計測装置に関するものである。
【背景技術】
【0002】
画像解析によって対象物の三次元形状情報を得る手段として、所定の撮像視野内に存在する計測対象に光パタンを投影し、計測対象の三次元形状に応じて変形した光パタンの変形量を解析する方法がある。代表的な方法としては、光切断法や空間コード法、縞解析法などが挙げられる。これらは全て三角測量の原理に基づいているが、中でも、縞解析法に関しては空間縞解析や時間縞解析など多くの手法が提案されており、高い計測精度を得る手法として知られている。
【特許文献1】特開平10−047924号公報(1998年2月20日公開)
【特許文献2】特開平09−318337号公報(1997年12月12日公開)
【発明の開示】
【発明が解決しようとする課題】
【0003】
上述の方法の場合、光パタンを投影する投光装置と、計測対象が載置される平面である基準面と、計測対象を撮影する撮影装置との幾何学的位置関係が高さ位置の測定精度に影響を及ぼすことになる。この点について図31を参照して説明する。
【0004】
図31は、三角測量の原理を示す図である。説明を簡単にするため、基準面P0と垂直な光軸を有する撮影装置Ccによって、基準面P0からの高さがhである平面Phを観測する場合を考える。また、投光装置Cpは、基準面P0から見て撮影装置Ccと同じ高さに配置され、光パタンを基準面P0上の点Oの位置に向けて投影するものとする。
【0005】
基準面P0と平行で、高さhだけ離れた平面Phを観測する場合、点Oに向かう光パタンは点Pと交わる。このとき、撮影装置Ccから見ると、基準面P0へ向けて投影された光パタンは、光軸(Z軸)から距離PQの位置Pに観測されることになる。この位置ずれPQが光パタンの位相差となって現れる。位相差を算出することができれば、次の式(1)
【0006】
【数1】

【0007】
によって高さhを算出することができる。
【0008】
図31を参照すると、撮影装置Ccの光軸が傾くと、上記距離PQが変化して上記の式(1)から算出される高さhも変化することが理解できる。従って、高さhを精度良く計測するには、撮影装置Ccの光軸方向が設計方向(例えば基準面に垂直)となるように、精確に取り付ける必要がある。
【0009】
従来、この校正は、角度計などを利用して、撮影装置の光軸方向が設計方向となるように調整することにより行われていた。しかしながら、この校正方法では、精度の良い角度計を利用したりする必要があるため、校正を行うユーザの負担が大きくなっていた。
【0010】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、基準面と撮影装置との位置関係の校正を容易に行うことができる校正用ターゲットなどを提供することにある。
【課題を解決するための手段】
【0011】
本発明に係る校正用ターゲットは、基準面に載置された撮影対象の撮影を行う撮影装置に関して、上記撮影装置の光軸方向を校正するための校正用ターゲットであって、上記課題を解決するために、上記基準面との接触面となる底面と、該底面に対し傾斜した複数の傾斜面とを有しており、交線が上記底面と平行である2つの上記傾斜面には、上記底面に正射影したパタンが同じである校正用パタンがそれぞれ形成されていることを特徴としている。
【0012】
上記の構成によると、2つの上記傾斜面には、上記底面に正射影したパタンが同じである校正用パタンがそれぞれ形成されている。このため、例えば、上記校正用パタンを撮影装置が基準面の法線方向から撮影した場合、撮影画像に含まれる校正用パタンの寸法が同じとなる。一方、撮影装置が基準面の法線方向から傾いて撮影した場合、撮影画像に含まれる校正用パタンの寸法が異なることになる。
【0013】
従って、本発明の校正用ターゲットを利用して、撮影装置が撮影を行い、作成された撮影画像に含まれる校正用パタンの寸法を比較して、撮影装置が基準面に対し所定の方向に設けられているかどうかを判断できる。その結果、精度の良い角度計などを利用する必要がないので、基準面と撮影装置との位置関係の校正を容易に行うことができる。
【0014】
本発明に係る校正用ターゲットでは、上記2つの傾斜面を複数組有してもよい。さらに、本発明に係る校正用ターゲットでは、各組における上記2つの傾斜面の交線に関して、少なくとも2組の上記交線の方向が同じであってもよい。この場合、基準面に含まれる方向であって、上記交線の方向に垂直な方向への撮影装置の傾きの校正に関して、1度の撮影で校正用パタンの寸法の比較を少なくとも2回行うことができるので、上記校正をさらに精度よく行うことができる。
【0015】
また、本発明に係る校正用ターゲットでは、各組における上記2つの傾斜面の交線に関して、少なくとも2組の上記交線の方向が異なってもよい。この場合、基準面に含まれる少なくとも2つの方向への撮影装置の傾きを校正することができる。
【0016】
ところで、上記撮影装置から上記校正用ターゲットの上記2つの傾斜面までの距離が一定ではないため、上記2つの傾斜面全てに上記撮影装置のピントが合うとは限らない。従って、上記撮影装置は、上記傾斜面の校正用パタンにピントが合うようにピント位置を調整する必要がある。このため、調整可能なピント位置の範囲が限定されることになる。特に、微細な計測対象の高さを精度良く計測するには、或るピント位置に対してピントの合う範囲を示す被写界深度が狭くなるので、調整可能なピント位置の範囲が狭くなる。
【0017】
そこで、本発明に係る校正用ターゲットでは、上記2つの傾斜面のそれぞれに上記校正用パタンが繰り返し形成されていることが好ましい。この場合、上記撮影装置は、繰り返し形成された複数の校正用パタンの何れかにピントが合うようにピント位置を調整すればよいので、調整可能なピント位置の範囲を拡大することができる。
【0018】
本発明に係る校正用ターゲットでは、上記2つの傾斜面には、上記撮影装置の被写界深度に対応する範囲よりも広い範囲に上記校正用パタンが形成されていてもよい。この場合、上記撮影画像に含まれる校正用パタンにおいて、ピントの合っている領域の寸法を比較することにより、撮影装置が基準面に対し所定の方向に設けられているかどうかを判断できる。従って、精確な校正用パタンを撮影するために、校正用パタンを被写界深度に対応する範囲内に形成する必要がない。なお、ピントの合っている領域の寸法を精度良く計測するため、上記校正用パタンは、精細なパタンであることが望ましい。
【0019】
なお、上記2つの傾斜面は、底面との傾斜角が等しく、上記校正用パタンの間隔および/または幅が等しいことが望ましい。この場合、校正用ターゲットの製造が容易になる。
【0020】
本発明に係る校正支援装置は、基準面に載置された撮影対象の撮影を行う撮影装置に関して、上記撮影装置の光軸方向の校正を支援する校正支援装置であって、上記課題を解決するために、上記構成の校正用ターゲットを上記撮影装置が撮影した撮影画像を取得する画像取得手段と、該画像取得手段が取得した撮影画像から、上記2つの傾斜面にそれぞれ形成された2つの校正用パタンを認識するパタン認識手段と、該パタン認識手段が認識した上記2つの校正用パタンの寸法を算出する寸法算出手段と、該寸法算出手段が算出した上記2つの校正用パタンの寸法に基づいて、上記校正のための校正情報を作成する校正情報作成手段とを備えることを特徴としている。
【0021】
また、本発明に係る校正支援方法は、基準面に載置された撮影対象の撮影を行う撮影装置に関して、上記構成の校正用ターゲットを利用して、上記撮影装置の光軸方向の校正を支援する校正支援装置の校正支援方法であって、上記課題を解決するために、上記校正用ターゲットを上記撮影装置が撮影した撮影画像を取得する画像取得ステップと、該画像取得ステップにて取得された撮影画像から、上記2つの傾斜面にそれぞれ形成された2つの校正用パタンを認識するパタン認識ステップと、該パタン認識ステップにて認識された上記2つの校正用パタンの寸法を算出する寸法算出ステップと、該寸法算出ステップにて算出された上記2つの校正用パタンの寸法に基づいて、上記校正のための校正情報を作成する校正情報作成ステップとを含むことを特徴としている。
【0022】
ここで、校正用パタンの寸法の例としては、パタン同士の間隔、パタンの幅、パタンのピントが合っている領域の大きさなどが挙げられる。なお、撮影画像から2つの校正用パタンを認識することは、公知の画像認識技術を利用して行うことができる。
【0023】
上記の構成および方法によると、撮影装置によって撮影された校正用ターゲットの撮影画像から、2つの傾斜面にそれぞれ形成された2つの校正用パタンを認識し、認識した2つの校正用パタンの寸法を算出し、算出した2つの校正用パタンの寸法に基づいて、上記校正のための校正情報を作成している。従って、校正用ターゲットを撮影装置が撮影することで校正の支援を行うことができ、精度の良い角度計などを利用する必要がないので、基準面と撮影装置との位置関係の校正を容易に行うことができる。
【0024】
本発明に係る校正支援装置では、上記校正情報作成手段は、上記寸法算出手段が算出した上記2つの校正用パタンの寸法が等しい場合、上記撮影装置の光軸方向が正常であることを示す上記校正情報を作成してもよい。この場合、ユーザは上記撮影装置の光軸方向が正常であるか否かを容易に判断することができる。
【0025】
本発明に係る校正支援装置では、上記校正情報作成手段は、上記寸法算出手段が算出した上記2つの校正用パタンの寸法の比に基づいて、上記撮影装置の光軸方向に関する正常方向からの傾きを算出し、算出した傾きを上記構成情報として作成してもよい。この場合、ユーザは上記撮影装置の光軸方向をどの程度動かせば正常となるかを判断でき、上記校正を容易に行うことができる。
【0026】
なお、上記校正支援装置における各ステップを、校正支援プログラムによりコンピュータに実行させることができる。さらに、上記校正支援プログラムをコンピュータ読取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で上記校正支援プログラムを実行させることができる。
【発明の効果】
【0027】
以上のように、本発明に係る校正用ターゲットを撮影装置が撮影し、撮影された撮影画像の画像解析を行うことにより、校正の支援を行うことができ、精度の良い角度計などを利用する必要がないので、基準面と撮影装置との位置関係の校正を容易に行うことができるという効果を奏する。
【発明を実施するための最良の形態】
【0028】
〔実施の形態1〕
本発明の一実施形態について図1〜図19に基づいて説明すると以下の通りである。図2は、本発明の一実施形態に係る三次元形状計測システム(三次元形状計測装置)10の概略構成を示す図である。
【0029】
図2に示すように、本実施形態の三次元形状計測システム10は、移動ユニット11に載置された計測対象12に対し投光ユニット13から光パタン14を投影し、計測対象12に投影された光パタン14を撮像ユニット(撮影装置)15が撮影し、撮影された光パタン14の形状を画像解析・処理ユニット(校正支援装置)16が解析し、これを、移動ユニット11により計測対象を移動させて繰り返すことによって、計測対象12全体の三次元形状を計測する装置である。計測される三次元形状の例としては、計測対象12の表面に設けられた凹部の奥行きや凸部の高さおよびそれらの位置などが挙げられる。三次元形状計測システム10の使用用途は特に限定されないが、例えば実装基板を検査する装置などに適用することができる。
【0030】
一般に、計測システムでは、正確な計測を行うために各種の校正が行われる。本実施形態の三次元形状計測システム10では、移動ユニット11と撮像ユニット15との位置関係の校正が行われる。より詳細には、移動ユニット11の上面、すなわち計測対象12が載置される基準面P0に対し、撮像ユニット15の光軸方向が垂直となるように、撮像ユニット15が調整される。
【0031】
図1は、三次元形状計測システム10において、基準面P0と撮像ユニット15との位置関係の校正を行う様子を示している。なお、その他の校正に関しては、従来と同様であるので、本願ではその説明を省略する。
【0032】
図1に示す三次元形状計測システム10は、図2に示す三次元形状計測システム10に比べて、計測対象12の代わりに、校正用ターゲット20が移動ユニット11上に設けられている点が異なる。本実施形態の校正用ターゲット20は、撮像ユニット15の光軸方向の校正を行うためのものである。なお、以下では、図1に示すような校正を行う場合を「校正モード」と称し、図2に示すような三次元形状の計測を行う場合を「計測モード」と称する。
【0033】
図3は、校正用ターゲット20の外観を示している。図示のように、校正用ターゲット20は、底面21と底面に平行な稜線22とを有し、稜線の両側に傾斜面23・24を有している。底面21は、移動ユニット11の上面(基準面P0)と接触する面である。また、傾斜面23・24は、底面21に対する角度である傾斜角αが等しくなるように形成されている。
【0034】
傾斜面23には2本のライン(校正用パタン)25・26が等間隔に形成され、傾斜面24には2本のライン27・28が等間隔に形成されている。さらに、傾斜面23のライン25・26の間隔と傾斜面24のライン27・28の間隔とが等しくなるように形成されている。なお、各ライン25〜28は、稜線22に平行であることが望ましいが、少なくとも稜線22の方向の成分を有していればよい。また、傾斜面23のライン25は、傾斜面24のライン27・28の何れか一方と高さが同じである必要はない。同様に、傾斜面23のライン26は、傾斜面24のライン27・28の何れか一方と高さが同じである必要はない。
【0035】
図4は、上記構成の校正用ターゲット20を、基準面(移動ユニット11の上面)に載置して撮像ユニット15が撮影した撮影画像を示している。なお、以下では、撮像ユニット15の光軸方向が基準面に垂直である、すなわち基準面の法線方向と一致するように撮像ユニット15が取り付けられた状態が、撮像ユニット15が正常に取り付けられた「正常な状態」と称する。また、撮像ユニット15の光軸方向が基準面の法線方向から傾いている状態を「傾いた状態」と称する。
【0036】
図4の(a)は、撮像ユニット15が正常な状態に取り付けられた場合を示しており、(b)は、撮像ユニット15が傾いた状態に取り付けられた場合を示している。同図を参照すると、上記正常な状態の場合、撮影画像におけるライン25・26の間隔とライン27・28の間隔とが等しいことが理解できる。一方、上記傾いた状態の場合、撮影画像におけるライン25・26の間隔とライン27・28の間隔とが異なることが理解できる。
【0037】
従って、本実施形態の校正用ターゲット20を利用して、撮像ユニット15が撮影を行い、作成された撮影画像に含まれるライン25・26の間隔とライン27・28の間隔とを比較することにより、撮像ユニット15が正常な状態であるか傾いた状態であるかを判断できる。その結果、基準面に対する撮像ユニット15の傾きの校正を容易に行うことができる。
【0038】
なお、傾斜面23または傾斜面24の傾斜角が既知である場合、撮影画像におけるライン25・26の間隔とライン27・28の間隔との比を求めることにより、基準面の法線方向に対する撮像ユニット15の光軸方向の傾きを求めることができる。この点について、図5を参照して説明する。
【0039】
図5は、撮像ユニット15と校正用ターゲット20の傾斜面23・24とを正面側から見た幾何学的位置関係を模式的に示している。なお、図示では、各傾斜面の傾斜角が異なる場合も考慮している。同図において、撮像ユニット(カメラ)15の光軸が破線で示され、各傾斜面が一点鎖線で示され、かつ、各傾斜面におけるラインの間隔が実線で示されている。
【0040】
撮影において、実空間上の物体(被写体)は、カメラ15の撮像面に正射影で投影されると考えられる。従って、正常な状態では次の式(2)・(3)が成り立つ。
l1=a×L1×sinθ1 ・・・(2)
l2=a×L2×sinθ2 ・・・(3)
ここで、L1は第1の傾斜面におけるラインの間隔であり、l1は、上記間隔L1がカメラ15の撮像面に正射影で投影されたものである。また、L2は第2の傾斜面におけるラインの間隔であり、l2は、上記間隔L2が上記撮像面に正射影で投影されたものである。また、θ1は、正常な状態におけるカメラ15の光軸から、第1の傾斜面までの角であり、θ2は、上記光軸から第2の傾斜面までの角である。また、φは、正常な状態におけるカメラ15の光軸から、傾いた状態におけるカメラ15の光軸までの角である。そして、aは、カメラ15の光学系と被写体までの距離とに依存する撮影倍率である。
【0041】
一方、傾いた状態では、次の式(4)・(5)が成り立つ。ここで、l1’は、第1の傾斜面におけるラインの間隔L1が、傾いた状態のカメラ15の撮像面に正射影で投影されたものであり、l2’は、第2の傾斜面におけるラインの間隔L2が、上記撮像面に正射影で投影されたものである。
l1’=a×L1×sin(θ1−φ) ・・・(4)
l2’=a×L2×sin(θ2+φ) ・・・(5)
上記の式(4)・(5)から、撮影倍率aを消去して、間隔L1・L2・l1’・l2’と角θ1・θ2とを取得することにより、傾きφを求めることができる。
【0042】
本実施形態の校正用ターゲット20は、上述のように、傾斜面23・24の傾斜角αが等しく、各傾斜面23・24におけるラインの間隔が等しい。従って、θ1=θ2、L1=L2が成り立つ。この場合、l’1/l’2は、上記の式(4)・(5)から次の評価式となる。
l’1/l’2
=sin(θ1−φ)/sin(θ1+φ)
=(tanθ1−tanφ)/(tanθ1+tanφ) ・・・(6)。
【0043】
上記の式(6)を変形すると次の式となる。なお、k=l’1/l’2である。
tanφ=(1−k)/(1+k)×tanθ1 ・・・(7)
上記の式(7)から、角θ1が既知であれば、間隔l’1・l’2を校正用ターゲット20の撮影画像から取得することにより、傾きφを求めることができる。そして、求めた傾きφだけ、カメラ15を逆回転させることにより、カメラ15の光軸を正常な状態にすることができる。なお、本実施形態の場合、θ1=α+90°が成り立つから、傾斜角αが既知であればよい。
【0044】
また、l’1/l’2=1の場合、φ=0となる。従って、校正用ターゲット20の撮影画像における上記間隔l’1・l’2が等しくなるようにカメラ15の傾きを調整すれば、φ=0となり、カメラ15の光軸を正常な状態にすることができる。
【0045】
次に、角θ1が満たすべき条件について説明する。上記間隔l’1・l’2を利用して校正を行うため、校正用ターゲット20にてライン25〜28が施された傾斜面23・24は、カメラ15から見える必要がある。従って、角θ1と傾きφとは次の条件式を満たす必要がある。
φ<θ1<φ+180° ・・・(8)。
【0046】
上記の式(8)から、例えば、傾きφを±45°の範囲内で計測したい場合、角θ1は、45°<θ1<135°の条件を満たす必要がある。また、図3に示すような校正用ターゲット20の場合、稜線22から斜め下方に傾斜面23・24が伸びているので、角θ1は、90°<θ1の条件も満たす必要がある。従って、90°<θ1<135°の条件を満たす必要がある。
【0047】
また、傾きφの変動に対し、上記の評価式(6)の変動が大きいほど計測感度が良くなる。従って、計測感度の評価式は次の式となる。
∂k/∂φ=−2・tanθ1/(tanθ1+sinφ)^2 ・・・(9)
カメラ15の傾きの調整では、φ=0付近が重要となる。そこで、上記の式(9)にφ=0を代入すると、次の式となる。
∂k/∂φ=−2/tanθ1 ・・・(10)。
【0048】
この式(10)から、|∂k/∂φ|は、θ1→90°で最小となり、角θ1が90°から離れるに従って大きくなり、θ1→0°または180°で最大となる。例えば、上記の90°<θ1<135°の条件を満たす必要がある場合、θ1=135°が望ましいことになる。
【0049】
次に、三次元形状計測システム10の詳細について説明する。図6は、三次元形状計測システム10の要部構成を示すブロック図である。図1および図2に示すように、三次元形状計測システム10は、移動ユニット11、投光ユニット13、撮像ユニット15、および画像解析・処理ユニット16を備えている。さらに、三次元形状計測システム10は、移動ユニット11を制御する移動コントローラ17と、投光ユニット13を制御する投光コントローラ18とを備えている。
【0050】
投光ユニット13は、上述のように、計測対象12の表面に光パタン14を投影するためのものである。また、投光ユニット13は、図6に示すように、ハロゲンランプやキセノンランプなどの光源31、光源31から照射された光にパタンを持たせるためのパタン生成素子32、およびマクロレンズなどの光学系33を備えている。
【0051】
投影する光パタンとしては、正弦波、三角波、または矩形波などの、位置に応じて周期性を有し、かつ位相を特定できるパタンであれば何れのものでもよいが、本実施形態では、計測分解能の向上に寄与する正弦波状の光パタンを用いることとする。また、パタン生成素子32としては、液晶素子によって構成されたものや、ガラスまたはフィルムを加工したものなどを用いることができる。
【0052】
撮像ユニット15は、上述のように、光パタン14が投影された計測対象12を読み取り、その画像を取得するものである。また、撮像ユニット15は、図6に示すように、1本のラインセンサ34と、マクロレンズなどの光学系35とを備えている。
【0053】
移動ユニット11は、ラインセンサ34の主走査方向(長手方向)、および該主走査方向と垂直な方向(以下「副走査方向」という)に計測対象12を水平移動させるためのものである。また、移動ユニット11は、図6に示すように、計測対象12を載置するための移動テーブル41、移動テーブル41を駆動するサーボモータ42、移動テーブル41の位置を検出するリニアスケーラ43などを備えている。
【0054】
移動ユニット11により計測対象12を副走査方向に移動させつつラインセンサ34により逐次撮像することによって、計測対象12全体の三次元形状を計測することが可能になる。また、計測対象12がラインセンサ34の撮像範囲よりも主走査方向に広い場合には、移動ユニット11により計測対象12を主走査方向に移動させてラインセンサ34により逐次撮像すればよい。
【0055】
画像解析・処理ユニット16は、校正モードにおいて、撮像ユニット15によって撮像された校正用ターゲット20の画像を解析し、撮像ユニット15の光軸の傾きφを算出するものである。算出した傾きφをユーザに提示することにより、ユーザが撮像ユニット15の光軸を校正することができる。なお、外部からの指示に基づいて撮像ユニット15を回転駆動する回転駆動装置を備えている場合、算出した傾きφに基づく指示を上記回転駆動装置に送信することにより、撮像ユニット15の光軸を自動的に校正することができる。
【0056】
また、画像解析・処理ユニット16は、計測モードにおいて、撮像ユニット15によって撮像された画像に含まれる光パタン14を縞解析法によって解析し、計測対象12の三次元形状を算出すると共に、移動コントローラ17および投光コントローラ18に各種指示を行うものである。また、画像解析・処理ユニット16は、図6に示すように、撮像ユニット15からの画像をデジタルデータで取り込むキャプチャボード(画像取得手段)44、各種の制御を行う制御部45、および各種の情報を記憶する記憶部46を備えている。
【0057】
なお、本実施形態では、移動ユニット11は、計測対象12を移動させる構成としたが、計測対象12を移動させる代わりに、投光ユニット13および撮像ユニット15を副走査方向に、さらには主走査方向に移動させる構成としてもよい。すなわち、移動ユニット11は、計測対象12を投光ユニット13および撮像ユニット15に対して相対的に移動させるものであればよい。
【0058】
このような三次元形状計測システム10に備わる各部の幾何学的位置関係について一例を用いて以下に説明するが、本発明はこれに限定されない。
【0059】
本実施形態の三次元形状計測システム10では、撮像ユニット15のラインセンサ34は、その主走査方向が移動テーブル41の載置面(基準面)と平行になるように設置されている。ラインセンサ34の主走査方向と移動テーブル41の載置面とを平行にすることにより、計測対象12の上面を均一な倍率で撮像することができる。また、ラインセンサ34の主走査方向と副走査方向とを垂直にしているので、搬送しながら撮影した複数のライン画像からなる2次元画像には、直角部分が直角部分として撮像される。
【0060】
また、投光ユニット13は、その光軸が撮像ユニット15の光軸に対して所定の角度を有するように設置されている。これにより、詳細は後述するが、計測対象12に投影した光パタンのずれに基づいて、計測対象12の高さを算出することができる。なお、撮像ユニット15および投光ユニット13の幾何学的配置は設置時にあらかじめ計測しておいてもよいし、校正により算出してもよい。
【0061】
このような三次元形状計測システム10の動作について説明すると以下の通りである。まず、各種機器の校正を行う。特に、本実施形態では、移動テーブル41に校正用ターゲット20を載置し、載置された校正用ターゲット20を撮像ユニット15が撮影し、撮影された校正用ターゲット20の画像を画像解析・処理ユニット16が解析して、撮像ユニット15の光軸の傾きφを算出することにより、撮像ユニット15の光軸の校正を行う。
【0062】
各種校正の終了後、計測対象12の三次元形状の計測を行う。まず、画像解析・処理ユニット16から移動コントローラ17を介しての命令によって、移動ユニット11のサーボモータ42が移動テーブル41を初期設定位置にセットする。この初期設定位置は、撮像ユニット15が計測対象12を撮像する際の副走査方向の撮像開始位置を決定するものであり、撮像ユニット15の撮像領域が、移動ユニット11の移動テーブル41に載せられた計測対象12の副走査方向における端部に来るような位置であることが好ましい。
【0063】
そして、投光ユニット13が計測対象12に光パタンを投影する。撮像ユニット15は、光パタンが投影された計測対象12を走査し、この計測対象12の画像を取得する。撮像ユニット15によって取得された画像は、画像解析・処理ユニット16に送信され、画像解析・処理ユニット16のキャプチャボード44によってデジタルデータに変換される。そして、画像解析・処理ユニット16の制御部45が光パタンを解析することによって、計測対象12の高さ情報が算出される。
【0064】
ここで、本実施形態の三次元形状計測システム10では、画像中の光パタンを解析する際に、空間縞解析法を用いる構成となっている。これにより、撮像ユニット15に備わった1本のラインセンサ34が1回走査して取得した1つのライン画像から、計測対象12の、撮像ユニット15の走査領域(撮像領域)内での各位置における高さを求めることができる。なお、空間縞解析法の詳細については後述する。
【0065】
そして、移動ユニット11は、画像解析・処理ユニット16の制御によって、計測対象12を副走査方向に所定の距離だけ移動させる。これにより、計測対象12における撮像ユニット15の撮像領域と投光ユニット13によって投影される光パタン14とが、所定の距離だけ副走査方向にずれることになる。この後、再び撮像ユニット15が計測対象12を走査し、ライン画像を取得する。ここで得られたライン画像には、計測対象12の、先ほどの走査領域よりも所定の距離だけ副走査方向にずれた領域が含まれることになる。得られた画像は、同様に画像解析・処理ユニット16に送信され、新しい走査領域内での各位置における三次元情報が求められる。
【0066】
このように、移動ユニット11が再び計測対象12を所定の距離だけ移動させ、撮像ユニット15が計測対象12を撮像し、画像解析・処理ユニット16がライン画像を解析する処理を繰り返すことによって、計測対象12の全体の三次元形状が計測される。
【0067】
なお、計測対象12の三次元形状情報のうち、ラインセンサ34の主走査方向の長さおよび副走査方向の長さ情報については、公知の方法によって計測する。具体的に説明すると、計測対象12の主走査方向の長さ情報は、ライン画像に撮像された計測対象の主走査方向の長さに基づいて算出する。一方、計測対象12の副走査方向の長さ情報は、移動ユニット11による移動速度に基づいて算出する。このように、計測対象12の主走査方向および副走査方向の長さ情報と、高さ情報とを求めることによって、計測対象12の三次元形状情報を得ることができる。
【0068】
なお、上記の所定の距離とは、撮像ユニット15の撮像領域の副走査方向における長さと等しいことが好ましい。これにより、上記の工程によって計測対象12の全領域を漏らすことなく迅速に計測することができる。
【0069】
また、所定の距離ごとの撮像は、移動テーブル41を一定速度で移動させつつ、撮像ユニット15に一定時間ごとに撮像させることによって実現することができる。この場合、移動コントローラ17が、キャプチャボード44を介して、例えば数KHzオーダーの一定時間ごとに撮像駆動信号を撮像ユニット15に送信する。撮像ユニット15は、この駆動信号をトリガとして光パタンの投影された計測対象12の画像を取得する。一方、移動コントローラ17は、同様の一定時間ごとの搬送駆動信号を移動ユニット11にも送信する。移動ユニット11のサーボモータ42は、この搬送駆動信号をトリガとして移動テーブル41を一定速度で駆動する。これにより、所定の領域ずつ計測対象12を撮像することができる。
【0070】
また、所定の距離ごとの撮像にリニアスケーラ43を利用してもよい。この場合、図6に示すように、リニアスケーラ43は移動ユニット11に設けられ、移動テーブル41が所定の距離だけ移動されるたびに、移動コントローラ17に対して信号を送信する。そして、移動コントローラ17は、この信号を受信すると、撮像ユニット15のラインセンサ34に対して撮像駆動信号を送信する。これにより、移動ユニット11の搬送速度ムラなどに左右されることなく、精確に所定の距離ごとの撮像を行うことが可能になり、その結果、三次元計測の精度が向上する。
【0071】
さて、このような三次元形状計測装置の利点について説明する。本実施形態では、撮像ユニット15に含まれる読み取りセンサとして、ラインセンサ34を用いる構成となっている。例えば主走査方向の画素数が10000画素のラインセンサ34を用いる場合、主走査方向の長さが100mmの計測対象を、約10μmの分解能で撮像することができる。これに対して、例えば横方向の画素数が640画素のエリアカメラを用いる場合、横方向の長さが100mmの計測対象を、約150μmの分解能でしか撮像することができない。
【0072】
また、上記のエリアカメラがラインセンサ34と同じ分解能で撮像するためには、主走査方向に所定の距離ずつ移動し、そして撮像するといった処理工程を最低でも12セット行う必要がある。この場合、主走査方向に撮像ユニット15を移動させ、撮像させるために多大な時間を要してしまう。
【0073】
これに対して、本実施形態の三次元形状計測装置では、ラインセンサ34を用いることにより、計測対象12に対して高い分解能で高速な撮像を行うことが可能になる。
【0074】
さらに、本実施形態では、撮像ユニット15によって読み取った各ライン画像を空間縞解析法によって解析する構成となっている。空間縞解析法では、1つのライン画像から光パタンの位相ずれを算出し、この位相ずれから三次元情報を算出することができる。よって、計測対象12に対して必要な延べ走査回数が1回で済むため、ラインセンサの数を1本のみにすることもできる。これにより、複数のラインセンサを平行に設置する構成に比べて、ラインセンサの設置を容易に行うことができるようになる。また、1本のラインセンサで複数回操作を行う構成と比べると、高速に計測を行うことが可能になる。
【0075】
さらに、1度の走査によって取得した1つのライン画像のみに基づいて高さを計測できるため、走査と同時に三次元形状の計測を行うことも可能になる。これにより、例えば基板の検査を行う場合などに、計測対象となる基板上に何らかの製造上の不具合を発見した際に、最後まで撮像処理を繰り返すことなく直ちに計測を中断させることができ、基板の検査を迅速化することもできるようになる。
【0076】
次に、画像解析・処理ユニット16による画像解析の詳細について説明する。図7は、画像解析・処理ユニット16の要部構成を示している。図6に示すように、画像解析・処理ユニット16は、キャプチャボード44、制御部45、および記憶部46を備えている。さらに、画像解析・処理ユニット16は、入力・設定部47および出力部48を備えている。
【0077】
入力・設定部47は、ユーザからの指示入力、情報入力、設定入力などの各種入力を受け付けるものであり、例えばキーボードやボタンなどのキー入力デバイスや、マウスなどのポインティングデバイスなどによって構成される。なお、入力・設定部47と共に、或いは入力・設定部47の代わりに、印刷された情報を読み取るスキャナデバイス、無線または有線の伝送媒体を介して信号を受信する受信デバイス、外部または自装置内の記録媒体に記録されたデータを再生する再生デバイスなどを用いて、外部からの上記各種入力を受け付けてもよい。
【0078】
出力部48は、制御部45からの指示に基づいて情報を出力するものである。出力部48を構成するデバイスの例としては、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、CRT(Cathode Ray Tube)などの表示デバイス、紙などの印刷媒体に情報を印刷する印刷出力デバイス、上記伝送媒体を介して信号を送信する送信デバイス、上記記録媒体にデータを記録する記録デバイスなどが挙げられる。
【0079】
次に、画像解析・処理ユニット16の制御部45および記憶部46の詳細について説明する。制御部45は、校正処理を行う校正処理部51と、計測処理を行う計測処理部71とを備えている。これらの各部は、CPU(Central Processing Unit)に各種制御プログラムを実行させることによって実現される。あるいはその代わりに、図示しないDSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)などによって実現してもよい。なお、計測処理部71の詳細については後述する。
【0080】
また、記憶部46は、RAM(Random Access Memory)、ROM(Read Only Memory)、外部記憶装置などの何れか1つまたはそれらの組合せによって実現されている。記憶部46には、設定値格納部61が存在する。なお、計測処理部71に関する構成については後述する。
【0081】
校正処理部51は、設定値取得部52、ライン認識部(画像取得手段、パタン認識手段)53、間隔算出部(寸法算出手段)54、および傾き算出部(校正情報作成手段)55を備えている。
【0082】
設定値取得部52は、入力・設定部47を介して入力された設定値を取得するものである。設定値取得部52は、取得した設定値を設定値格納部61に記憶する。本実施形態では、設定値取得部52は、正常な状態における撮像ユニット15の光軸から、校正用ターゲット20の傾斜面23・24までの角θ1、または傾斜角αを取得して設定値格納部61に記憶する。
【0083】
ライン認識部53は、撮像ユニット15が撮影した校正用ターゲット20の撮影画像を、キャプチャボード44を介して取得し、取得した撮影画像から、公知の画像認識技術を用いて、校正用ターゲット20の傾斜面23・24におけるライン25〜28の画像領域を識別するものである。ライン認識部53は、認識したライン25〜28の画像領域の情報を間隔算出部54に送信する。
【0084】
間隔算出部54は、ライン認識部53から受信したライン25〜28の画像領域の情報に基づいて、各傾斜面23・24におけるラインの画像上の間隔、すなわちライン25・26の画像上の間隔と、ライン27・28の画像上の間隔とを算出するものである。間隔算出部54は、算出した間隔の情報を傾き算出部55に送信する。
【0085】
傾き算出部55は、間隔算出部54から受信した間隔の情報と、設定値格納部61から読み出した角θ1または傾斜角αとに基づき、上記の式(7)を利用して傾きφを算出するものである。傾き算出部55は、算出した傾きφを、出力部48を介して外部に出力する。
【0086】
次に、計測処理部71における画像解析による三次元形状計測の詳細について説明する。まず、本実施形態の画像解析手法の原理について説明する。
【0087】
計測処理部71は、光パタンの投影された計測対象12のライン画像を空間縞解析法に基づいて解析する。空間縞解析法とは、上述したように三角測量の原理に基づくものである。三角測量の原理については、図31を参照して上述したので、以下では、縞解析法および空間縞解析法について順番に説明する。
【0088】
まず、縞解析法について説明する。本実施形態では、計測対象12に投影する光パタンとして、正弦波状の光パタンを用いる。正弦波状の光パタンとは、輝度が正弦関数によって表されるグラデーションを有するパタンのことをいう。換言すれば、位置と輝度との関係が正弦関数によって表される光パタンのことを正弦波状の光パタンという。正弦波状の光パタンの一例を図9に示す。
【0089】
このような光パタンを、図10(a)、図10(b)に示すような計測対象12に投影した場合、投影される光パタンを上面から観測すると図11(a)のようになる。すなわち、斜め方向から投影された光パタンは、高さを有する凸部において歪みを生じることになる。このように光パタンが投影された計測対象12を撮像ユニット15のラインセンサ34によって走査すると、走査位置と輝度との関係は図11(b)のようになる。
【0090】
図11(b)の上段に示すように、凸部のない基準面に投影された光パタンは、常に一定の周期で輝度が変化する。これに対して、図11(b)の下段に示すように、凸部に投影された光パタンは凸部の傾斜によって輝度の周期が変化し、その結果、基準面に投影された光パタンに対して位相のずれを生じることになる。よって、実際に計測対象12に光パタンを投影して撮像した画像(ライン画像)に含まれる或る位置の画素における光パタンの位相と、基準面に光パタンを投影した場合の同画素の位相(基準位相)との差を求めれば、その画素に対応する位置における計測対象12の高さを上記の三角測量の原理に基づいて求めることができる。
【0091】
上記の位相差を算出するにあたって、基準位相は、基準面に光パタンを投影して撮像することなどによって予め求めておくことができる。一方、実際に計測対象に光パタンを投影して撮像した画像(ライン画像)に含まれる各位置の画素における光パタンの位相の求め方には、大別して2通りある。空間縞解析法と時間縞解析法との相違点は、この位相の求め方にある。
【0092】
図11(b)に示すように、正弦関数では、或る一つの変位を与える位相が1周期内に2つ存在する。例えば、y=sinθによって表される関数において、変位y=0を与える位相θは0およびπの2つ存在する。また、変位y=1/2を与える位相θはπ/6および5π/6の2つ存在する。このような理由から、撮像した画像において、単一の画素の輝度値(正弦関数の変位に相当)のみから、その画素における光パタンの位相を求めることはできない。
【0093】
ここで、従来用いられてきた手法である時間縞解析法では、所定の量だけ位相をずらした光パタンを計測対象に投影して再び計測対象を撮像し、2つの画像を解析することによって位相を1つに決定する。つまり、初めに撮像した画像における或る画素の輝度を基に、その画素における光パタンの位相を2つに絞り込み、次に撮像した画像におけるその画素の輝度を基に、光パタンの位相を1つに特定する。従って、時間縞解析法を用いる場合は、計測対象の反射特性が厳密に一様であったとしても、計測対象を最低でも2回撮像しなければならないことが分かる。
【0094】
一方、空間縞解析法では、位相を求める画素(以下「注目画素」という)およびその周辺の画素の輝度に基づいて、注目画素における位相を算出する。例えば、上記の例において変位y=0を与える位相θは0およびπの2つあるが、ここで、注目画素における位相が0の場合とπの場合とでは、周辺の画素の輝度が異なることになる。もし、注目画素における位相が0の場合、例えば注目画素よりも少し位相が小さい側に存在する周辺画素の輝度値は、注目画素の輝度値よりも小さくなる。一方、注目画素における位相がπの場合は、注目画素よりも少し位相が小さい側に存在する周辺画素の輝度値が注目画素の輝度値よりも大きくなる。従って、注目画素の近傍の画素に基づいて、光パタンの位相を1つに決定することができる。このように、注目画素の近傍に存在する画素の輝度値に基づいて、注目画素における位相を決定するのが空間縞解析法の特徴である。
【0095】
本実施形態の三次元形状計測システム10に用いられる空間縞解析法の具体的な処理工程について以下に詳述するが、本発明はこれに限定されず、上述した縞解析法の原理に基づいたものであればどのようなものであってもよい。
【0096】
本実施形態では、撮像したライン画像から、光パタンを90°移相した移相光パタンを仮想的に作成する。ここで、投影する光パタンを、次の式(11)
【0097】
【数2】

【0098】
とすると、この光パタンを90°移相した移相光パタンは、次の式(12)
【0099】
【数3】

【0100】
と表される。従って、位置xにおける画素の位相φ(x)は、次の式(13)
【0101】
【数4】

【0102】
で求めることができる。
【0103】
ここで、I(x)の値は、主走査方向の位置xにおける画素の輝度値である。一方、I^(x)(以下、ハットのついたI(x)を便宜的にこのように記述する)の値の算出には、Hilbert変換を用いる。すなわち、移相光パタンによる位置xにおける輝度値I^(x)は、次の式(14)
【0104】
【数5】

【0105】
で表される。ここで、取得できる輝度データは画素ごとのデータ、つまり離散的なものであるため、上記の式(14)を次の式(15)
【0106】
【数6】

【0107】
のように近似する。この式(15)によって、I^(x)の値を求めることができる。
【0108】
以上より、輝度値I(x)を取得すれば、上記の式(15)からI^(x)の値を求め、上記の式(13)から位相φ(x)を求めることができる。そして、求めた位相φ(x)と基準面における位相φ(x)との位相差Δφ(x)により、上述した三角測量の原理に基づいて、位置xにおける高さzを算出することができる。
【0109】
高さzは、具体的には、基準面からの距離として算出され、次の式(16)
【0110】
【数7】

【0111】
によって求めることができる。なお、上記の式(16)において、A(x,z)およびB(x,z)は、パタン周期やカメラから基準面までの距離、パタンの投影角度などの幾何学的配置に依存して各画素ごとに決まる関数である。ただし、これらの関数は、未知数zの関数なので、厳密な形を算出するのは困難である。従って、本実施形態では、予め高さが既知の校正用ターゲットを観測して、A(x,z)およびB(x,z)の値を各画素xごとに算出し、これを用いて直線近似やスプライン関数近似でzの関数形を推定している。
【0112】
次に、計測処理部71の構成について説明する。図12は、画像解析・処理ユニット16の要部構成、特に計測処理部71の要部構成を示している。計測処理部71は、背景除去部72、輝度取得部73、Hilbert変換部74、位相算出部75、位相差算出部76、および高さ算出部77を備えている。また、画像解析・処理ユニット16の記憶部46には、逆正接DB(Database)62、基準位相DB63、および三次元形状DB64が存在する。
【0113】
逆正接DB62は、y=tan-1xによって表される関数におけるyとxとの対応を示すデータベースであり、xの値と、tan-1xの値とが予め関連付けて格納されている。これにより、xの値に基づいて、その逆正接の値yを検索することができる。
【0114】
基準位相DB63は、光パタンを投影した基準面(高さが常に0の平面)を撮像したライン画像の各画素における光パタンの位相(以下「基準位相」という)を予め格納したデータベースであり、ライン画像に含まれる画素の主走査方向の位置xと、その画素における基準位相φ(x)とが関連付けて格納されている。これにより、ライン画像に含まれる画素の位置xの情報に基づいて、その画素における基準位相φ(x)を検索することができる。なお、基準位相DB63は、校正モードにおいて、記憶部46に予め格納または更新されることが望ましい。
【0115】
三次元形状DB64は、計測によって得られた計測対象12の三次元形状情報を格納するためのデータベースである。この三次元形状DB52には、計測対象12の表面上の点を特定するx座標(主走査方向に相当)、y座標(副走査方向に相当)、z座標(高さに相当)が関連付けて格納される。これにより、計測終了後に、計測対象12のx座標およびy座標に基づいて、その位置における高さ(z座標)を検索することができる。
【0116】
背景除去部72は、キャプチャボード44から取得したライン画像から背景成分を除去するものである。背景除去部72は、背景成分を除去したライン画像を輝度取得部73およびHilbert変換部74に送信する。具体的には、背景除去部72は、光パタンを投影した状態で計測対象12を撮像したライン画像と、光パタンを投影せずに一様な輝度の光を照射した状態で計測対象12を撮像した対照ライン画像とを取得し、光パタンを投影した状態のライン画像における各画素の輝度値を、上記対照ライン画像の対応する画素の輝度値で除算している。
【0117】
なお、ライン画像における背景成分の除去を行う場合は、撮像ユニット15が光パタンを投影した状態と投影していない状態とで2回の走査を行う構成としてもよいし、撮像ユニット15と同様の第2の撮像ユニットをさらに設け、この第2の撮像ユニットが対照ライン画像を取得する構成としてもよい。
【0118】
上記2回の走査を行う場合には、投光ユニット13に備えるパタン生成素子32を液晶素子によって構成することが好ましい。これにより、光パタンのオン/オフを容易に切り換えることができるようになる。あるいは、ガラスまたはフィルムの表面に、パタンを形成した領域とパタンを形成していない領域とを有するパタン生成素子32を作製しておき、ガラスまたはフィルムをずらすことによって、パタンの有無を切り換えてもよい。
【0119】
輝度取得部73は、背景除去部72からのライン画像データ、すなわち背景成分の除去されたライン画像データから、位置xにおける画素の輝度値I(x)を取得するものである。輝度取得部73は、取得した輝度値を位相算出部75に送信する。
【0120】
Hilbert変換部74は、背景除去部72からのライン画像データ、すなわち背景成分の除去されたライン画像データから、上記の式(15)に基づいて、位置xにおける移相光パタンによる画素の輝度値I^(x)を算出するものである。Hilbert変換部74は、算出した輝度値を位相算出部75に送信する。
【0121】
位相算出部75は、輝度取得部73からの輝度値I(x)と、Hilbert変換部74からの輝度値I^(x)とを用い、上記の式(13)に基づいて、位置xにおける光パタンの位相を算出する。位相算出部75は、算出した位相を位相差算出部76に送信する。なお、位相算出部75は、輝度値I(x)を輝度値I^(x)で除算した後、その逆正接の値を、逆正接DB62を参照することによって求めてもよい。
【0122】
位相差算出部76は、位相算出部75から位置xにおける光パタンの位相φ(x)を受信するとともに、基準位相DB63を参照して位置xにおける光パタンの基準位相φ(x)を取得し、上記位相φ(x)から上記基準位相φ(x)を減算することによって、位置xにおける位相差(位相のずれ)Δφ(x)を算出するものである。位相差算出部76は、算出した位相差を高さ算出部77に送信する。
【0123】
高さ算出部77は、位相差算出部76からの位相差Δφ(x)から、上記の式(16)に基づいて、位置xにおける計測対象12の高さzを算出するものである。高さ算出部77は、算出した高さzを、主走査方向の座標xおよび副走査方向の座標yと関連付けて、三次元形状DB64に格納する。
【0124】
続いて、上記構成の三次元形状計測システム10における処理動作について説明する。三次元形状計測システム10は、まず校正モードに移行して校正を行った後に、計測モードに移行して計測対象12の三次元形状を計測している。
【0125】
校正モードでは、図1に示すように、移動テーブル41上に校正用ターゲット20が適所に載置されて校正が行われる。図8は、校正モードにおいて画像解析・処理ユニット16が行う処理動作を示している。
【0126】
図8に示すように、まず、ライン認識部53は、撮像ユニット15が撮像した校正用ターゲット20の撮影画像を、キャプチャボード44を介して取得する(ステップS11)。次に、ライン認識部53は、取得した撮影画像から、公知の画像認識技術を用いて、校正用ターゲット20に施されたライン25〜28を認識して、ライン25〜28の画像領域を識別する(ステップS12)。
【0127】
次に、間隔算出部54は、ライン認識部53が識別したライン25〜28の画像領域に基づいて、各傾斜面23・24におけるラインの画像上の間隔、すなわちライン25・26の画像上の間隔と、ライン27・28の画像上の間隔とを算出する(ステップS13)。次に、傾き算出部55は、間隔算出部54が算出した間隔と、設定値格納部61から読み出した角θ1または傾斜角αとに基づき、上記の式(7)を利用して傾きφを算出し、算出した傾きφを、出力部48を介して外部に出力する(ステップS14)。そして、校正を繰り返すか否かをユーザに問い合わせ(ステップS15)、繰り返す場合にはステップS11に戻って上記動作を繰り返し、繰り返さない場合には校正モードを終了する。
【0128】
図13は、計測モードにおいて画像解析・処理ユニット16が行う画像解析処理を示している。画像解析・処理ユニット16は、直線状に画素が配列されたライン画像において、その一端部から他端部に向かって順次高さを算出する。よって、まず、主走査方向における画素の位置xを0にセットする(ステップS21)。
【0129】
次に、画像解析・処理ユニット16は、位置xにおける位相φ(x)を取得する(ステップS22)。具体的には、まず、輝度取得部73は、背景除去部72にて背景成分が除去されたライン画像データから、位置xにおける画素の輝度値I(x)を取得する。続いて、Hilbert変換部74が、ライン画像データから、上記の式(15)に基づいて、位置xにおける移相光パタンによる画素の輝度値I^(x)を算出する。なお、Hilbert変換部74が処理を行った後に、輝度取得部73が処理を行ってもよいし、Hilbert変換部74および輝度取得部73が処理を同時に行ってもよい。
【0130】
そして、位相算出部75は、輝度取得部73が取得した位置xにおける輝度値I(x)と、Hilbert変換部74が算出した位置xにおける輝度値I^(x)とから、上記の式(13)に基づいて、位置xにおける光パタンの位相φ(x)を算出する。
【0131】
次に、位相差算出部76は、取得した位置xにおける位相φ(x)から、基準位相DB63を参照して取得した位置xにおける基準位相φ(x)を減算することによって、位置xにおける位相差Δφ(x)を算出する(ステップS23)。次に、高さ算出部77は、位相差算出部76が算出した位相差Δφ(x)から、上記の式(16)に基づいて、位置xにおける計測対象12の高さzを算出する(ステップS24)。高さ算出部77は、このようにして算出した高さzを、主走査方向の座標xおよび副走査方向の座標yと関連付けて、三次元形状DB64に格納する(ステップS25)。
【0132】
続いて、位置xが直線状のライン画像の終端であるか否かを判定する(ステップS26)。ここで、位置xがライン画像の終端である場合は、画像解析処理を終了する。一方、位置xがライン画像の終端でない場合は、注目画素の位置を主走査方向に1画素分ずらすために、xの値を1つ増やす(ステップS27)。そして、ステップS22に戻る。
【0133】
上記のステップS22からステップS27の処理を繰り返すことにより、三次元形状DB64には、計測対象12の主走査方向に沿った各位置における高さ情報が蓄積される。また、上記の画像解析処理が終了すると、移動ユニット11が計測対象12を副走査方向にずらし、その後、撮像ユニット15が計測対象12を再び撮像し、撮像によって得られたライン画像に基づいて再び上記の画像解析処理が行われる。これにより、三次元形状DB64には、副走査方向に沿った各位置における高さ情報も順次蓄積され、最終的に、計測対象12全体の三次元形状情報が蓄積される。
【0134】
なお、Hilbert変換部74が、式(15)に基づいて位置xにおける移相光パタンの輝度値を求める際に、式(15)のパラメータNの値を、入力・設定部47を介して変更可能にすることが好ましい。これは、位置xにおける移相光パタンの輝度を算出する際に用いる注目画素近傍の画素の数を可変にすることを意味する。あるいは、空間縞解析法で用いるフィルタのサイズを可変にするともいえる。
【0135】
ここで、Nの値を大きくする(すなわちフィルタのサイズを大きくする)と、より多くの画素に基づいて位相を算出することになり、最終的に求められる高さ情報の算出精度が向上する。一方、Nの値を小さくする(すなわちフィルタのサイズを小さくする)と、I^(x)の算出に必要な演算回数が少なくなり、算出速度が向上する。また、注目画素近傍の画素に黒点などの輝度の不連続点が含まれ難くなるので、不連続点による誤差伝搬の影響を抑制することもできる。
【0136】
それ以外にも、撮像ユニット15によって撮像されたライン画像に対して、輝度取得部73およびHilbert変換部74に送信する前に前処理を行ってもよい。前処理の内容としては、例えばライン画像に含まれるノイズの除去などが挙げられる。さらに、位相算出部75が位相を算出した後に、算出した位相に対して後処理を行ってもよい。例えば、位相算出部75と位相差算出部76との間にPLL(Phase Locked Loop)部をさらに設け、ノイズによる誤差を軽減することなどが挙げられる。
【0137】
なお、上記の前処理は、図13に示すステップS22よりも前に行えばよく、一方上記の後処理は、図13に示すステップS22とステップS23との間に行えばよい。
【0138】
以上により、画像解析・処理ユニット16は、校正用ターゲット20と、撮像ユニット15によって撮像されたライン画像とを基に、校正を行うことができると共に、撮像ユニット15によって撮像されたライン画像を基に、計測対象12の三次元形状を計測することができる。
【0139】
次に、本実施形態の校正用ターゲット20の変形例について説明する。図14〜図19は、校正用ターゲット20の変形例を示しており、各図の(a)に概要を示し、(b)に正面図および平面図を示している。
【0140】
図14は、正面から見た形状がM字形状である校正用ターゲット20を示している。図示のように、校正用ターゲット20は、内側に傾斜面を有する形状であってもよい。また、図15は、正面から見た形状が台形である校正用ターゲット20を示している。図示のように、校正用ターゲット20は、傾斜面同士が交わらなくてもよい。
【0141】
また、図16および図17は、傾斜面が曲面で形成されていた校正用ターゲット20を示している。また、図18は、傾斜角が異なる傾斜面を有する校正用ターゲット20を示している。これらの場合、ラインは、真上から見たラインの間隔、すなわち底面に正射影したラインの間隔が等しくなるように傾斜面に施せばよい。
【0142】
また、図19は、正面から見た形状が、三角形を複数個配列した形状である校正用ターゲット20を示している。この場合、傾斜面の組合せが複数個となるので、図示の校正用ターゲット20を撮像ユニット15が1度撮影することにより、傾き算出部55が複数の傾きφを算出することができる。従って、傾き算出部55が、算出した複数の傾きφの平均値を、出力部48を介して外部に出力すると、傾きφの誤差を減らすことができるので、傾きφの精度を向上させることができる。換言すれば、傾きφの精度を向上させるために、撮像ユニット15が校正用ターゲットを複数回撮影する必要が無い。
【0143】
以上のように、校正用ターゲット20としては、種々の形状のものを利用することができる。また、本実施形態では、傾斜面に2本のラインを施し、ラインの間隔を利用して撮像ユニット15の傾きφを校正しているが、傾斜面に1本の太いラインを施し、該ラインの線幅を利用して撮像ユニット15の傾きφを校正してもよい。このように、傾斜方向に幅を規定できるものであれば、任意のパタンを利用することができる。
【0144】
次に、計測対象12に投影する光パタンの好ましい変形例について説明する。
【0145】
本実施形態の三次元形状計測システム10や、上述した特許文献1や非特許文献1の装置(以下「従来の装置」という)では、計測対象12に投影する光パタンの輝度が、ラインセンサ34の主走査方向に沿って変化する構成となっている。ここで、従来の装置では、位相をずらした最低2種類の光パタンを計測対象に投影した状態で撮像するために、光パタンの輝度の変化のピッチが最も小さくなる方向(以下「最小ピッチ方向」という)を、ラインセンサの主走査方向と異ならせる必要があった。なぜならば、それら2つの方向を一致させてしまうと、ラインセンサの主走査方向に対して垂直な方向の搬送方向に計測対象を搬送しても、計測対象の同一部分に投影される光パタンの位相がずれないからである。
【0146】
一方、本実施形態の三次元形状計測システム10では、光パタンが投影された計測対象12をラインセンサ34によって撮像して得られた1つのライン画像のみに基づいて、光パタンの位相、ひいては位相差を算出することができる。従って、光パタンの最小ピッチ方向をラインセンサ34の主走査方向と一致させても何ら問題は生じない。
【0147】
ここで、ラインセンサ34によって撮像したライン画像において、光パタンの輝度のピッチは、高さ計測を行う上で、計測精度を決定する重要な因子になる。具体的には、ピッチを小さくすればするほど計測精度が向上する。そして、ラインセンサ34が撮像したライン画像において光パタンの輝度のピッチが最も小さくなるのは、光パタンの最小ピッチ方向が、ラインセンサ34の主走査方向と一致する場合である。従って、本実施形態の三次元形状計測システム10において、計測対象12に対して投影される光パタンの最小ピッチ方向は、ラインセンサ34の主走査方向と平行である(一致している)ことが好ましい。
【0148】
ところで、従来の装置では、光パタンを複数のラインセンサで撮像するため、複数のラインセンサそれぞれの撮像領域に対して光パタンを投影する必要がある。ここで、複数のラインセンサのそれぞれに個別の専用の投影部を設ける場合、投影される光パタンが投影部ごとにバラついてしまうという問題が生じる。このような問題から、投影部を1つにすることが一般的となっている。ここで、投光ユニットを1つにするためには、複数のラインセンサの撮像領域全てカバーできる光パタンを投影する必要がある。
【0149】
しかしながら、本実施形態の三次元形状計測システム10では、単一のラインセンサ34を用いて計測対象12を撮像する構成であるため、投光ユニット13によって投影される光パタンは、単一のラインセンサ34の撮像領域のみをカバーすればよい。よって、本実施形態の三次元形状計測システム10において、投影する光パタンは、図1および図2のように二次元方向に広がったものでなくてもよい。
【0150】
この際、光パタンのエネルギー効率を高める上では、投光ユニット13が、集光した光パタンを投影することが好ましい。具体的には、投光ユニット13が、図17に示すように、ラインセンサ34の主走査方向に延在する1軸に集光した直線形状の光パタン(厳密には副走査方向に微小有限幅を有する)を計測対象12に投影することが好ましい。この場合、投光ユニット13は、光パタンを1軸集光するための1軸集光素子を備え、この1軸集光素子によって光パタンを主走査方向に延在する直線形状に集光すればよい。この直線形状の光パタンは、ラインセンサ34の撮像領域をカバーするように投影される。
【0151】
なお、上記1軸集光素子の具体例としては、フレネルレンズまたはシリンドリカルレンズなどが挙げられる。これらのレンズをパタン生成素子32と計測対象12との間に配置すれば、計測対象12に対して1軸に集光した光パタンを投影することができる。
【0152】
次に、本実施形態の三次元形状計測システム10の変形例について説明する。上記の説明では、撮像ユニット15が1本のラインセンサ34のみを備える構成としたが、本発明はこれに限定されず、複数のラインセンサを備えていてもよい。複数本のラインセンサを備えることにより、ラインセンサの輝度ノイズを統計的に除去することができ、三次元形状計測の安定性を向上させることができる。あるいは、計測対象12の同一部分を複数回撮像することによってノイズを除去する構成にしてもよい。
【0153】
また、本実施形態では、三次元形状計測システム10は、別々の構成となっているが、それらの構成の一部または全部を一体の構成とすることもできる。また、本実施形態では、ライン画像を空間縞解析法に基づいて解析しているが、時間縞解析法に基づいて解析することもできる。
【0154】
〔実施の形態2〕
次に、本発明の別の実施形態について図20〜図25に基づいて説明すると以下の通りである。図20は、本実施形態に係る三次元形状計測システム10に利用される校正用ターゲット80の外観を示している。図20に示す校正用ターゲット80は、図3に示す校正用ターゲット20に比べて、傾斜面に施されるパタンが異なり、その他の構成は同様である。なお、上記実施形態で説明した構成と同様の機能を有する構成には同一の符号を付して、その説明を省略する。
【0155】
図20に示す校正用ターゲット80は、図3に示す校正用ターゲット20と同様に、底面81と底面に平行な稜線82とを有し、稜線の両側に傾斜面83・84を有している。傾斜面83・84は、底面81に対する角度である傾斜角αが等しくなるように形成されている。一方、本実施形態の校正用ターゲット80は、図3に示す校正用ターゲット20と異なり、各傾斜面83・84に縞状のパタンが繰り返し形成されている。
【0156】
ところで、上記実施形態では、ラインの間隔を計測するためにラインがぼやけることなく撮像ユニット15が撮影する必要がある。すなわち、撮像ユニット15は、ライン25〜28の全てにピントを合わせて撮影できる必要がある。逆に言うと、ライン25〜28は、図25に示すような、ピントの合う範囲を示す被写界深度内に形成される必要がある。
【0157】
しかしながら、微細な対象を高解像度で計測する三次元形状計測システムの場合、上記被写界深度が狭くなるので、校正用ターゲット20に形成されるライン等のパタンの範囲が制限されることになる。
【0158】
これに対し、本実施形態の校正用ターゲットは、縞状のパタンが繰り返し形成されているので、一部のパタンにピントが合えば、撮像ユニット15の光軸方向を校正することができる。図21は、上記構成の校正用ターゲット80を、移動ユニット11の上面に載置して撮像ユニット15が撮影した撮影画像を示している。同図の(a)は、撮像ユニット15が正常な状態に取り付けられた場合を示しており、(b)は、撮像ユニット15が傾いた状態に取り付けられた場合を示している。
【0159】
図21を参照すると、各傾斜面83・84においてピントの合う領域(矢印で示す領域)が存在することが理解できる。従って、当該領域のパタンを傾斜面83・84同士で比較することにより、上述のように、基準面に対する撮像ユニット15の傾きの校正を行うことができ、被写界深度の影響を受けることが無い。また、撮像ユニット15は、繰り返し形成された上記パタンの何れかにピントが合うようにピント位置を調整すればよいので、調整可能なピント位置の範囲を拡大することができる。
【0160】
さらに、本実施形態の校正用ターゲットは、被写界深度による現象を利用して、撮像ユニット15の光軸方向を校正することができる。再び図21を参照すると、上記正常な状態の場合、各傾斜面83・84においてピントの合う領域の幅(矢印で示す長さ)が等しいことが理解できる。一方、上記傾いた状態の場合、各傾斜面83・84においてピントの合う領域の幅が異なることが理解できる。従って、各傾斜面83・84においてピントの合う領域の幅が同じとなるように撮像ユニット15を調整することにより、撮像ユニット15の光軸方向を校正することができる。
【0161】
従って、本実施形態の校正用ターゲット80を利用して、撮像ユニット15が撮影を行い、作成された撮影画像における傾斜面83・84の領域において、ピントの合う領域の幅同士を比較することにより、撮像ユニット15が正常な状態であるか傾いた状態であるかを判断できる。その結果、基準面に対する撮像ユニット15の傾きの校正を容易に行うことができる。
【0162】
なお、本実施形態では、縞状のパタンを利用しているが、繰返しのパタンであれば任意のパタンを利用することができる。
【0163】
次に、縞の間隔が満たすべき条件について図22〜図24を参照して説明する。図22は、縞状のパタンの一部を拡大して示している。図示のように、白ラインの線幅をWw(μm)とし、黒ラインの線幅をBw(μm)とする。
【0164】
上記縞の間隔が満たすべき条件には、カメラ分解能による条件と、レンズ解像力による条件と、被写界深度による条件とがある。
【0165】
まず、カメラ分解能による条件として、白ラインおよび黒ラインの両方は、カメラ15において1画素以上で撮影される必要がある。このため、カメラの分解能をPw(μm/pix)とすると、次の式を満たす必要がある。
Pw<Ww、かつPw<Bw ・・・(17)
例えば、カメラの分解能が20μm/pixである場合、白ラインおよび黒ラインの線幅Ww・Bwは20μmよりも大きくする必要がある。
【0166】
次に、レンズ解像力の指標としてMTFがある。MTFは、被写体の持つコントラストをどの程度忠実に再現できるか表現した指標であり、さまざまな間隔(LinePair/mm)の縞を想定しグラフ化したものである。図23および図24は、上記MTFの一例を示している。
【0167】
例えば、レンズ周辺で70%のコントラストを確保できる空間周波数が10(LP/mm)以下である場合、図23および図24のグラフから、白ラインおよび黒ラインの線幅Ww・Bwは、1000μm/(10×2)=50μm以上である必要がある。
【0168】
従って、カメラ分解能による条件とレンズ解像力による条件とから、線幅Ww・Bwの下限値が決定される。なお、縞状のパタンは、撮像ユニット15の光軸に垂直な面ではなく、傾斜面83・84に形成されているため、上記光軸と傾斜面83・84とのなす角θ1を考慮して、上記下限値の1/|sinθ1|倍が設定されることになる。
【0169】
次に、被写界深度による条件を説明する。撮影画像の視野内においてピントの合う範囲がZ(μm)である場合、校正用ターゲット80の傾斜面83・84上でピントの合う範囲は|Z/cosθ1|となる。この範囲内に2周期の縞を確保する必要がある。従って、次の式を満たす必要がある。
(Ww+Bw)×3(周期)×2(平面)<|Z/cosθ1| ・・・(18)
例えば、Z=1000(μm)、θ1=45°の場合、Ww+Bw<235.7(μm)となる。ここで、Ww=Bwとすると、Bw<117.8(μm)となり、これによりBwの上限値が設定される。
【0170】
以上の条件を利用して、線幅Ww・Bwの上限値および下限値が設定されることになる。
【0171】
〔実施の形態3〕
次に、本発明の他の実施形態について図26〜図30に基づいて説明すると以下の通りである。図26は、本実施形態に係る三次元形状計測システム10に利用される校正用ターゲット90の外観を示している。図26に示す校正用ターゲット90は、図20に示す校正用ターゲット80に比べて、形状が四角錐となっている点と、4つの傾斜面に縞状のパタンが形成されている点とが異なり、その他の構成は同様である。なお、上記実施形態で説明した構成と同様の機能を有する構成には同一の符号を付して、その説明を省略する。
【0172】
図26に示すように、各傾斜面に形成される縞は、上記傾斜面と底面との交線に平行に形成されている。上記構成の校正用ターゲット90を、移動ユニット11の上面に載置して撮像ユニット15が撮影を行う。その撮影画像に関して、底面との交線が対向する傾斜面同士のパタンの画像を比較することにより、撮像ユニット15の光軸方向の上記対向方向への傾きを校正することができる。従って、本実施形態の校正用ターゲット90を利用することにより、撮像ユニット15の光軸方向に関して、2方向への傾きを校正することができる。
【0173】
次に、本実施形態の校正用ターゲット90の変形例について説明する。図27〜図30は、校正用ターゲット20の変形例を示している。図27、図28、および図30は、各図の(a)に概要を示し、(b)に平面図を示している。また、図29は、正面図および平面図を示している。
【0174】
図27は、直方体において上面から四角錐の形状が取り除かれた校正用ターゲット90を示している。図示のように、校正用ターゲット90は、内側に傾斜面を有する形状であってもよい。また、図28は、四角錐において上部が取り除かれた校正用ターゲット90を示している。図示のように、校正用ターゲット90は、傾斜面同士が交わらなくてもよい。
【0175】
また、図29は、傾斜面が半球の球面で形成された校正用ターゲット90を示している。この場合、縞状のパタンは、真上から見た縞状のパタン、すなわち底面に正射影した縞状のパタンが同心円となるように形成すればよい。図示の校正用ターゲット90を利用すると、撮像ユニット15の光軸方向に関して全方向の傾きを校正することができる。
【0176】
また、図30は、図20に示す校正用ターゲット80を2個用いて十字形状に組み合わせた校正用ターゲット90を示している。以上のように、校正用ターゲット90としては、種々の形状のものを利用することができる。
【0177】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【0178】
例えば、上記実施形態では、撮像ユニット15の正常な光軸方向を、基準面に垂直な方向としているが、ラインセンサ34の方向が基準面に含まれるのであれば、特許文献1に記載のように、基準面に垂直な方向から所定の角度だけ傾いた方向とすることもできる。
【0179】
また、上記実施形態では、本発明を三次元形状計測システムに適用しているが、実装基板を検査する装置など、FA(Factory Automation)用の画像検査装置に適用することもできる。さらに、カメラの傾きが画像を捉えるのに重要な働きをし、かつ、カメラの傾きを容易に修正できない任意の撮影システムに本発明を適用することができる。
【0180】
最後に、画像解析・処理ユニット16の各機能ブロック、特に計測処理部71は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
【0181】
すなわち、画像解析・処理ユニット16は、各機能を実現する制御プログラムの命令を実行するCPU、上記プログラムを格納したROM、上記プログラムを展開するRAM、上記プログラム及び各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像解析・処理ユニット16の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記画像解析・処理ユニット16に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【0182】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
【0183】
また、画像解析・処理ユニット16を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【0184】
本発明によれば、撮影装置の校正を容易に行うことができるので、例えば実装基板を検査する画像検査装置などに好適に適用することができる。
【図面の簡単な説明】
【0185】
【図1】本発明の一実施形態である三次元形状計測システムの概略構成を示す図であり、校正用ターゲットを用いて校正を行う様子を示す図である。
【図2】上記三次元形状計測システムの概略構成を示す図であり、計測対象の計測を行う様子を示す図である。
【図3】上記校正用ターゲットの外観を示す斜視図である。
【図4】上記校正用ターゲットの撮影画像を示す図であり、(a)は、上記三次元形状計測システムの撮像ユニットが正常な場合を示しており、(b)は、上記撮像ユニットが傾いた場合を示している。
【図5】上記撮像ユニットと上記校正用ターゲットの傾斜面とを正面側から見た幾何学的位置関係を模式的に示す図である。
【図6】上記三次元形状計測システムの要部構成を示すブロック図である。
【図7】上記三次元形状計測システムにおける画像解析・処理ユニットの要部構成を示すブロック図である。
【図8】校正モードにおいて上記画像解析・処理ユニットが行う処理動作を示すフローチャートである。
【図9】上記三次元形状計測システムにおける投光ユニットが投影する光パタンの一例を示す図である。
【図10】計測対象の形状を示す図であり、(a)は上面図であり、(b)は側面図である。
【図11】上記計測対象に光パタンを投影した場合に、上記計測対象に投影された光パタンの歪みを示す図であり、(a)は上面図であり、(b)は基準面での輝度変動と凸部での輝度変動を示す波形図である。
【図12】上記画像解析・処理ユニットにおける計測処理部の要部構成を示すブロック図である。
【図13】計測モードにおいて上記画像解析・処理ユニットが行う処理動作を示すフローチャートである。
【図14】上記校正用ターゲットの変形例の概要を示す図であり、(a)は斜視図であり、(b)は正面図および平面図である。
【図15】上記校正用ターゲットの変形例の概要を示す図であり、(a)は斜視図であり、(b)は正面図および平面図である。
【図16】上記校正用ターゲットの変形例の概要を示す図であり、(a)は斜視図であり、(b)は正面図および平面図である。
【図17】上記校正用ターゲットの変形例の概要を示す図であり、(a)は斜視図であり、(b)は正面図および平面図である。
【図18】上記校正用ターゲットの変形例の概要を示す図であり、(a)は斜視図であり、(b)は正面図および平面図である。
【図19】上記校正用ターゲットの変形例の概要を示す図であり、(a)は斜視図であり、(b)は正面図および平面図である。
【図20】本発明の別の実施形態である三次元形状計測システムにて利用される校正用ターゲットの外観を示す斜視図である。
【図21】上記校正用ターゲットの撮影画像を示す図であり、(a)は、上記三次元形状計測システムの撮像ユニットが正常な場合を示しており、(b)は、上記撮像ユニットが傾いた場合を示している。
【図22】上記校正用ターゲットの傾斜面に形成される縞状のパタンの一部を拡大して示す図である。
【図23】レンズ解像力の指標であるMTFの一例を示すグラフである。
【図24】上記MTFの他の例を示すグラフである。
【図25】被写界深度を説明するための図である。
【図26】本発明の他の実施形態である三次元形状計測システムにて利用される校正用ターゲットの外観を示す斜視図である。
【図27】上記校正用ターゲットの変形例の概要を示す図であり、(a)は斜視図であり、(b)は平面図である。
【図28】上記校正用ターゲットの変形例の概要を示す図であり、(a)は斜視図であり、(b)は平面図である。
【図29】上記校正用ターゲットの変形例の概要を示す正面図および平面図である。
【図30】上記校正用ターゲットの変形例の概要を示す図であり、(a)は斜視図であり、(b)は平面図である。
【図31】三角測量の原理を説明するためのグラフである。
【符号の説明】
【0186】
10 三次元形状計測システム(三次元形状計測装置)
11 移動ユニット
12 計測対象
13 投光ユニット
14 光パタン
15 撮像ユニット(撮影装置)
16 画像解析・処理ユニット(校正支援装置)
17 移動コントローラ
18 投光コントローラ
20・80・90 校正用ターゲット
21・81 底面
22・82 稜線
23・24 傾斜面
25〜28 ライン(校正用パタン)
44 キャプチャボード(画像取得手段)
45 制御部
46 記憶部
47 入力・設定部
48 出力部
51 校正処理部
52 設定値取得部
53 ライン認識部(画像取得手段、パタン認識手段)
54 間隔算出部(寸法算出手段)
55 傾き算出部(校正情報作成手段)
61 設定値格納部

【特許請求の範囲】
【請求項1】
基準面に載置された撮影対象の撮影を行う撮影装置に関して、上記撮影装置の光軸方向を校正するための校正用ターゲットであって、
上記基準面との接触面となる底面と、
該底面に対し傾斜した複数の傾斜面とを有しており、
交線が上記底面と平行である2つの上記傾斜面には、上記底面に正射影したパタンが同じである校正用パタンがそれぞれ形成されていることを特徴とする校正用ターゲット。
【請求項2】
上記2つの傾斜面を複数組有することを特徴とする請求項1に記載の校正用ターゲット。
【請求項3】
各組における上記2つの傾斜面の交線に関して、少なくとも2組の上記交線の方向が同じであることを特徴とする請求項2に記載の校正用ターゲット。
【請求項4】
各組における上記2つの傾斜面の交線に関して、少なくとも2組の上記交線の方向が異なることを特徴とする請求項2に記載の校正用ターゲット。
【請求項5】
上記2つの傾斜面のそれぞれに上記校正用パタンが繰り返し形成されていることを特徴とする請求項1に記載の校正用ターゲット。
【請求項6】
上記2つの傾斜面には、上記撮影装置の被写界深度に対応する範囲よりも広い範囲に上記校正用パタンが形成されていることを特徴とする請求項1に記載の校正用ターゲット。
【請求項7】
上記2つの傾斜面は、底面との傾斜角が等しく、上記校正用パタンの間隔および/または幅が等しいことを特徴とする請求項1に記載の校正用ターゲット。
【請求項8】
基準面に載置された撮影対象の撮影を行う撮影装置に関して、上記撮影装置の光軸方向の校正を支援する校正支援装置であって、
請求項1から7までの何れか1項に記載の校正用ターゲットを上記撮影装置が撮影した撮影画像を取得する画像取得手段と、
該画像取得手段が取得した撮影画像から、上記2つの傾斜面にそれぞれ形成された2つの校正用パタンを認識するパタン認識手段と、
該パタン認識手段が認識した上記2つの校正用パタンの寸法を算出する寸法算出手段と、
該寸法算出手段が算出した上記2つの校正用パタンの寸法に基づいて、上記校正のための校正情報を作成する校正情報作成手段とを備えることを特徴とする校正支援装置。
【請求項9】
上記校正情報作成手段は、上記寸法算出手段が算出した上記2つの校正用パタンの寸法が等しい場合、上記撮影装置の光軸方向が正常であることを示す上記校正情報を作成することを特徴とする請求項8に記載の校正支援装置。
【請求項10】
上記校正情報作成手段は、上記寸法算出手段が算出した上記2つの校正用パタンの寸法の比に基づいて、上記撮影装置の光軸方向に関する正常方向からの傾きを算出し、算出した傾きを上記構成情報として作成することを特徴とする請求項8に記載の校正支援装置。
【請求項11】
基準面に載置された撮影対象の撮影を行う撮影装置に関して、請求項1から7までの何れか1項に記載の校正用ターゲットを利用して、上記撮影装置の光軸方向の校正を支援する校正支援装置の校正支援方法であって、
上記校正用ターゲットを上記撮影装置が撮影した撮影画像を取得する画像取得ステップと、
該画像取得ステップにて取得された撮影画像から、上記2つの傾斜面にそれぞれ形成された2つの校正用パタンを認識するパタン認識ステップと、
該パタン認識ステップにて認識された上記2つの校正用パタンの寸法を算出する寸法算出ステップと、
該寸法算出ステップにて算出された上記2つの校正用パタンの寸法に基づいて、上記校正のための校正情報を作成する校正情報作成ステップとを含むことを特徴とする校正支援方法。
【請求項12】
基準面に載置された撮影対象の撮影を行う撮影装置に関して、請求項1から7までの何れか1項に記載の校正用ターゲットを利用して、上記撮影装置の光軸方向の校正を支援する校正支援装置を動作させるための校正支援プログラムであって、
上記校正用ターゲットを上記撮影装置が撮影した撮影画像を取得する画像取得ステップと、
該画像取得ステップにて取得された撮影画像から、上記2つの傾斜面にそれぞれ形成された2つの校正用パタンを認識するパタン認識ステップと、
該パタン認識ステップにて認識された上記2つの校正用パタンの寸法を算出する寸法算出ステップと、
該寸法算出ステップにて算出された上記2つの校正用パタンの寸法に基づいて、上記校正のための校正情報を作成する校正情報作成ステップとをコンピュータに実行させるための校正支援プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate

【図9】
image rotate

【図21】
image rotate


【公開番号】特開2009−36589(P2009−36589A)
【公開日】平成21年2月19日(2009.2.19)
【国際特許分類】
【出願番号】特願2007−199927(P2007−199927)
【出願日】平成19年7月31日(2007.7.31)
【出願人】(000002945)オムロン株式会社 (3,542)
【Fターム(参考)】