三次元形状測定装置
【課題】 測定精度の向上を可能とする三次元測定装置を提供する。
【解決手段】 三次元形状測定装置(100)は、所定のパターン光を被検査物に投影する投影光学部(20)と、被検査物上への所定のパターン光の投影により生じるパターン像を撮像し、さらに被検査物上への均一照明光の投影により生じる均一像を撮像する撮像部(30)と、撮像部からのパターン像の画像データを記憶する記憶部(43)と、撮像部からの均一像に基づいて記憶部に記憶された画像データのうち信頼性の低い画像データを除去する信号除去部(44)と、信号除去部で除去されなかった画像データに基づいて被検査物の形状の情報を求める演算処理部(42)と、を備える。
【解決手段】 三次元形状測定装置(100)は、所定のパターン光を被検査物に投影する投影光学部(20)と、被検査物上への所定のパターン光の投影により生じるパターン像を撮像し、さらに被検査物上への均一照明光の投影により生じる均一像を撮像する撮像部(30)と、撮像部からのパターン像の画像データを記憶する記憶部(43)と、撮像部からの均一像に基づいて記憶部に記憶された画像データのうち信頼性の低い画像データを除去する信号除去部(44)と、信号除去部で除去されなかった画像データに基づいて被検査物の形状の情報を求める演算処理部(42)と、を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被検査物の三次元形状を測定するための位相シフト法又はフーリエ変換法等を利用したパターン投影型の三次元形状測定装置に関するものである。
【背景技術】
【0002】
一般に、被検査物の三次元形状を非接触で測定する手法として、位相シフトを用いた格子パターン投影法がよく知られている。具体的には、格子パターン投影法は照度分布が一方向に白黒と並んだ格子パターンを被検査物に投影しパターン画像を得て、引き続き、格子パターンを横方向に例えばπ/2ずつ順次移動させて、位相が異なる4枚の画像を得ている。そして格子パターン投影法は、得られた4枚のパターン画像より画素毎にその点における格子の位相を求め、その位相情報から被検査物の形状を演算し、被検査物の高さを求めている。
【0003】
特許文献1に開示された格子パターン投影法は、輝度飽和が生じる際に三次元形状の測定ができなくなるため、格子パターンの投影を大きな光量と小さな光量とで投影して適正な光量を投影している。また、輝度飽和した画素以外からの三次元形状の測定をしている。
【0004】
さらに、被検査物の三次元形状を非接触で測定する手法として、位相シフトを行わず、格子パターンをフーリエ変換して三次元形状を測定するフーリエ変換法も提案されている。非特許文献1は、フーリエ変換法を示すのみで、輝度飽和など撮像した画像の輝度については何ら言及していない。
【特許文献1】特開平2005−214653号公報
【非特許文献1】応用物理第62巻第6号(1993)579ページから583ページ 「フーリエ変換法によるしま画像解析とその応用」
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかし、位相シフト法又はフーリエ変換法による三次元測定に際しては、格子パターンの光がまったく投影されない深い穴が開いた被検査物があったり、格子パターンの光が暗くなってしまう急な段差があったりすると正確な三次元形状を測定することができない。また、格子パターンの光量が多少あったとしてもその画像の画素から無理やり被検査物の形状を演算し計算してしまうと、本来なら正確に測定できる箇所も影響を受けて精度が悪くなってしまうことがある。位置飛びという現象はこれに起因する。このように、格子パターン投影法では被検査物の三次元形状の測定に不向きな箇所を無理やり演算すると、被検査物の高さ精度に影響する問題があった。
【0006】
そこで本発明は、正確な位相計算により測定精度の向上を可能とする三次元形状測定装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
第1の観点の三次元形状測定装置は、所定のパターン光を被検査物に投影する投影光学部と、被検査物上への所定のパターン光の投影により生じるパターン像を撮像し、さらに被検査物上への均一照明光の投影により生じる均一像を撮像する撮像部と、撮像部からのパターン像の画像データを記憶する記憶部と、撮像部からの均一像に基づいて記憶部に記憶された画像データのうち信頼性の低い画像データを除去する信号除去部と、信号除去部で除去されなかった画像データに基づいて被検査物の形状の情報を求める演算処理部と、を備える。
この構成により、信頼性の低い画像データを除去してから被検査物の形状の情報を求めるため、そもそも形状測定できない箇所を周囲のデータを利用して算出してしまうことがなく信頼性を向上することができる。また本来なら正確に形状を測定できる箇所に悪影響を与えることもない。これにより、被検査物の形状の測定精度が向上する。
【0008】
第2の観点の三次元形状測定装置は、所定のパターン光を被検査物に投影する投影光学部と、被検査物上に投影される所定のパターン光を位相シフトさせる走査部と、被検査物上への所定のパターン光の走査投影により生じるパターン像を撮像する撮像部と、走査部による位相シフトごとに撮像部からのパターン像の画像データを記憶する記憶部と、記憶部に記憶された画像データのうちパターン光のコントラストが所定値以下の画像データを除去する信号除去部と、信号除去部で除去されなかった、画像データに基づいて被検査物の高さ情報を求める演算処理部と、を備える。
この構成により低コントラストの画像データを除去してから形状の算出ができるため、被検査物の形状の測定精度が向上する。
【0009】
第3の観点の三次元形状測定装置は、所定のパターン光を被検査物に投影する投影光学部と、被検査物上に投影される所定のパターン光を位相シフトさせる走査部と、被検査物上への所定のパターン光の走査投影により生じるパターン像を撮像する撮像部と、走査部による位相シフトごとに撮像部からのパターン像の画像データを記憶する記憶部と、記憶部に記憶された画像データのうち所定輝度値以下の画像データを除去する信号除去部と、信号除去部で除去されなかった画像データに基づいて、被検査物の高さ情報を求める演算処理部と、を備える。
この構成により所定輝度値以下の画像データを除去してから形状の算出ができるため、被検査物の形状の測定精度が向上する。
【発明の効果】
【0010】
本発明によれば、位相シフト法又はフーリエ変換法に基づくパターン投影型の三次元形状測定を行うときに、信頼性の低い画像データを除去することで、測定精度の向上が可能となる三次元外形測定装置を提供することができる。
【発明を実施するための最良の形態】
【0011】
以下、図面を参照して本発明の実施形態について詳細に説明する。
<三次元形状測定装置100の構成>
【0012】
図1は、本実施形態に係る三次元形状測定装置100の構成を示す説明図である。
この三次元形状測定装置100は大別して、被検査物SAを載置するステージ11と、ステージ11に向けて一方向に白黒と並んだ格子パターンを投影する格子パターン投影機構20と、撮像機構30と、位相の計算や画像データなどを保存するため、例えばパーソナルコンピュータからなる制御部40とで構成される。
【0013】
格子パターン投影機構20は、照明光を照射する光源21と、光軸方向と平行になった照明光に所定の格子パターンを付与し、その格子パターンを走査させるパターン形成走査部22と、格子パターン光を投影する投影光学系23とで構成される。投影光学系23は複数のレンズの組み合わせにより構成される。パターン形成走査部22は例えば液晶板で構成され、π/2ごとに格子パターンを走査する。光源21から出射された照明光は、パターン形成走査部22で形成された格子パターンを照射する。パターン形成走査部22は液晶板を全透過状態にし、光源21に光量をそのまま被検査物SAに投影することもできる。この場合には、光源21からの均一照明光が斜め方向から被検査物SAに照射される。
【0014】
撮像機構30は、被検査物SAから反射された格子パターン光を結像する結像光学系31と、格子パターン光を撮像し画像データを出力するCCD又はCMOS等の撮像装置33とにより構成される。また、結像光学系31の周囲に補助照明光源39が配置される。このため補助照明光源39は、均一照明光をほぼ真上から被検査物SAに照明することができる。
【0015】
さらに、制御部40は、格子パターン投影機構20のパターン形成走査部22を制御する位相制御部41を備えている。また制御部40は、撮像装置33で撮像された格子パターン画像を演算処理する演算処理部42と、各種パラメータや撮像された画像データを保存する記憶部43と、データ等を表示する表示部49とを備えている。また制御部40は、撮像装置33から出力された画像データのうち不要な信号を除去する信号除去部44を備えている。
【0016】
位相制御部41は、パターン形成走査部22を制御して格子パターンを投影光学系23の光軸と垂直方向にシフトさせる。パターン形成走査部22を透過したパターン光は、投影光学系23によりステージ11上の被検査物SAに投影される。投影したパターン光の像は、明度が白黒白黒に変化するものになっている。また、格子パターン投影機構20の光軸が撮像機構30の光軸に対して傾いている入射角度は調整可能である。
なお、フーリエ変換法の場合には位相制御部41は不要となる。
【0017】
被検査物SAで反射されたパターン反射光は、撮像機構30の結像光学系31により撮像装置33の受光面に結像される。パターン反射光は撮像装置33で光電変換されて、被検査物SAにより変形された格子パターンの画像データを得ることができる。以下同様に、パターン形成走査部22の格子パターンを例えばπ/2ずつ位相をシフトさせて被検査物SAにより変形された格子パターンを含むパターン反射光を撮像する。この移動毎に撮像された画像データは、制御部40の記憶部43に保存される。
【0018】
これらの画像データは、被検査物SAを複数に分割して撮像した画像であり、隣り合う画像を連結することにより、被検査物SAの全体画像が得られる。また、この時に、撮像した際の入射角度、格子ピッチ、位相シフトのステップ数等の撮像に関するパラメータを合わせて記憶部43に保存する。
【0019】
<補助照明光源39による欠陥座標の求め方>
補助照明光源39を使って欠陥座標を求めるとともに、格子パターン照明による三次元形状の測定について説明する。
図2は、補助照明光源39を使い、被検査物SAの三次元形状を測定する全体的なフローチャートである。
【0020】
ステップS11では、被検査物SAがステージ11に載置される。
ステップS12では、補助照明光源39が点灯し被検査物SAがほぼ真上から均一照明される。この被検査物SAからの反射光が撮像装置33に入射し、画像撮影が行われる。
【0021】
ステップS13では、均一照明による画像データから欠陥座標を算出する。この欠陥座標の算出の詳細については図3及び図4を使って説明する。
ステップS14では、位相制御部41が、パターン形成走査部22を制御して格子パターンにし、光源21からの光を格子パターンに照射する。そして格子パターンが被検査物SAに投影される。
ステップS15では、撮像装置33が被検査物SAから反射された第1の位相状態の格子パターンの反射光を受光する。記憶部43が被検査物SAの格子パターンの画像データを記憶する。
【0022】
ステップS16において、記憶部43が必要な位相分の画像データを記憶しているか否かを判断する。記憶部43が必要な位相分の画像データを記憶していればステップS18に進み、不足していればステップS17に進む。例えばπ/2位相であれば0から2πまで4枚の画像データ(I1,I2,I3,I4)を取得する。フローチャートの右側に4枚の画像データ(I1,I2,I3,I4)の例を示す。
ステップS17では、位相制御部41がパターン形成走査部22を制御して例えば、π/2の位相をシフトし、再び、ステップS14へ進みシフトした格子パターンを照射する。
【0023】
ステップS18では、4枚の画像データ(I1,I2,I3,I4)のうち、ステップS13で算出された欠陥座標領域の画像データを削除する。
【0024】
ステップS19では、欠陥座標の画像データが削除された画像データを演算処理部42へ読み込む。演算処理部42は各画素(x,y)に対して各位相φ(x,y)を算出する。フローチャートの右側に算出した位相の例を示す。
φ(x,y)=arctan{(I4−I2)/(I1−I3)}
【0025】
次に、ステップS20では、各画素の位相分布φ(x,y)を合成し、各位相φ(x,y)の位相接続を行う。フローチャートの右側に位相接続した例を示す。
ステップS21では、位相接続した後、被検査物SAの高さ情報h(x,y)に変換される。この被検査物SAの高さ情報h(x,y)が表示部49に表示される。フローチャートの右側に高さ情報h(x,y)の例を示す。
【0026】
なお、ステップS18で説明した画像データから欠陥座標領域の画像データを削除するステップは、位相計算後に欠陥座標領域の画像データを削除してもよい。
【0027】
次に、欠陥座標の算出について図3及び図4を使って説明する。
図3(a)はある被検査物SAの斜視図であり、(b)は補助照明光源39で照明した場合に撮像装置33で撮像された画像データの例を示したグラフであり、特に図3(b)は図3(a)の被検査物SAのB−Bの画像データを示している。このグラフは、縦軸に輝度値をとり横軸にY方向の画素位置をとっている。
【0028】
被検査物SAを載置するステージ11は、精度良く製作された基準平面であり、また被検物と区別することができるように、反射率が高くならないように濃い灰色などに塗装されている。図3(a)に描かれる被検査物SAは、例えば、照明光が内部まで届かないような直径数mmの小さな穴HL1と、直径数十mm程度の大きな穴HL2とを有しており、被検査物SAの表面は反射率の高い表面を有している。
【0029】
この被検査物SAに補助照明光源39から均一な照明光を照射し、撮像装置33で被検査物SAからの反射光を撮像する。撮像装置33で撮像された画像データのうち、[Y0,Y1]領域及び[Y6,Y7]領域ではステージ11からの反射光の輝度値i1に達している。[Y1,Y2]領域、[Y3,Y4]領域及び[Y5,Y6]領域では被検査物SAからの反射光の輝度値i2に達している。
【0030】
[Y2,Y3]領域では被検査物SAからの反射光はほとんどなく輝度値i0である。図3(a)に示すように、[Y2,Y3]領域には小さな貫通穴又は非貫通穴HL1が形成されている。小さい穴HL1であるために補助照明光源39からの均一照明光がステージ11の表面にまでほとんど届くことがないために、輝度値i0が低い値を示している。[Y4,Y5]領域では被検査物SAからの反射光は輝度値i1を示している。図3(a)に示すように、[Y4,Y5]領域には大きな貫通穴HL2が形成されている。このため、補助照明光源39から均一な照明光はステージ11に届き、そこからの反射光を撮像装置33が撮像することができる。このため、[Y4,Y5]領域は、[Y0,Y1]領域及び[Y6,Y7]領域とほぼ同じ輝度値となっている。
【0031】
補助照明光源39からの均一照明により得られた均一像から判断して、[Y2,Y3]領域では格子パターン投影機構20によって所定の格子パターンを投影しても正確な高さを検出できない。また、撮像装置33の撮像領域の全体に被検査物SAがなく、一部にしか被検査物SAがない場合にはステージ11のノイズを含む反射光を受光して誤った数値を算出する可能性がある。このため、予め被検査物SAの範囲を決めておくことが好ましい。無駄な計算を無くすことにつながり位相計算を高速化することができる。
【0032】
図4(a)は、被検査物SAの小さな穴HL1を欠陥座標として検出するフローチャートの一例であり、(b)は被検査物SAとステージ11とを区別して被検査物SAの最外周より外側を欠陥座標として検出するフローチャートの一例である。
【0033】
(a)に示す欠陥座標検出のフローチャートは次のとおりである。
ステップS31において、信号除去部44は撮像装置33のある画素の輝度値が図3(b)に示すしきい値TSより低い値であるか否かを判断する。輝度値がしきい値TSより低ければ三次元形状を測定できない小さな穴TH1である可能性が高いためステップS32に進み、しきい値TSよりも高ければステップS35に進む。
【0034】
ステップS32では、信号除去部44はしきい値TSより低い輝度値の領域が円形であるか否かを判断する。被検査物SAにはさまざまな穴形状が存在するが、貫通穴又非貫通穴は一般に円形状が多いため、しきい値TSより低い輝度値の領域が円形であるかを判断する。なお、穴形状が予め矩形などと特定できているのであれば、操作者が制御部40に入力するようにしてもよい。しきい値TSより低い領域が円形であればステップS33に進み、円形でなければステップS35に進む。
【0035】
ステップS33において、信号除去部44はしきい値TSより低い円形状の領域を欠陥座標として算出する。
ステップS34では、この欠陥座標が記憶部43に記憶される。
一方ステップS35に進んだ場合には、輝度値がしきい値TSより低くても、被検査物TSの外形形状の一部として位相計算に用いられる画素として取り扱われる。
【0036】
しきい値TSは、操作者が被検査物TSに応じて自在に設定できるようにしておくことが好ましい。また、被検査物TSのCADデータなどを有する場合には、そのCADデータを記憶部43に記憶しておき、信号除去部44がしきい値TSより低い円形状の領域と判断した箇所がCADデータで示される貫通穴又非貫通穴と一致するか否かの判断を加えても良い。
【0037】
(b)に示す欠陥座標検出のフローチャートは次のとおりである。
ステップS41において、信号除去部44は撮像装置33のある画素の輝度値が図3(b)に示す所定範囲(RN1からRN2)に入るか否かを判断する。本実施例のテーブル11は濃い灰色に塗装されており、補助照明光源39から均一な照明光がテーブル11に照射された場合には、撮像装置33から所定範囲(RN1からRN2)の輝度値で出力されるが予め求められている。このため、輝度値が所定範囲RNに入っていれば、テーブル11である可能性が高いためステップS42に進み、輝度値が所定範囲RNに入っていなければステップS45に進む。
【0038】
ステップS42では、信号除去部44は所定範囲RNの輝度値の領域が撮像した範囲の縁部であるか否かを判断する。例えば図3(b)において[Y4,Y5]領域には所定範囲RNの輝度値が存在する。しかし、[Y3,Y4]領域及び[Y5,Y6]領域の両方に所定範囲RNの輝度値とは異なる領域が存在する。このため、信号除去部44は[Y4,Y5]領域が縁部でないと判断する。一方[Y6,Y7]領域は[Y5,Y6]領域の片方のみに所定範囲RNの輝度値とは異なる領域が存在する。このため、信号除去部44は[Y6,Y7]領域が縁部であり、被検査物SAの最外周であると判断する。所定範囲内の輝度値の領域が縁部であればステップS43に進み、縁部でなければステップS45に進む。
【0039】
ステップS43において、信号除去部44が被検査物SAの最外周より外側を欠陥座標として算出する。
ステップS44では、この欠陥座標が記憶部43に記憶される。
一方ステップS45に進んだ場合には、被検査物TSの外形形状の一部として位相計算に用いられる画素として取り扱われる。
【0040】
所定範囲(RN1からRN2)は、操作者が補助照明光源39の経時変化(光量の減衰)に応じて自在に設定できるようにしておくことが好ましい。また、被検査物TSのCADデータなどを有する場合には、そのCADデータを記憶部43に記憶しておき、信号除去部44が被検査物SAの最外周と判断した箇所がCADデータで示される被検査物SAの最外周と一致するか否かの判断を加えても良い。
【0041】
なお、被検査物の測定形状の高さが測定許容範囲を超えている場合、投影される格子パターンがぼけてしまい測定精度を保てなくなる。このため、被検査物SAの表面に適度なテクスチャ(ざらざら)がある場合には、テクスチャの状態を計算することで、大きくぼけている領域を特定することができる。テクスチャの状態の計算は、微小領域内の輝度をフーリエ変換、ラプラシアン演算又はスーベルフィルタ演算などで計算する。この大きくぼけている領域を欠陥座標として記憶部43に記憶し、図2に示したステップS18で、4枚の画像データ(I1,I2,I3,I4)から欠陥座標領域のデータを削除してもよい。
【0042】
<格子パターン投影機構20を使った均一光による欠陥座標の求め方>
図5は、光源21からの均一光を使って異常輝度値を除去し、被検査物SAの三次元形状の測定する全体的なフローチャートである。
【0043】
ステップS51では、被検査物SAがステージ11に載置される。
ステップS52では、パターン形成走査部22が液晶板を全透過状態にし、光源21からの均一照明光を斜め方向から被検査物SAに照射する。この被検査物SAからの反射光が撮像装置33に入射し、画像撮影が行われる。
【0044】
ステップS53では、均一照明の画像データから予想輝度値を算出する。この予想輝度値の算出の詳細については図6及び図7(a)を使って説明する。
ステップS54では、位相制御部41が、パターン形成走査部22を制御して格子パターンにし、光源21からの光を格子パターンに照射する。そして格子パターンが被検査物SAに投影される。被検査物SAの同じ座標であれば、一方向に白黒と並んだ格子パターンでのうち白色(明るい)箇所は、ステップS51で照明された光源21からの斜め方向の均一照明光と同じ明るさになるはずである。
ステップS55では、撮像装置33が被検査物SAから反射された第1の位相状態の格子パターンの反射光を受光する。記憶部43が被検査物SAの格子パターンの画像データを記憶する。
【0045】
ステップS56において、記憶部43が必要な位相分の画像データが記憶しているか否かを判断する。記憶部43が必要な位相分の画像データを記憶していればステップS58に進み、不足していればステップS57に進む。例えばπ/2位相であれば0から2πまで4枚の画像データを取得する。
【0046】
ステップS57では、位相制御部41がパターン形成走査部22を制御して例えば、π/2の位相をシフトし、再び、ステップS54へ進みシフトした格子パターンを照射する。
ステップS58では、演算処理部42が各画素(x,y)に対して各位相φ(x,y)を算出する。
ステップS59では、各位相φ(x,y)から、ステップS53で算出された異常輝度値の座標領域のデータを削除する。この異常輝度値の除去の詳細については図6及び図7(b)を使って説明する。
【0047】
ステップS60では、各画素の位相分布φ(x,y)を合成し、各位相φ(x,y)の位相接続を行う。
ステップS61では、位相接続した後、被検査物SAの高さ情報h(x,y)に変換される。この被検査物SAの高さ情報h(x,y)が表示部49に表示される。
【0048】
次に、欠陥座標の算出について図6を使って説明する。
図6(a)は、光源21から斜め方向の均一照明光をある被検査物SAに照射した場合に撮像装置33で撮像された写真である。図6(b)は(a)の写真で示される矢印Pにおける画素の予想輝度値を示したグラフであり、(c)は(a)の写真で示される矢印Qにおける画素の予想輝度値を示したグラフである。このグラフは、縦軸に輝度値をとり横軸に位相をとっている。
【0049】
位相シフト法によって得られる格子パターンの画像データは光源21から斜め方向からの照明によって得られる。位相シフトするごとに格子パターンに応じて個々の画素では明るくなったり暗くなったりする。一方、光源21から斜め方向からの均一照明光を被検査物SAに照射すれば、個々の画素が最も明るい状態とほぼ同じ輝度値を得ることができる。
【0050】
図6(a)に示すように、矢印Pの画素は輝度値が高く、矢印Qの画素は輝度値が低い。そして、位相シフト量は予めわかっているため、信号除去部44は矢印Pの画素の輝度値に基づいて、(b)に示すような各位相における予想輝度値SIN(P)を求めることができる。また同様に、矢印Qの画素の輝度値に基づいて、各位相における予想輝度値SIN(Q)を求めることができる。
【0051】
図7(a)は図5のステップS53で示した予想輝度値を算出するフローチャートである。
ステップS531では、均一照明による画像データの輝度値が画素ごとに記憶部43に記憶される。
【0052】
ステップS532では、位相ピッチに基づいて、画素ごとの予想輝度値SIN(x,y)を算出する。図6(b)及び(c)に示すようなとして予想輝度値SIN(x,y)が算出される。
ステップS533では、予想輝度値SIN(x,y)が記憶部43に記憶される。
【0053】
図7(b)は図5のステップS59で示した異常輝度値を除去するフローチャートである。
ステップS591では、信号除去部44によって位相計算された画素の輝度値が、記憶部に記憶された予想輝度値SIN(x、y)の許容範囲内であるか否かを判断する。例えば予想輝度値SIN(x、y)のプラスマイナス10パーセント以内に位相計算された画素の輝度値が入っているか否かを判断する。例えば、図6(b)及び(c)の白丸は、位相計算された画素の輝度値が予想輝度値SIN(P)又はSIN(Q)に近い値であり、黒丸は予想輝度値SIN(P)又はSIN(Q)から外れた値である。
【0054】
ステップS592では、位相計算された画素の輝度値が予想輝度値SIN(x、y)に近い値であれば、位相計算された画素の輝度値がそのまま記憶部43に記憶される。
ステップS593では、位相計算された画素の輝度値が予想輝度値SIN(x、y)から外れていれば、その座標は位相接続用に使用されない。
【0055】
本実施例では、位相ピッチに基づいて予想輝度値を算出したが、予想コントラスト(γ)値を算出しても良い。
すなわち、図6(a)に示したように、光源21から斜め方向の均一照明光をある被検査物SAに照射すれば、ある画素において明るい状態の輝度値を得ることができる。そして格子パターンの投影により暗い状態の輝度値も予想できる。したがって、例えば図6(a)の矢印Pで示される画素においてγ値=0.85、矢印Qで示される画素においてγ値=0.30と算出することができる。図5のステップS53に代えて、このような予想γ値算出を行う。
【0056】
そして、図5のステップS58にて位相シフトした画像データから位相計算をする際に、γ値計算を行う。
γ(x,y)=[2×{(I1−I3)2+(I2−I4)2}1/2÷(I1+I2+I3+I4)
ステップS59では、信号除去部44がγ値計算された画素が、記憶部に記憶された予想γ値に近い値か否かを判断すればよい。
【0057】
<低コントラスト(γ)値による欠陥座標の求め方>
図8は、低γ値の座標の画像データを除去し、被検査物SAの三次元形状の測定する全体的なフローチャートである。このフローチャートでは、格子パターン投影機構20又は補助照明光源39を使った均一光による画像を取得しない。
【0058】
ステップS71では、被検査物SAがステージ11に載置される。
ステップS72では、位相制御部41が、パターン形成走査部22を制御して格子パターンにし、光源21からの光を格子パターンに照射する。そして格子パターンが被検査物SAに投影される。
ステップS73では、撮像装置33が被検査物SAから反射された第1の位相状態の格子パターンの反射光を受光する。記憶部43が被検査物SAの格子パターンの画像データを記憶する。
【0059】
ステップS74において、記憶部43が必要な位相分の画像データが記憶しているか否かを判断する。記憶部43が必要な位相分の画像データを記憶していればステップS76に進み、不足していればステップS75に進む。
【0060】
ステップS75では、位相制御部41がパターン形成走査部22を制御して例えば、π/2の位相をシフトする。
ステップS76では、演算処理部42が各画素(x,y)に対して各位相φ(x,y)及びγ値を算出する。γ値は以下の計算で求まる。
γ(x,y)=[2×{(I1−I3)2+(I2−I4)2}1/2÷(I1+I2+I3+I4)
ステップS77では、信号除去部44が低γ値の画素領域に相当する座標領域のデータを削除する。この低γ値の画素領域については図9を使って説明する。
【0061】
ステップS78では、各画素の位相分布φ(x,y)を合成し、各位相φ(x,y)の位相接続を行う。
ステップS79では、位相接続した後、被検査物SAの高さ情報h(x,y)に変換される。この被検査物SAの高さ情報h(x,y)が表示部49に表示される。
【0062】
図9(a)は、被検査物SAに対してステップS76のγ値の算出を行い、被検査物SAの各座標におけるγ値を色分けした斜視図である。
図9(b)の上段は、(a)の写真で示される矢印Rにおける各位相の画素の輝度値を示したグラフであり、γ値は0.8となっている。中段は、(a)の写真で示される矢印Sにおける各位相の画素の輝度値を示したグラフであり、γ値は0.5となっている。下段は、(a)の写真で示される矢印Tにおける各位相の画素の輝度値を示したグラフであり、γ値は0.2となっている。これらのグラフは、縦軸に輝度値をとり横軸にY方向の画素位置をとっている。
【0063】
格子パターンのγ値が高い場合には、撮影装置33のノイズの影響を受けにくく、正確な位相計算を行うことができるが、γ値が低いとノイズの影響を受け正確な位相計算を行うことができない。このため低いγ値に相当する座標の画像データを削除する。例えば、γ値=0.2をしきい値として以下の座標の画像データを削除するようにする。
【0064】
このγ値のしきい値は、操作者が必要に応じて自在に設定できるようにしておくことが好ましい。
図9(c)は、ステップS79で高さ情報が算出された結果を示す被検査物SAの斜視図である。この斜視図の黒い領域は、γ値=0.2をしきい値とした画像データが削除された状態を示している。この黒い領域は正確な三次元測定ができないとして測定結果がない。
【0065】
<低輝度値による欠陥座標の求め方>
図10は、低輝度値の座標の画像データを除去し、被検査物SAの三次元形状の測定する全体的なフローチャートである。このフローチャートでは、格子パターン投影機構20又は補助照明光源39を使った均一光による画像を取得しない。
【0066】
ステップS81からステップS85までは、図8に示したステップS71からステップS75と同様である。
【0067】
ステップS86では、信号除去部44が低輝度値の画素領域に相当する座標領域のデータを削除する。低輝度値の画素領域は、例えば撮像装置33のCCDなどの画素欠陥、又は被検査物SAの形状により光源21からの斜め方向の格子パターンの投影が不十分などが要因である。これら低輝度値であれば正確な位相計算ができず、被検査物SAの高さ情報h(x,y)も正確でなくなる。
【0068】
ステップS87では、演算処理部42が各画素(x,y)に対して各位相φ(x,y)及びγ値を算出する。
ステップS88では、各画素の位相分布φ(x,y)を合成し、各位相φ(x,y)の位相接続を行う。
ステップS89では、位相接続した後、被検査物SAの高さ情報h(x,y)に変換される。この被検査物SAの高さ情報h(x,y)が表示部49に表示される。
【0069】
<フーリエ変換法による三次元形状測定>
以上の実施例は、位相シフト法による三次元形状測定であった。しかし、位相シフト法ではなくフーリエ変換法によっても三次元形状測定が可能である。フーリエ変換法においても、図2のフローチャートを変形することにより、欠陥画像の画像データを削除することで正確な被検査物SAの高さ情報h(x,y)を得ることができる。
【0070】
図11は、補助照明光源39を使い、被検査物SAの三次元形状を測定するフーリエ変換法によるフローチャートである。
【0071】
ステップS91では、被検査物SAがステージ11に載置される。
ステップS92では、補助照明光源39が点灯し被検査物SAがほぼ真上から均一照明される。この被検査物SAからの反射光が撮像装置33に入射し、画像撮影が行われる。
【0072】
ステップS93では、均一照明による画像データから欠陥座標を算出する。この欠陥座標の算出の詳細については図3及び図4で説明したとおりである。
ステップS94では、位相制御部41が、パターン形成走査部22を制御して格子パターンにし、光源21からの光を格子パターンに照射する。そして格子パターンが被検査物SAに投影される。
ステップS95では、撮像装置33が被検査物SAから反射された第1の位相状態の格子パターンの反射光を受光する。記憶部43が被検査物SAの格子パターンの1枚の画像データを記憶する。
【0073】
ステップS96では、1枚の画像データからステップS93で算出された欠陥座標領域の画像データを削除する。
【0074】
ステップS97では、欠陥座標の画像データが削除された画像データを演算処理部42へ読み込む。演算処理部42は画像データを格子パターンの変数x、yについて二次元フーリエ変換を行い、2次元空間の周波数スペクトルを得る。2次元空間の周波数スペクトルから位相φ(x,y)を算出する。
【0075】
次に、ステップS98では、位相φ(x,y)が被検査物SAの高さ情報h(x,y)に変換される。
【図面の簡単な説明】
【0076】
【図1】本実施形態に係る三次元形状測定装置100の構成を示す説明図である。
【図2】補助照明光源39を使い被検査物SAの三次元形状を測定するフローチャートである。
【図3】(a)は穴を有する被検査物SAの斜視図である。 (b)は補助照明光源39で照明した場合に撮像装置33で撮像された画像データの例を示したグラフである。
【図4】(a)は小さな穴HL1を欠陥座標として検出するフローチャートである。 (b)は被検査物SAの最外周より外側を欠陥座標として検出するフローチャートである。
【図5】光源21からの均一光を使い被検査物SAの三次元形状の測定するフローチャートである。
【図6】(a)は光源21から斜め方向の均一照明光をある被検査物SAに照射した場合に撮像装置33で撮像された写真である。(b)は(a)の矢印Pにおける画素の予想輝度値を示したグラフである。(c)は(a)の矢印Qにおける画素の予想輝度値を示したグラフである。
【図7】(a)は予想輝度値を算出するフローチャートである。 (b)は異常輝度値を除去するフローチャートである。
【図8】低γ値の座標の画像データを除去し、被検査物SAの三次元形状の測定するフローチャートである。
【図9】(a)は被検査物SAの各座標におけるγ値を色分けした斜視図である。 (b)は矢印R,S,Tにおける画素の輝度値を示したグラフである。 (c)は高さ情報が算出された結果を示す被検査物SAの斜視図である。
【図10】低輝度値の座標の画像データを除去し、被検査物SAの三次元形状の測定するフローチャートである。
【図11】補助照明光源39を使い、被検査物SAの三次元形状を測定するフーリエ変換法によるフローチャートである。
【符号の説明】
【0077】
11 … ステージ
20 … 格子パターン投影機構
21 … 光源
22 … パターン形成走査部
23 … 投影光学系
30 … 撮像機構
31 … 結像光学系
33 … 撮像装置
39 … 補助照明光源
40 … 制御部
41 … 位相制御部
42 … 演算処理部
43 … 記憶部
44 … 信号除去部
49 … 表示部
100 … 三次元形状測定装置
SA … 被検査物
【技術分野】
【0001】
本発明は、被検査物の三次元形状を測定するための位相シフト法又はフーリエ変換法等を利用したパターン投影型の三次元形状測定装置に関するものである。
【背景技術】
【0002】
一般に、被検査物の三次元形状を非接触で測定する手法として、位相シフトを用いた格子パターン投影法がよく知られている。具体的には、格子パターン投影法は照度分布が一方向に白黒と並んだ格子パターンを被検査物に投影しパターン画像を得て、引き続き、格子パターンを横方向に例えばπ/2ずつ順次移動させて、位相が異なる4枚の画像を得ている。そして格子パターン投影法は、得られた4枚のパターン画像より画素毎にその点における格子の位相を求め、その位相情報から被検査物の形状を演算し、被検査物の高さを求めている。
【0003】
特許文献1に開示された格子パターン投影法は、輝度飽和が生じる際に三次元形状の測定ができなくなるため、格子パターンの投影を大きな光量と小さな光量とで投影して適正な光量を投影している。また、輝度飽和した画素以外からの三次元形状の測定をしている。
【0004】
さらに、被検査物の三次元形状を非接触で測定する手法として、位相シフトを行わず、格子パターンをフーリエ変換して三次元形状を測定するフーリエ変換法も提案されている。非特許文献1は、フーリエ変換法を示すのみで、輝度飽和など撮像した画像の輝度については何ら言及していない。
【特許文献1】特開平2005−214653号公報
【非特許文献1】応用物理第62巻第6号(1993)579ページから583ページ 「フーリエ変換法によるしま画像解析とその応用」
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかし、位相シフト法又はフーリエ変換法による三次元測定に際しては、格子パターンの光がまったく投影されない深い穴が開いた被検査物があったり、格子パターンの光が暗くなってしまう急な段差があったりすると正確な三次元形状を測定することができない。また、格子パターンの光量が多少あったとしてもその画像の画素から無理やり被検査物の形状を演算し計算してしまうと、本来なら正確に測定できる箇所も影響を受けて精度が悪くなってしまうことがある。位置飛びという現象はこれに起因する。このように、格子パターン投影法では被検査物の三次元形状の測定に不向きな箇所を無理やり演算すると、被検査物の高さ精度に影響する問題があった。
【0006】
そこで本発明は、正確な位相計算により測定精度の向上を可能とする三次元形状測定装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
第1の観点の三次元形状測定装置は、所定のパターン光を被検査物に投影する投影光学部と、被検査物上への所定のパターン光の投影により生じるパターン像を撮像し、さらに被検査物上への均一照明光の投影により生じる均一像を撮像する撮像部と、撮像部からのパターン像の画像データを記憶する記憶部と、撮像部からの均一像に基づいて記憶部に記憶された画像データのうち信頼性の低い画像データを除去する信号除去部と、信号除去部で除去されなかった画像データに基づいて被検査物の形状の情報を求める演算処理部と、を備える。
この構成により、信頼性の低い画像データを除去してから被検査物の形状の情報を求めるため、そもそも形状測定できない箇所を周囲のデータを利用して算出してしまうことがなく信頼性を向上することができる。また本来なら正確に形状を測定できる箇所に悪影響を与えることもない。これにより、被検査物の形状の測定精度が向上する。
【0008】
第2の観点の三次元形状測定装置は、所定のパターン光を被検査物に投影する投影光学部と、被検査物上に投影される所定のパターン光を位相シフトさせる走査部と、被検査物上への所定のパターン光の走査投影により生じるパターン像を撮像する撮像部と、走査部による位相シフトごとに撮像部からのパターン像の画像データを記憶する記憶部と、記憶部に記憶された画像データのうちパターン光のコントラストが所定値以下の画像データを除去する信号除去部と、信号除去部で除去されなかった、画像データに基づいて被検査物の高さ情報を求める演算処理部と、を備える。
この構成により低コントラストの画像データを除去してから形状の算出ができるため、被検査物の形状の測定精度が向上する。
【0009】
第3の観点の三次元形状測定装置は、所定のパターン光を被検査物に投影する投影光学部と、被検査物上に投影される所定のパターン光を位相シフトさせる走査部と、被検査物上への所定のパターン光の走査投影により生じるパターン像を撮像する撮像部と、走査部による位相シフトごとに撮像部からのパターン像の画像データを記憶する記憶部と、記憶部に記憶された画像データのうち所定輝度値以下の画像データを除去する信号除去部と、信号除去部で除去されなかった画像データに基づいて、被検査物の高さ情報を求める演算処理部と、を備える。
この構成により所定輝度値以下の画像データを除去してから形状の算出ができるため、被検査物の形状の測定精度が向上する。
【発明の効果】
【0010】
本発明によれば、位相シフト法又はフーリエ変換法に基づくパターン投影型の三次元形状測定を行うときに、信頼性の低い画像データを除去することで、測定精度の向上が可能となる三次元外形測定装置を提供することができる。
【発明を実施するための最良の形態】
【0011】
以下、図面を参照して本発明の実施形態について詳細に説明する。
<三次元形状測定装置100の構成>
【0012】
図1は、本実施形態に係る三次元形状測定装置100の構成を示す説明図である。
この三次元形状測定装置100は大別して、被検査物SAを載置するステージ11と、ステージ11に向けて一方向に白黒と並んだ格子パターンを投影する格子パターン投影機構20と、撮像機構30と、位相の計算や画像データなどを保存するため、例えばパーソナルコンピュータからなる制御部40とで構成される。
【0013】
格子パターン投影機構20は、照明光を照射する光源21と、光軸方向と平行になった照明光に所定の格子パターンを付与し、その格子パターンを走査させるパターン形成走査部22と、格子パターン光を投影する投影光学系23とで構成される。投影光学系23は複数のレンズの組み合わせにより構成される。パターン形成走査部22は例えば液晶板で構成され、π/2ごとに格子パターンを走査する。光源21から出射された照明光は、パターン形成走査部22で形成された格子パターンを照射する。パターン形成走査部22は液晶板を全透過状態にし、光源21に光量をそのまま被検査物SAに投影することもできる。この場合には、光源21からの均一照明光が斜め方向から被検査物SAに照射される。
【0014】
撮像機構30は、被検査物SAから反射された格子パターン光を結像する結像光学系31と、格子パターン光を撮像し画像データを出力するCCD又はCMOS等の撮像装置33とにより構成される。また、結像光学系31の周囲に補助照明光源39が配置される。このため補助照明光源39は、均一照明光をほぼ真上から被検査物SAに照明することができる。
【0015】
さらに、制御部40は、格子パターン投影機構20のパターン形成走査部22を制御する位相制御部41を備えている。また制御部40は、撮像装置33で撮像された格子パターン画像を演算処理する演算処理部42と、各種パラメータや撮像された画像データを保存する記憶部43と、データ等を表示する表示部49とを備えている。また制御部40は、撮像装置33から出力された画像データのうち不要な信号を除去する信号除去部44を備えている。
【0016】
位相制御部41は、パターン形成走査部22を制御して格子パターンを投影光学系23の光軸と垂直方向にシフトさせる。パターン形成走査部22を透過したパターン光は、投影光学系23によりステージ11上の被検査物SAに投影される。投影したパターン光の像は、明度が白黒白黒に変化するものになっている。また、格子パターン投影機構20の光軸が撮像機構30の光軸に対して傾いている入射角度は調整可能である。
なお、フーリエ変換法の場合には位相制御部41は不要となる。
【0017】
被検査物SAで反射されたパターン反射光は、撮像機構30の結像光学系31により撮像装置33の受光面に結像される。パターン反射光は撮像装置33で光電変換されて、被検査物SAにより変形された格子パターンの画像データを得ることができる。以下同様に、パターン形成走査部22の格子パターンを例えばπ/2ずつ位相をシフトさせて被検査物SAにより変形された格子パターンを含むパターン反射光を撮像する。この移動毎に撮像された画像データは、制御部40の記憶部43に保存される。
【0018】
これらの画像データは、被検査物SAを複数に分割して撮像した画像であり、隣り合う画像を連結することにより、被検査物SAの全体画像が得られる。また、この時に、撮像した際の入射角度、格子ピッチ、位相シフトのステップ数等の撮像に関するパラメータを合わせて記憶部43に保存する。
【0019】
<補助照明光源39による欠陥座標の求め方>
補助照明光源39を使って欠陥座標を求めるとともに、格子パターン照明による三次元形状の測定について説明する。
図2は、補助照明光源39を使い、被検査物SAの三次元形状を測定する全体的なフローチャートである。
【0020】
ステップS11では、被検査物SAがステージ11に載置される。
ステップS12では、補助照明光源39が点灯し被検査物SAがほぼ真上から均一照明される。この被検査物SAからの反射光が撮像装置33に入射し、画像撮影が行われる。
【0021】
ステップS13では、均一照明による画像データから欠陥座標を算出する。この欠陥座標の算出の詳細については図3及び図4を使って説明する。
ステップS14では、位相制御部41が、パターン形成走査部22を制御して格子パターンにし、光源21からの光を格子パターンに照射する。そして格子パターンが被検査物SAに投影される。
ステップS15では、撮像装置33が被検査物SAから反射された第1の位相状態の格子パターンの反射光を受光する。記憶部43が被検査物SAの格子パターンの画像データを記憶する。
【0022】
ステップS16において、記憶部43が必要な位相分の画像データを記憶しているか否かを判断する。記憶部43が必要な位相分の画像データを記憶していればステップS18に進み、不足していればステップS17に進む。例えばπ/2位相であれば0から2πまで4枚の画像データ(I1,I2,I3,I4)を取得する。フローチャートの右側に4枚の画像データ(I1,I2,I3,I4)の例を示す。
ステップS17では、位相制御部41がパターン形成走査部22を制御して例えば、π/2の位相をシフトし、再び、ステップS14へ進みシフトした格子パターンを照射する。
【0023】
ステップS18では、4枚の画像データ(I1,I2,I3,I4)のうち、ステップS13で算出された欠陥座標領域の画像データを削除する。
【0024】
ステップS19では、欠陥座標の画像データが削除された画像データを演算処理部42へ読み込む。演算処理部42は各画素(x,y)に対して各位相φ(x,y)を算出する。フローチャートの右側に算出した位相の例を示す。
φ(x,y)=arctan{(I4−I2)/(I1−I3)}
【0025】
次に、ステップS20では、各画素の位相分布φ(x,y)を合成し、各位相φ(x,y)の位相接続を行う。フローチャートの右側に位相接続した例を示す。
ステップS21では、位相接続した後、被検査物SAの高さ情報h(x,y)に変換される。この被検査物SAの高さ情報h(x,y)が表示部49に表示される。フローチャートの右側に高さ情報h(x,y)の例を示す。
【0026】
なお、ステップS18で説明した画像データから欠陥座標領域の画像データを削除するステップは、位相計算後に欠陥座標領域の画像データを削除してもよい。
【0027】
次に、欠陥座標の算出について図3及び図4を使って説明する。
図3(a)はある被検査物SAの斜視図であり、(b)は補助照明光源39で照明した場合に撮像装置33で撮像された画像データの例を示したグラフであり、特に図3(b)は図3(a)の被検査物SAのB−Bの画像データを示している。このグラフは、縦軸に輝度値をとり横軸にY方向の画素位置をとっている。
【0028】
被検査物SAを載置するステージ11は、精度良く製作された基準平面であり、また被検物と区別することができるように、反射率が高くならないように濃い灰色などに塗装されている。図3(a)に描かれる被検査物SAは、例えば、照明光が内部まで届かないような直径数mmの小さな穴HL1と、直径数十mm程度の大きな穴HL2とを有しており、被検査物SAの表面は反射率の高い表面を有している。
【0029】
この被検査物SAに補助照明光源39から均一な照明光を照射し、撮像装置33で被検査物SAからの反射光を撮像する。撮像装置33で撮像された画像データのうち、[Y0,Y1]領域及び[Y6,Y7]領域ではステージ11からの反射光の輝度値i1に達している。[Y1,Y2]領域、[Y3,Y4]領域及び[Y5,Y6]領域では被検査物SAからの反射光の輝度値i2に達している。
【0030】
[Y2,Y3]領域では被検査物SAからの反射光はほとんどなく輝度値i0である。図3(a)に示すように、[Y2,Y3]領域には小さな貫通穴又は非貫通穴HL1が形成されている。小さい穴HL1であるために補助照明光源39からの均一照明光がステージ11の表面にまでほとんど届くことがないために、輝度値i0が低い値を示している。[Y4,Y5]領域では被検査物SAからの反射光は輝度値i1を示している。図3(a)に示すように、[Y4,Y5]領域には大きな貫通穴HL2が形成されている。このため、補助照明光源39から均一な照明光はステージ11に届き、そこからの反射光を撮像装置33が撮像することができる。このため、[Y4,Y5]領域は、[Y0,Y1]領域及び[Y6,Y7]領域とほぼ同じ輝度値となっている。
【0031】
補助照明光源39からの均一照明により得られた均一像から判断して、[Y2,Y3]領域では格子パターン投影機構20によって所定の格子パターンを投影しても正確な高さを検出できない。また、撮像装置33の撮像領域の全体に被検査物SAがなく、一部にしか被検査物SAがない場合にはステージ11のノイズを含む反射光を受光して誤った数値を算出する可能性がある。このため、予め被検査物SAの範囲を決めておくことが好ましい。無駄な計算を無くすことにつながり位相計算を高速化することができる。
【0032】
図4(a)は、被検査物SAの小さな穴HL1を欠陥座標として検出するフローチャートの一例であり、(b)は被検査物SAとステージ11とを区別して被検査物SAの最外周より外側を欠陥座標として検出するフローチャートの一例である。
【0033】
(a)に示す欠陥座標検出のフローチャートは次のとおりである。
ステップS31において、信号除去部44は撮像装置33のある画素の輝度値が図3(b)に示すしきい値TSより低い値であるか否かを判断する。輝度値がしきい値TSより低ければ三次元形状を測定できない小さな穴TH1である可能性が高いためステップS32に進み、しきい値TSよりも高ければステップS35に進む。
【0034】
ステップS32では、信号除去部44はしきい値TSより低い輝度値の領域が円形であるか否かを判断する。被検査物SAにはさまざまな穴形状が存在するが、貫通穴又非貫通穴は一般に円形状が多いため、しきい値TSより低い輝度値の領域が円形であるかを判断する。なお、穴形状が予め矩形などと特定できているのであれば、操作者が制御部40に入力するようにしてもよい。しきい値TSより低い領域が円形であればステップS33に進み、円形でなければステップS35に進む。
【0035】
ステップS33において、信号除去部44はしきい値TSより低い円形状の領域を欠陥座標として算出する。
ステップS34では、この欠陥座標が記憶部43に記憶される。
一方ステップS35に進んだ場合には、輝度値がしきい値TSより低くても、被検査物TSの外形形状の一部として位相計算に用いられる画素として取り扱われる。
【0036】
しきい値TSは、操作者が被検査物TSに応じて自在に設定できるようにしておくことが好ましい。また、被検査物TSのCADデータなどを有する場合には、そのCADデータを記憶部43に記憶しておき、信号除去部44がしきい値TSより低い円形状の領域と判断した箇所がCADデータで示される貫通穴又非貫通穴と一致するか否かの判断を加えても良い。
【0037】
(b)に示す欠陥座標検出のフローチャートは次のとおりである。
ステップS41において、信号除去部44は撮像装置33のある画素の輝度値が図3(b)に示す所定範囲(RN1からRN2)に入るか否かを判断する。本実施例のテーブル11は濃い灰色に塗装されており、補助照明光源39から均一な照明光がテーブル11に照射された場合には、撮像装置33から所定範囲(RN1からRN2)の輝度値で出力されるが予め求められている。このため、輝度値が所定範囲RNに入っていれば、テーブル11である可能性が高いためステップS42に進み、輝度値が所定範囲RNに入っていなければステップS45に進む。
【0038】
ステップS42では、信号除去部44は所定範囲RNの輝度値の領域が撮像した範囲の縁部であるか否かを判断する。例えば図3(b)において[Y4,Y5]領域には所定範囲RNの輝度値が存在する。しかし、[Y3,Y4]領域及び[Y5,Y6]領域の両方に所定範囲RNの輝度値とは異なる領域が存在する。このため、信号除去部44は[Y4,Y5]領域が縁部でないと判断する。一方[Y6,Y7]領域は[Y5,Y6]領域の片方のみに所定範囲RNの輝度値とは異なる領域が存在する。このため、信号除去部44は[Y6,Y7]領域が縁部であり、被検査物SAの最外周であると判断する。所定範囲内の輝度値の領域が縁部であればステップS43に進み、縁部でなければステップS45に進む。
【0039】
ステップS43において、信号除去部44が被検査物SAの最外周より外側を欠陥座標として算出する。
ステップS44では、この欠陥座標が記憶部43に記憶される。
一方ステップS45に進んだ場合には、被検査物TSの外形形状の一部として位相計算に用いられる画素として取り扱われる。
【0040】
所定範囲(RN1からRN2)は、操作者が補助照明光源39の経時変化(光量の減衰)に応じて自在に設定できるようにしておくことが好ましい。また、被検査物TSのCADデータなどを有する場合には、そのCADデータを記憶部43に記憶しておき、信号除去部44が被検査物SAの最外周と判断した箇所がCADデータで示される被検査物SAの最外周と一致するか否かの判断を加えても良い。
【0041】
なお、被検査物の測定形状の高さが測定許容範囲を超えている場合、投影される格子パターンがぼけてしまい測定精度を保てなくなる。このため、被検査物SAの表面に適度なテクスチャ(ざらざら)がある場合には、テクスチャの状態を計算することで、大きくぼけている領域を特定することができる。テクスチャの状態の計算は、微小領域内の輝度をフーリエ変換、ラプラシアン演算又はスーベルフィルタ演算などで計算する。この大きくぼけている領域を欠陥座標として記憶部43に記憶し、図2に示したステップS18で、4枚の画像データ(I1,I2,I3,I4)から欠陥座標領域のデータを削除してもよい。
【0042】
<格子パターン投影機構20を使った均一光による欠陥座標の求め方>
図5は、光源21からの均一光を使って異常輝度値を除去し、被検査物SAの三次元形状の測定する全体的なフローチャートである。
【0043】
ステップS51では、被検査物SAがステージ11に載置される。
ステップS52では、パターン形成走査部22が液晶板を全透過状態にし、光源21からの均一照明光を斜め方向から被検査物SAに照射する。この被検査物SAからの反射光が撮像装置33に入射し、画像撮影が行われる。
【0044】
ステップS53では、均一照明の画像データから予想輝度値を算出する。この予想輝度値の算出の詳細については図6及び図7(a)を使って説明する。
ステップS54では、位相制御部41が、パターン形成走査部22を制御して格子パターンにし、光源21からの光を格子パターンに照射する。そして格子パターンが被検査物SAに投影される。被検査物SAの同じ座標であれば、一方向に白黒と並んだ格子パターンでのうち白色(明るい)箇所は、ステップS51で照明された光源21からの斜め方向の均一照明光と同じ明るさになるはずである。
ステップS55では、撮像装置33が被検査物SAから反射された第1の位相状態の格子パターンの反射光を受光する。記憶部43が被検査物SAの格子パターンの画像データを記憶する。
【0045】
ステップS56において、記憶部43が必要な位相分の画像データが記憶しているか否かを判断する。記憶部43が必要な位相分の画像データを記憶していればステップS58に進み、不足していればステップS57に進む。例えばπ/2位相であれば0から2πまで4枚の画像データを取得する。
【0046】
ステップS57では、位相制御部41がパターン形成走査部22を制御して例えば、π/2の位相をシフトし、再び、ステップS54へ進みシフトした格子パターンを照射する。
ステップS58では、演算処理部42が各画素(x,y)に対して各位相φ(x,y)を算出する。
ステップS59では、各位相φ(x,y)から、ステップS53で算出された異常輝度値の座標領域のデータを削除する。この異常輝度値の除去の詳細については図6及び図7(b)を使って説明する。
【0047】
ステップS60では、各画素の位相分布φ(x,y)を合成し、各位相φ(x,y)の位相接続を行う。
ステップS61では、位相接続した後、被検査物SAの高さ情報h(x,y)に変換される。この被検査物SAの高さ情報h(x,y)が表示部49に表示される。
【0048】
次に、欠陥座標の算出について図6を使って説明する。
図6(a)は、光源21から斜め方向の均一照明光をある被検査物SAに照射した場合に撮像装置33で撮像された写真である。図6(b)は(a)の写真で示される矢印Pにおける画素の予想輝度値を示したグラフであり、(c)は(a)の写真で示される矢印Qにおける画素の予想輝度値を示したグラフである。このグラフは、縦軸に輝度値をとり横軸に位相をとっている。
【0049】
位相シフト法によって得られる格子パターンの画像データは光源21から斜め方向からの照明によって得られる。位相シフトするごとに格子パターンに応じて個々の画素では明るくなったり暗くなったりする。一方、光源21から斜め方向からの均一照明光を被検査物SAに照射すれば、個々の画素が最も明るい状態とほぼ同じ輝度値を得ることができる。
【0050】
図6(a)に示すように、矢印Pの画素は輝度値が高く、矢印Qの画素は輝度値が低い。そして、位相シフト量は予めわかっているため、信号除去部44は矢印Pの画素の輝度値に基づいて、(b)に示すような各位相における予想輝度値SIN(P)を求めることができる。また同様に、矢印Qの画素の輝度値に基づいて、各位相における予想輝度値SIN(Q)を求めることができる。
【0051】
図7(a)は図5のステップS53で示した予想輝度値を算出するフローチャートである。
ステップS531では、均一照明による画像データの輝度値が画素ごとに記憶部43に記憶される。
【0052】
ステップS532では、位相ピッチに基づいて、画素ごとの予想輝度値SIN(x,y)を算出する。図6(b)及び(c)に示すようなとして予想輝度値SIN(x,y)が算出される。
ステップS533では、予想輝度値SIN(x,y)が記憶部43に記憶される。
【0053】
図7(b)は図5のステップS59で示した異常輝度値を除去するフローチャートである。
ステップS591では、信号除去部44によって位相計算された画素の輝度値が、記憶部に記憶された予想輝度値SIN(x、y)の許容範囲内であるか否かを判断する。例えば予想輝度値SIN(x、y)のプラスマイナス10パーセント以内に位相計算された画素の輝度値が入っているか否かを判断する。例えば、図6(b)及び(c)の白丸は、位相計算された画素の輝度値が予想輝度値SIN(P)又はSIN(Q)に近い値であり、黒丸は予想輝度値SIN(P)又はSIN(Q)から外れた値である。
【0054】
ステップS592では、位相計算された画素の輝度値が予想輝度値SIN(x、y)に近い値であれば、位相計算された画素の輝度値がそのまま記憶部43に記憶される。
ステップS593では、位相計算された画素の輝度値が予想輝度値SIN(x、y)から外れていれば、その座標は位相接続用に使用されない。
【0055】
本実施例では、位相ピッチに基づいて予想輝度値を算出したが、予想コントラスト(γ)値を算出しても良い。
すなわち、図6(a)に示したように、光源21から斜め方向の均一照明光をある被検査物SAに照射すれば、ある画素において明るい状態の輝度値を得ることができる。そして格子パターンの投影により暗い状態の輝度値も予想できる。したがって、例えば図6(a)の矢印Pで示される画素においてγ値=0.85、矢印Qで示される画素においてγ値=0.30と算出することができる。図5のステップS53に代えて、このような予想γ値算出を行う。
【0056】
そして、図5のステップS58にて位相シフトした画像データから位相計算をする際に、γ値計算を行う。
γ(x,y)=[2×{(I1−I3)2+(I2−I4)2}1/2÷(I1+I2+I3+I4)
ステップS59では、信号除去部44がγ値計算された画素が、記憶部に記憶された予想γ値に近い値か否かを判断すればよい。
【0057】
<低コントラスト(γ)値による欠陥座標の求め方>
図8は、低γ値の座標の画像データを除去し、被検査物SAの三次元形状の測定する全体的なフローチャートである。このフローチャートでは、格子パターン投影機構20又は補助照明光源39を使った均一光による画像を取得しない。
【0058】
ステップS71では、被検査物SAがステージ11に載置される。
ステップS72では、位相制御部41が、パターン形成走査部22を制御して格子パターンにし、光源21からの光を格子パターンに照射する。そして格子パターンが被検査物SAに投影される。
ステップS73では、撮像装置33が被検査物SAから反射された第1の位相状態の格子パターンの反射光を受光する。記憶部43が被検査物SAの格子パターンの画像データを記憶する。
【0059】
ステップS74において、記憶部43が必要な位相分の画像データが記憶しているか否かを判断する。記憶部43が必要な位相分の画像データを記憶していればステップS76に進み、不足していればステップS75に進む。
【0060】
ステップS75では、位相制御部41がパターン形成走査部22を制御して例えば、π/2の位相をシフトする。
ステップS76では、演算処理部42が各画素(x,y)に対して各位相φ(x,y)及びγ値を算出する。γ値は以下の計算で求まる。
γ(x,y)=[2×{(I1−I3)2+(I2−I4)2}1/2÷(I1+I2+I3+I4)
ステップS77では、信号除去部44が低γ値の画素領域に相当する座標領域のデータを削除する。この低γ値の画素領域については図9を使って説明する。
【0061】
ステップS78では、各画素の位相分布φ(x,y)を合成し、各位相φ(x,y)の位相接続を行う。
ステップS79では、位相接続した後、被検査物SAの高さ情報h(x,y)に変換される。この被検査物SAの高さ情報h(x,y)が表示部49に表示される。
【0062】
図9(a)は、被検査物SAに対してステップS76のγ値の算出を行い、被検査物SAの各座標におけるγ値を色分けした斜視図である。
図9(b)の上段は、(a)の写真で示される矢印Rにおける各位相の画素の輝度値を示したグラフであり、γ値は0.8となっている。中段は、(a)の写真で示される矢印Sにおける各位相の画素の輝度値を示したグラフであり、γ値は0.5となっている。下段は、(a)の写真で示される矢印Tにおける各位相の画素の輝度値を示したグラフであり、γ値は0.2となっている。これらのグラフは、縦軸に輝度値をとり横軸にY方向の画素位置をとっている。
【0063】
格子パターンのγ値が高い場合には、撮影装置33のノイズの影響を受けにくく、正確な位相計算を行うことができるが、γ値が低いとノイズの影響を受け正確な位相計算を行うことができない。このため低いγ値に相当する座標の画像データを削除する。例えば、γ値=0.2をしきい値として以下の座標の画像データを削除するようにする。
【0064】
このγ値のしきい値は、操作者が必要に応じて自在に設定できるようにしておくことが好ましい。
図9(c)は、ステップS79で高さ情報が算出された結果を示す被検査物SAの斜視図である。この斜視図の黒い領域は、γ値=0.2をしきい値とした画像データが削除された状態を示している。この黒い領域は正確な三次元測定ができないとして測定結果がない。
【0065】
<低輝度値による欠陥座標の求め方>
図10は、低輝度値の座標の画像データを除去し、被検査物SAの三次元形状の測定する全体的なフローチャートである。このフローチャートでは、格子パターン投影機構20又は補助照明光源39を使った均一光による画像を取得しない。
【0066】
ステップS81からステップS85までは、図8に示したステップS71からステップS75と同様である。
【0067】
ステップS86では、信号除去部44が低輝度値の画素領域に相当する座標領域のデータを削除する。低輝度値の画素領域は、例えば撮像装置33のCCDなどの画素欠陥、又は被検査物SAの形状により光源21からの斜め方向の格子パターンの投影が不十分などが要因である。これら低輝度値であれば正確な位相計算ができず、被検査物SAの高さ情報h(x,y)も正確でなくなる。
【0068】
ステップS87では、演算処理部42が各画素(x,y)に対して各位相φ(x,y)及びγ値を算出する。
ステップS88では、各画素の位相分布φ(x,y)を合成し、各位相φ(x,y)の位相接続を行う。
ステップS89では、位相接続した後、被検査物SAの高さ情報h(x,y)に変換される。この被検査物SAの高さ情報h(x,y)が表示部49に表示される。
【0069】
<フーリエ変換法による三次元形状測定>
以上の実施例は、位相シフト法による三次元形状測定であった。しかし、位相シフト法ではなくフーリエ変換法によっても三次元形状測定が可能である。フーリエ変換法においても、図2のフローチャートを変形することにより、欠陥画像の画像データを削除することで正確な被検査物SAの高さ情報h(x,y)を得ることができる。
【0070】
図11は、補助照明光源39を使い、被検査物SAの三次元形状を測定するフーリエ変換法によるフローチャートである。
【0071】
ステップS91では、被検査物SAがステージ11に載置される。
ステップS92では、補助照明光源39が点灯し被検査物SAがほぼ真上から均一照明される。この被検査物SAからの反射光が撮像装置33に入射し、画像撮影が行われる。
【0072】
ステップS93では、均一照明による画像データから欠陥座標を算出する。この欠陥座標の算出の詳細については図3及び図4で説明したとおりである。
ステップS94では、位相制御部41が、パターン形成走査部22を制御して格子パターンにし、光源21からの光を格子パターンに照射する。そして格子パターンが被検査物SAに投影される。
ステップS95では、撮像装置33が被検査物SAから反射された第1の位相状態の格子パターンの反射光を受光する。記憶部43が被検査物SAの格子パターンの1枚の画像データを記憶する。
【0073】
ステップS96では、1枚の画像データからステップS93で算出された欠陥座標領域の画像データを削除する。
【0074】
ステップS97では、欠陥座標の画像データが削除された画像データを演算処理部42へ読み込む。演算処理部42は画像データを格子パターンの変数x、yについて二次元フーリエ変換を行い、2次元空間の周波数スペクトルを得る。2次元空間の周波数スペクトルから位相φ(x,y)を算出する。
【0075】
次に、ステップS98では、位相φ(x,y)が被検査物SAの高さ情報h(x,y)に変換される。
【図面の簡単な説明】
【0076】
【図1】本実施形態に係る三次元形状測定装置100の構成を示す説明図である。
【図2】補助照明光源39を使い被検査物SAの三次元形状を測定するフローチャートである。
【図3】(a)は穴を有する被検査物SAの斜視図である。 (b)は補助照明光源39で照明した場合に撮像装置33で撮像された画像データの例を示したグラフである。
【図4】(a)は小さな穴HL1を欠陥座標として検出するフローチャートである。 (b)は被検査物SAの最外周より外側を欠陥座標として検出するフローチャートである。
【図5】光源21からの均一光を使い被検査物SAの三次元形状の測定するフローチャートである。
【図6】(a)は光源21から斜め方向の均一照明光をある被検査物SAに照射した場合に撮像装置33で撮像された写真である。(b)は(a)の矢印Pにおける画素の予想輝度値を示したグラフである。(c)は(a)の矢印Qにおける画素の予想輝度値を示したグラフである。
【図7】(a)は予想輝度値を算出するフローチャートである。 (b)は異常輝度値を除去するフローチャートである。
【図8】低γ値の座標の画像データを除去し、被検査物SAの三次元形状の測定するフローチャートである。
【図9】(a)は被検査物SAの各座標におけるγ値を色分けした斜視図である。 (b)は矢印R,S,Tにおける画素の輝度値を示したグラフである。 (c)は高さ情報が算出された結果を示す被検査物SAの斜視図である。
【図10】低輝度値の座標の画像データを除去し、被検査物SAの三次元形状の測定するフローチャートである。
【図11】補助照明光源39を使い、被検査物SAの三次元形状を測定するフーリエ変換法によるフローチャートである。
【符号の説明】
【0077】
11 … ステージ
20 … 格子パターン投影機構
21 … 光源
22 … パターン形成走査部
23 … 投影光学系
30 … 撮像機構
31 … 結像光学系
33 … 撮像装置
39 … 補助照明光源
40 … 制御部
41 … 位相制御部
42 … 演算処理部
43 … 記憶部
44 … 信号除去部
49 … 表示部
100 … 三次元形状測定装置
SA … 被検査物
【特許請求の範囲】
【請求項1】
所定のパターン光を被検査物に投影する投影光学部と、
前記被検査物上への前記所定のパターン光の投影により生じるパターン像を撮像し、さらに前記被検査物上への均一照明光の投影により生じる均一像を撮像する撮像部と、
前記撮像部からの前記パターン像の画像データを記憶する記憶部と、
前記撮像部からの前記均一像に基づいて、前記記憶部に記憶された画像データのうち信頼性の低い画像データを除去する信号除去部と、
前記信号除去部で除去されなかった前記画像データに基づいて前記被検査物の形状の情報を求める演算処理部と、
を備えることを特徴とする三次元形状測定装置。
【請求項2】
前記被検査物上に投影される前記所定のパターン光を位相シフトさせる走査部を備え、
前記撮像部は位相シフトごとに前記パターン像を撮影し、
前記記憶部は前記撮像部からの前記パターン像の画像データを記憶することを特徴とする請求項1に記載の三次元形状測定装置。
【請求項3】
前記信号除去部は、前記均一像の輝度情報及びその所定の輝度範囲から穴領域を特定し、その穴領域の座標に基づいて、前記記憶部に記憶された画像データのうちから前記穴領域の座標に相当する画像データを除去することを特徴とする請求項1又は請求項2に記載の三次元形状測定装置。
【請求項4】
前記信号除去部は、前記均一像の輝度情報から前記被検査物とその被検査物の背景領域とを区別し、その背景領域の座標に基づいて前記記憶部に記憶された画像データのうち前記背景領域の座標に相当する画像データを除去することを特徴とする請求項1又は請求項2に記載の三次元形状測定装置。
【請求項5】
前記信号除去部は、前記均一像の輝度情報に基づいて位相シフトした際の予想輝度値を求め、その予想輝度値の許容範囲を超えた座標に基づいて、前記記憶部に記憶された画像データのうち前記予想輝度値の許容範囲を超えた座標に相当する画像データを除去することを特徴とする請求項2に記載の三次元形状測定装置。
【請求項6】
前記信号除去部は、前記均一像の輝度情報に基づいて位相シフトした際の予想コントラストを求め、その予想コントラストの範囲を超えた座標に基づいて、前記記憶部に記憶された画像データのうち前記予想コントラストの範囲を超えた座標に相当する画像データを除去することを特徴とする請求項2に記載の三次元形状測定装置。
【請求項7】
前記撮像部の周りに均一照明光を照射する光源を有することを特徴とする請求項1乃至請求項6のいずれか一項に記載の三次元形状測定装置。
【請求項8】
前記投影光学部は、前記パターン光に加え均一照明光を照射することができることを特徴とする請求項1乃至請求項6のいずれか一項に記載の三次元形状測定装置。
【請求項9】
所定のパターン光を被検査物に投影する投影光学部と、
前記被検査物上に投影される前記所定のパターン光を位相シフトさせる走査部と、
前記被検査物上への前記所定のパターン光の走査投影により生じるパターン像を撮像する撮像部と、
前記走査部による位相シフトごとに前記撮像部からの前記パターン像の画像データを記憶する記憶部と、
前記記憶部に記憶された画像データのうち、前記パターン光のコントラストが所定値以下の画像データを除去する信号除去部と、
前記信号除去部で除去されなかった前記画像データに基づいて前記被検査物の高さ情報を求める演算処理部と、
を備えることを特徴とする三次元形状測定装置。
【請求項10】
所定のパターン光を被検査物に投影する投影光学部と、
前記被検査物上に投影される前記所定のパターン光を位相シフトさせる走査部と、
前記被検査物上への前記所定のパターン光の走査投影により生じるパターン像を撮像する撮像部と、
前記走査部による位相シフトごとに前記撮像部からの前記パターン像の画像データを記憶する記憶部と、
前記記憶部に記憶された画像データのうち、所定輝度値以下の画像データを除去する信号除去部と、
前記信号除去部で除去されなかった前記画像データに基づいて前記被検査物の高さ情報を求める演算処理部と、
を備えることを特徴とする三次元形状測定装置。
【請求項1】
所定のパターン光を被検査物に投影する投影光学部と、
前記被検査物上への前記所定のパターン光の投影により生じるパターン像を撮像し、さらに前記被検査物上への均一照明光の投影により生じる均一像を撮像する撮像部と、
前記撮像部からの前記パターン像の画像データを記憶する記憶部と、
前記撮像部からの前記均一像に基づいて、前記記憶部に記憶された画像データのうち信頼性の低い画像データを除去する信号除去部と、
前記信号除去部で除去されなかった前記画像データに基づいて前記被検査物の形状の情報を求める演算処理部と、
を備えることを特徴とする三次元形状測定装置。
【請求項2】
前記被検査物上に投影される前記所定のパターン光を位相シフトさせる走査部を備え、
前記撮像部は位相シフトごとに前記パターン像を撮影し、
前記記憶部は前記撮像部からの前記パターン像の画像データを記憶することを特徴とする請求項1に記載の三次元形状測定装置。
【請求項3】
前記信号除去部は、前記均一像の輝度情報及びその所定の輝度範囲から穴領域を特定し、その穴領域の座標に基づいて、前記記憶部に記憶された画像データのうちから前記穴領域の座標に相当する画像データを除去することを特徴とする請求項1又は請求項2に記載の三次元形状測定装置。
【請求項4】
前記信号除去部は、前記均一像の輝度情報から前記被検査物とその被検査物の背景領域とを区別し、その背景領域の座標に基づいて前記記憶部に記憶された画像データのうち前記背景領域の座標に相当する画像データを除去することを特徴とする請求項1又は請求項2に記載の三次元形状測定装置。
【請求項5】
前記信号除去部は、前記均一像の輝度情報に基づいて位相シフトした際の予想輝度値を求め、その予想輝度値の許容範囲を超えた座標に基づいて、前記記憶部に記憶された画像データのうち前記予想輝度値の許容範囲を超えた座標に相当する画像データを除去することを特徴とする請求項2に記載の三次元形状測定装置。
【請求項6】
前記信号除去部は、前記均一像の輝度情報に基づいて位相シフトした際の予想コントラストを求め、その予想コントラストの範囲を超えた座標に基づいて、前記記憶部に記憶された画像データのうち前記予想コントラストの範囲を超えた座標に相当する画像データを除去することを特徴とする請求項2に記載の三次元形状測定装置。
【請求項7】
前記撮像部の周りに均一照明光を照射する光源を有することを特徴とする請求項1乃至請求項6のいずれか一項に記載の三次元形状測定装置。
【請求項8】
前記投影光学部は、前記パターン光に加え均一照明光を照射することができることを特徴とする請求項1乃至請求項6のいずれか一項に記載の三次元形状測定装置。
【請求項9】
所定のパターン光を被検査物に投影する投影光学部と、
前記被検査物上に投影される前記所定のパターン光を位相シフトさせる走査部と、
前記被検査物上への前記所定のパターン光の走査投影により生じるパターン像を撮像する撮像部と、
前記走査部による位相シフトごとに前記撮像部からの前記パターン像の画像データを記憶する記憶部と、
前記記憶部に記憶された画像データのうち、前記パターン光のコントラストが所定値以下の画像データを除去する信号除去部と、
前記信号除去部で除去されなかった前記画像データに基づいて前記被検査物の高さ情報を求める演算処理部と、
を備えることを特徴とする三次元形状測定装置。
【請求項10】
所定のパターン光を被検査物に投影する投影光学部と、
前記被検査物上に投影される前記所定のパターン光を位相シフトさせる走査部と、
前記被検査物上への前記所定のパターン光の走査投影により生じるパターン像を撮像する撮像部と、
前記走査部による位相シフトごとに前記撮像部からの前記パターン像の画像データを記憶する記憶部と、
前記記憶部に記憶された画像データのうち、所定輝度値以下の画像データを除去する信号除去部と、
前記信号除去部で除去されなかった前記画像データに基づいて前記被検査物の高さ情報を求める演算処理部と、
を備えることを特徴とする三次元形状測定装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2009−180690(P2009−180690A)
【公開日】平成21年8月13日(2009.8.13)
【国際特許分類】
【出願番号】特願2008−22205(P2008−22205)
【出願日】平成20年2月1日(2008.2.1)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】
【公開日】平成21年8月13日(2009.8.13)
【国際特許分類】
【出願日】平成20年2月1日(2008.2.1)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】
[ Back to top ]