3次元座標測定装置及び方法
【課題】BGA等のように表面に多数の突起物を備えた被測定物を高精度で測定するのに好適な3次元座標測定装置及び方法を提供する。
【解決手段】同軸落射照明を備えたテレセントリック光学系の撮像手段であって、被測定物Wを載置した試料台12の鉛直軸CLに対して光軸14Aが所定の傾斜角度をなすように設けられる第1の撮像手段14と、同軸落射照明を備えたテレセントリック光学系の撮像手段であって、試料台の鉛直軸に対して光軸16Aが第1の撮像手段の光軸14Aと線対称になるように設けられる第2の撮像手段16とを使用し、第1の撮像手段で照明した被測定物表面を第2の撮像手段で撮像し、第2の撮像手段で照明した被測定物表面を第1の撮像手段で撮像し、第1及び第2の撮像手段で撮像した画像より被測定物表面の3次元座標を得る。
【解決手段】同軸落射照明を備えたテレセントリック光学系の撮像手段であって、被測定物Wを載置した試料台12の鉛直軸CLに対して光軸14Aが所定の傾斜角度をなすように設けられる第1の撮像手段14と、同軸落射照明を備えたテレセントリック光学系の撮像手段であって、試料台の鉛直軸に対して光軸16Aが第1の撮像手段の光軸14Aと線対称になるように設けられる第2の撮像手段16とを使用し、第1の撮像手段で照明した被測定物表面を第2の撮像手段で撮像し、第2の撮像手段で照明した被測定物表面を第1の撮像手段で撮像し、第1及び第2の撮像手段で撮像した画像より被測定物表面の3次元座標を得る。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、3次元座標測定装置及び方法に係り、特に、BGA等のように表面に多数の突起物を備えた被測定物を高精度に測定するのに好適な3次元座標測定装置及び方法に関する。
【背景技術】
【0002】
半導体デバイスの1つとして、BGA(ボール・グリッド・アレイ)が使用されている。このBGAは、基板の表面に多数の微細な半田ボールが配列されたものであり、個々の半田ボールの高さ及び位置が規定の範囲内に収められていることが、半導体基板への実装に欠かせない。
【0003】
すなわち、このBGAの普及に伴い、3次元的な曲面を持つボールの高さと位置を測定する技術が必要とされている。近年において、BGAデバイス上のボール数も増加しているため、特に、高速に測定する技術が必要とされている。
【0004】
ところで、従来より曲面の3次元的位置測定の代表的な技術としては、以下の5種類の技術が知られている(非特許文献1〜5)。
【0005】
非特許文献1は、共焦点光学系を用いる3次元測定方法に関するものである。非特許文献2は、光学的3角測量を用いる方法に関するものである。非特許文献3は、レーザー光走査(光切断法)を用いる方法に関するものである。非特許文献4は、モアレ干渉法を用いる方法に関するものである。非特許文献5は、真上及び左右45度方向に光学系を設置した3次元検査装置(ステレオ光学を応用)に関するものである。
【非特許文献1】カールツァイス株式会社 カタログ(3次元測定装置)
【非特許文献2】光三次元計測 2章 吉澤 徹 編、新技術コミュニケーションズ 1993年3月8日
【非特許文献3】光三次元計測 3章 吉澤 徹 編、新技術コミュニケーションズ 1993年3月8日
【非特許文献4】光三次元計測 4章 吉澤 徹 編、新技術コミュニケーションズ 1993年3月8日
【非特許文献5】株式会社アルゴル カタログ(3次元検査装置)
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかしながら、非特許文献1の方法では、光学系が複雑になりコストが非常にかかる。また高さ方向への微小移動も必要なため高速化は難しい。非特許文献2の方法によれば、2次元的な広がりのあるBGAデバイスの半田ボールの3次元座標測定に対しては、非特許文献3の方法のように光を走査しなければならない。そして後述する非特許文献3の方法と同じ問題点がある。
【0007】
非特許文献3の方法によれば、レーザー光を被測定物である半田ボールの頂点を通るように走査させなければならないが、完全にボールの頂点を照射しないことや、走査方向とボール配列の方向にずれがあること等のため、ボールの平面位置を測定できない、すなわち精度を確保できないという問題点がある。
【0008】
非特許文献4の方法によれば、被測定物である半田ボールの等高線を白黒の画像パターンとして計測するため、1つ1つのボールの3次元座標を得るためには、複雑なアルゴリズム(ボールの半径のところで、等高線の何本かが重なる等の問題があるので)を必要とする。一方、精度を上げるために位相シフト法を取り入れると、処理時間がかかり、コストも増加するという問題点がある。
【0009】
非特許文献5の3次元検査装置は、真上の光学系と左右対称に45度方向に配置された2つ光学系との合計3つの光学系で構成されており、既述のようにステレオ光学を形成している。このように、左右光学系を45度方向に配置すると、高さ方向に変化があった場合、他の角度で設置した場合と比較して、左右画像データで最も大きな変位として検出できる。
【0010】
ところが、45度傾けた光学系では、充分な焦点深度を確保しないと、画像データの中に高さの違いのために焦点の合わない部分が存在することとなる。このような焦点の合わない部分は、測定できないこととなる。そして、この検査装置では、照明のために真上光学系の直下に口径の大きい照明装置を配置している。
【0011】
このような検査装置は、シャープなエッジを持った被測定物の高さを測定する場合には大変有効である。しかしながら、3次元的な曲面で構成される被測定物に対しては、被測定物表面で照明光線が鏡面反射すると、左右光学系で得られる画像データにおいて、対象物上の同一点が一方の光学系では明るく見えるが、他方の光学系では暗く見えるという現象が発生する。この状態について図14を用いて説明する。
【0012】
図14に示される3次元検査装置において、半球状の被測定物1は、真上に設置された広い面積をもつ照明装置2で照射され、左右光学系3、4により撮像される。図において、2A及び2Bは、照明光線である。半球状の被測定物1の表面(曲面)において、鏡面反射され左光学系3に結象する光線3Aが実線で、右光学系4に結象する光線4Aが破線で図示されている。
【0013】
このような半球状の被測定物1の表面では、被測定物1の法線に対して入射光線と反射光線の角度が等しくなる。そして、撮像された画像データ上で明るくなる領域は、光学系3、4の光軸の向きと平行に光学系3、4に入射する光線による。
【0014】
図14より解るように、左画像データ上で明るくなる領域5(実線で表示)と右画像データ上で明るくなる領域6(破線で表示)とは一致しない。このように図14の検査装置では、左光学系3と右光学系4とでは、被測定物1に対する見え方が違うため、すなわち被測定物1上の同一点が同じ明るさとはならないため(画像データ上の明るい領域は互いに異なる場所であるため)正確に測定することが難しいという問題点がある。特に3次元的曲面では、同一点を左右画像データ上で対応をつけることが難しい。
【0015】
以上、要約すると、非特許文献5のように、ステレオ光学系を応用する場合には、左右の光学系で撮像点・撮像方向が異なるため、3次元的曲面を持つ被測定物に対し見え方が違い、同一点の同定ができないという問題がある。
【0016】
本発明はこのような状況を考慮してなされたもので、上記の各問題点を解決でき、BGA等のように表面に多数の突起物を備えた被測定物の精密な3次元座標を測定するのに好適な3次元座標測定装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【0017】
前記目的を達成するために、本発明は、被測定物を載置する試料台と、同軸落射照明を備えたテレセントリック光学系の撮像手段であって、前記試料台の鉛直軸に対して光軸が所定の傾斜角度をなすように設けられる第1の撮像手段と、同軸落射照明を備えたテレセントリック光学系の撮像手段であって、前記試料台の鉛直軸に対して光軸が前期第1の撮像手段の光軸と線対称になるように設けられる第2の撮像手段と、前記第1及び第2の撮像手段で撮像した画像より被測定物表面の3次元座標を得る算出手段と、を備えたことを特徴とする3次元座標測定装置を提供する。
【0018】
また、このために、本発明は、同軸落射照明を備えたテレセントリック光学系の撮像手段であって、被測定物を載置した試料台の鉛直軸に対して光軸が所定の傾斜角度をなすように設けられる第1の撮像手段と、同軸落射照明を備えたテレセントリック光学系の撮像手段であって、前記試料台の鉛直軸に対して光軸が前期第1の撮像手段の光軸と線対称になるように設けられる第2の撮像手段とを使用し、前記第1の撮像手段で照明した被測定物表面を前記第2の撮像手段で撮像するステップと、前記第1の撮像手段と第2の撮像手段とを使用し、前記第2の撮像手段で照明した被測定物表面を前記第1の撮像手段で撮像するステップと、前記第1及び第2の撮像手段で撮像した画像より被測定物表面の3次元座標を得るステップと、を含むことを特徴とする3次元座標測定方法を提供する。
【0019】
本発明によれば、同軸落射照明を備えたテレセントリック光学系の撮像手段であって、左右に対称に設けられる第1及び第2の撮像手段を使用し、第1の撮像手段で照明した被測定物表面を第2の撮像手段で撮像し、また、第2の撮像手段で照明した被測定物表面を第1の撮像手段で撮像し、これらの画像より被測定物表面の3次元座標を得る。
【0020】
すなわち、本発明は、非特許文献5のようにステレオ光学を応用するものであるが、3次元的曲面を持つ被測定物であっても、左右の光学系で同一の画像が得られるように、左右対称に配置した同軸落射照明を備えたテレセントリック光学系により、光の相反性(入射光線と反射光線とは反転できるという原理)を利用した3次元座標測定装置及び方法である。
【0021】
したがって、本発明によれば、上記の各問題点が解消され、BGA等のように表面に多数の突起物を備えた被測定物の精密な3次元座標を測定するのに好適な3次元座標測定装置及び方法が得られる。
【0022】
なお、テレセントリック光学系とは、絞りが対物レンズの焦点の一つに置かれている望遠鏡光学系を指す。
【0023】
本発明において、前記試料台の表面に被測定物との距離を検出するために設けられたマークと、被測定物が高輝度で検出される領域の重心との距離を前記第1の撮像手段と第2の撮像手段によりそれぞれ検出し、検出された前記距離同士の差より被測定物の高さ方向の座標を算出することが好ましい。
【0024】
このように、試料台のマークと、被測定物の検出領域の重心との距離が第1及び第2の撮像手段によりそれぞれ検出され、この距離同士の差より被測定物の高さ方向の座標が算出されれば、好適な3次元座標測定が行える。
【0025】
また、本発明において、前記第1の撮像手段により被測定物が高輝度で検出される領域と前記第2の撮像手段により被測定物が高輝度で検出される領域とをパターンマッチングによりそれぞれ認識し、認識された前記領域同士の距離の差より被測定物の高さ方向の座標を算出することが好ましい。このように、パターンマッチングの技術を利用して第1及び第2の撮像手段によりそれぞれ検出され領域を認識すれば、高精度の3次元座標測定が行える。
【0026】
また、本発明において、前記第1の撮像手段及び第2の撮像手段の撮像位置パラメータを使用して、前記第1の撮像手段で撮像された画像と前記第2の撮像手段で撮像された画像とで被測定物の画像上での対応をとり、これにより被測定物の3次元座標を得ることが好ましい。そして、第1の撮像手段及び第2の撮像手段の撮像位置パラメータをキャリブレーションしておくことが好ましい。このように、第1の撮像手段及び第2の撮像手段の撮像位置パラメータをキャリブレーションしておけば、第1の撮像手段で撮像された画像と第2の撮像手段で撮像された画像とで、被測定物の画像上での対応をとることにより、被測定物の高精度の3次元座標測定が行える。
【0027】
また、撮像手段の撮像位置パラメータとしては、カメラの撮像位置(XC、YC、及びZC)、カメラ撮像の方向(X軸周りの回転角度RX、Y軸周りの回転角度RY、及びZ軸周りの回転角度RZ)、主点位置(画像データの中心点とカメラ光軸との差異XO及びYO)及びカメラの焦点距離fの9つである。
【発明の効果】
【0028】
本発明によれば、従来よりの各問題点が解消され、BGA等のように表面に多数の突起物を備えた被測定物の精密な3次元座標を測定するのに好適な3次元座標測定装置及び方法が得られる。
【発明を実施するための最良の形態】
【0029】
以下、添付図面に従って本発明に係る3次元座標測定装置及び方法の好ましい実施の形態(第1の実施形態)について詳説する。
【0030】
図1は、本発明に係る3次元座標測定装置10の構成図である。この装置において、被測定物(図の場合は、BGA)Wを載置する試料台12が設けられている。そして、試料台12の鉛直軸CLに対して光軸14Aが所定の傾斜角度θをなすように第1の撮像手段である左光学系14が設けられている。この左光学系14には、テレセントリック光学系の鏡筒14Bが設けられており、この鏡筒14Bの内部にはハーフミラー14Cが光軸14Aに対し45度の角度をなして配されている。
【0031】
そして、鏡筒14Bの側面に設けられた照明鏡筒14Dに矢印方向に外部光源よりの照明光が照射されることにより、同軸落射照明系を構成している。また、鏡筒14Bの基端部には撮像カメラ14Eが連結されており、撮像カメラ14Eの出力ケーブル14Fは画像処理装置18に接続されている。この画像処理装置18は、左光学系14及び後述する
右光学系16が撮像した画像より被測定物W表面の3次元座標を得る算出手段に該当する。
【0032】
同様に、試料台12の鉛直軸CLに対して光軸16Aが所定の傾斜角度θをなすように第2の撮像手段である右光学系16が設けられている。すなわち、右光学系16において、試料台12の鉛直軸CLに対して光軸16Aが左光学系14の光軸14Aと線対称になるように設けられている。この右光学系16には、テレセントリック光学系の鏡筒16Bが設けられており、この鏡筒16Bの内部にはハーフミラー16Cが光軸16Aに対し45度の角度をなして配されている。
【0033】
そして、鏡筒16Bの側面に設けられた照明鏡筒16Dに矢印方向に外部光源よりの照明光が照射されることにより、同軸落射照明系を構成している。また、鏡筒16Bの基端部には撮像カメラ16Eが連結されており、撮像カメラ16Eの出力ケーブル16Fは画像処理装置18に接続されている。
【0034】
左光学系14及び右光学系16の鉛直軸CLに対する傾斜角度θに特に制限はないが、10〜20度が好ましく、12.5〜17.5度がより好ましい。
【0035】
試料台12は、図1のX、Y及びZ方向に移動可能となっており、このX、Y及びZ方向の移動量が図示しない検知手段(たとえば、リニアスケール)により画像処理装置18に入力されるようになっている。
【0036】
試料台12上の被測定物Wの種類、サイズ等に特に制限はないが、たとえば、図のようにBGA(ボールの直径が0.25mmで、デバイスサイズが10mm角のもの)とできる。試料台12上の被測定物Wの載置位置の近傍には、識別用マーク(図4参照)が設けられている。これについては後述する。
【0037】
鏡筒14B、16Bとしては、テレセントリック光学系のレンズ鏡筒であれば倍率、口径サイズ等に特に制限はないが、たとえば、0.1〜10倍のもので、測定領域の直径が40〜50mmのものとできる。
【0038】
撮像カメラ14E、16Eの種類、倍率等に特に制限はないが、たとえば1/2インチCCD(12.7mm)の工業用カメラが使用できる。
【0039】
次に、図1の3次元座標測定装置10を使用した測定の原理について説明する。
【0040】
先ず、本発明の3次元座標測定装置10で利用する光の相反性(入射光線と反射光線とは反転できるという原理)について説明する。図2(A)は、同軸落射照明光学系の撮像手段15により、平面上に置かれたボール(球)Bを撮像して画像データを取得する場合の概略図である。鏡筒15Bは、テレセントリック光学系のレンズ鏡筒であり、この基端部に撮像カメラ15Eが接続されている。なお、照明光学系の図示は省略されている。
【0041】
図2(A)において、試料台12の表面(平面状である)及びボールBの頂上部分では、鏡面反射により、入射光線RIと反射光線ROとは方向が反対であるが同一線上となる。ボールBの頂上部分で、厳密にこの条件に合致するのは1点のみであるが、テレセントリック光学系を用いると、図2(B)に示される撮像画像のように、ボールBの頂上部分の所定の大きさ部分(図における白抜き部分)が鏡面反射により明るくなる。また、ボールBを置いた試料台12の平面からも鏡面反射する。なお、図2(A)では画像処理システムは何も描かれていないが、光学系のカメラでモニターしたとする。
【0042】
このように、テレセントリック光学系では、光軸に対して少し傾いた範囲も結像するので、ボールBの頂上部分の所定範囲が明るくなる。これは、厳密な鏡面条件より少しゆるい条件である。この明るい領域の周囲は、ボールBの外周までは、鏡面条件を満たすことはないので暗くなる。また、ボールBを置いた試料台12の平面は、再び鏡面条件を満たすので明るくなる。
【0043】
なお、ボールBの頂上付近の明るく見える領域のサイズ(径)は、ボールBの大きさ、ボールBの表面の状態、テレセントリック光学系の特性、照明装置の特性等に依存する。
【0044】
図2(A)では、同軸落射照明を備えたテレセントリック光学系の撮像手段15が1つの場合であったが、これを2つにしてもよい。テレセントリック光学系の撮像手段を2つにした場合、図3(図1)に示されるように左右対称となるように配置する。
【0045】
図3のように左右対称に配置すると、左側の光学系14の同軸落射照明を使用して右側の撮像光学系16で画像データを取得し、右側の光学系16同軸落射照明を使用して左側の撮像光学系14で画像データを取得することができる。
【0046】
光には相反性がある(すなわち、入射光線と反射光線とは反転できる)ので、図3に示される2つのテレセントリック光学系では、水平な平面に対する鏡面条件は、図2の場合とほぼ一致するといえる。
【0047】
図3では、図2の場合と同じように、ボールBの頂上部分の平面は鏡面条件を満たしているので明るい領域となり、その周りの領域は、ボール外周までは、鏡面条件を満たすことはないので暗い領域となる。
【0048】
この図3の光学系で撮像した場合の画像データを図4に示す。このうち、(A)は、左側の光学系14で取得した画像データであり、(B)は、右側の光学系16で取得した画像データである。
【0049】
図4の画像データを図2(B)の画像データと比べると、図4の画像データではボールBの頂上部分の位置(図中の白抜き部分の位置)がズレている。(なお、ボールBの外周の黒い領域も左画像と右画像とでズレがあるが、測定には使用しない)。このズレの大きさ(長さ)は、試料台12の平面上にマークを付け、そのマークからの長さとして測定すれば容易に検出できる。このため、図4において、識別用マークとして“+”マークを試料台12の左上と右下に描いた。図4の識別用マークは、説明のために強調したもので、試料台12に固定されていれば、図4に示すことと同等の測定ができる。
【0050】
図3(図1)のように光学系14、16を画像データの横軸(X軸)方向に傾けて配置すると、このズレDはX方向のみに発生する。図4に示されるように、平面上に設置されたマークを位置の基準とすると、左画像データと右画像データとでは、ボールBの頂上部分の領域は、X軸方向でズレDL及びDR(位置の差異)がある。
【0051】
ボールBの頂上部分領域のX方向のズレ(左画像データと右画像データの差異)は、その高さにほぼ比例して変化する。したがって、高さによる左右画像データ上でのズレ(位置の差異)を予めキャリブレーションしておけば、被測定部位の高さを測定できる。本発明は、このように左右画像データ上のズレの大きさから、被測定部位の高さを検出するものである。
【0052】
図3(図1)のように、同軸落射照明を備えたテレセントリック光学系の左光学系14及び右光学系16を左右対称となるように配置すると、左光学系14では右側の照明装置を使用して被測定物を撮像でき、右光学系16では左側の照明装置を使用して被測定物を撮像できる。このような光学系14、16では、水平平面に対して鏡面条件を満たすことができる。
【0053】
そして、試料台12の平面上に載せられた被測定物の頂上周辺は水平平面となる。すなわち、被測定物の頂上周辺は鏡面条件を満たしている。また、入射光線と反射光線は反転できる(光の相反性)ので、被測定物の頂上周辺の領域は左右光学系に対して同じ条件で撮像される。すなわち、画像データ上では同じ形状となる。これは、被測定物が後述するバンプ電極C(図9等参照)のような曲面であっても成り立ち、左右画像データで曲面上の同一点を識別できる手段を与えることとなる。また、光学系14、16をX方向に傾けたため、被測定物の高さを変えた場合、画像データ上では被測定部位がX方向に変化することとなる。
【0054】
このように、左右対称に配置したテレセントリック光学系を使用することが本発明の特徴とする構成である。このような光学系により、被測定物の頂上周辺の領域が左画像データ上と右画像データ上とで同じ形に撮像される。そして、この特性を利用して被測定物を左右画像データ上で対応させ、高さを測定できる。
【0055】
次に、図1の3次元座標測定装置10を使用した測定方法について説明する。同軸落射照明を備えたテレセントリック光学系の左光学系14及び右光学系16は、平行光線で被測定物Wを照明し、平行光線で結像させることができる。したがって、左光学系14では右側の照明装置を使用して被測定物Wを撮像し、右光学系16では左側の照明装置を使用して被測定物Wを撮像する。
【0056】
このように、図1の3次元座標測定装置10で、BGAデバイスを撮像すると、図4に示されるような左右画像が1つ1つのボールB、B…から得られる。既述したように、ボールBの高さが変わると、ボールBの頂上部分の明るい領域は画像データ上で変位量が変化する(ずれ量が変わる)。画像データ上の変位量と高さ差異との関係を説明するために図5を用いて説明する。
【0057】
図1の左光学系14に備えられた照明装置によりほぼ平行となる光線RI、RI…で被測定物Wを照明すると、被測定物W上で鏡面反射した光線RO、RO…は右光学系16で結像して画像データとなる。図5は、平面座標(X、Y座標)の同一の点が高さ(Z軸方向)とともにどのように変化するかを示したものである。高さの変化hに対する画像データ上の変位dxは簡単に、以下の式1で表せる。
【0058】
[数1]
dx=(撮像倍率)×h×sinθ (式1)
また、左光学系14で撮像された画像データ上での変位は、これと反対の方向となる。
【0059】
この変位dxを算出するために、図6に示される格子板を使用する。この格子板は、ガラス板上に間隔及び太さが一定となるようにエッチングで格子を形成した基準格子板であり、これを用いて左右光学系14、16の調整を行うためのものである。
【0060】
図6に示される格子板は、格子間隔Pが1mmであり、格子線の太さtが0.05mmのものである。また、中央の格子点を識別するため余分のマーク(いわゆる、トンボマーク)を付加してある。なお、この図6は、この格子板を基準高さ(Z軸方向)位置に設置した状態で撮像した画像データである。
【0061】
具体的には、この格子板を基準高さ(Z軸方向)位置に水平に置いて、左右の画像データ上で格子位置が重なるように左右光学系14、16を調整する。既述の図6は、格子板と被測定物Wとの距離を110mmにし、左右光学系14、16の交差角度を30度(θを15度)にし、倍率1.0倍の光学系(左光学系14)で撮像した例である。
【0062】
図6に示される基準となる格子板を、高さ方向(Z軸方向)に正確に移動させて、画像データ上の(1点の)格子点の変位を正確に測定すると、図7のような高さ(縦軸)と、左右画像データ上での差異(横軸)の関係を示すグラフが得られる。すなわち、図7では、高さをY軸方向に、測定された画像データ上での差異(右画像データ上での測定値−左画像データ上での測定値)をX軸方向としている。
【0063】
このように、図7のグラフを簡略的に表現したものが、既述の式1である。なお、画像データ上での差異は、dxの2倍となっている。
【0064】
被測定物WであるBGAデバイスのボールBの高さを測定する前に、このようなキャリブレーションを実施し、キャリブレーションデータを保存しておく。3次元座標測定装置10のX・Y・Z軸の直交性が正確であれば、このキャリブレーションは画像中央の1点で実施しておけばよいが、X・Y・Z軸の調整には許容値があるので、測定領域(図6中の白い破線で示す範囲)をカバーするように図6の格子板の中央部25点についてキャリブレーションデータをもつことが実際的である。
【0065】
BGAデバイスの画像データ上では、多くのボールB、B…が撮像されるので、ボールBの高さを求めるときには、被測定ボールBに近い位置のキャリブレーションデータを使用するようにすることが好ましい(格子点の中間の位置では、補間計算を行うこともある)。
【0066】
通常のBGAデバイスでは、ボールBの直径は250μmであり、ボールB、B同士の間隔(ピッチ)は500μmである。上述したような、交差角度が30度(θが15度)で、1倍の光学系(1画素を10μmとして)では、ボールBの高さは、画像データ上では6.47画素のズレとなり(左右画像ではこの2倍のズレ)、一方ボールB、B同士の間隔は50画素である。
【0067】
そのため、一方の画像データで明るい領域が見つけられれば、他方の画像データ上でも明るい領域は容易に見つけられる。たとえば、250μmのボール場合は、約13画素分X方向にズレた位置に見つけられる。
【0068】
すなわち、同一ボールBに対して左右画像の対応をとることは難しくない。また、ボールBの頂上周辺の明るい領域は、ボールBの配列と同じ配列でほぼ一定の間隔となるので、領域の大きさが変化しても容易に見つけられる。
【0069】
BGAデバイスのボールBの3次元座標を測定するには、予めボールBの位置(ボールB、B…の配列も同時に)を画像データ上でティーチングしておく。試料台12にロードされるBGAデバイスの繰り返し位置決め精度程度に、画像データ上でのボールB位置がバラつくが、左右画像データでは、この大きさは同じである。
【0070】
次に、ボールBの3次元座標測定のフローを説明する。図8は、ボールBの3次元座標測定のプロセスを説明するフロー図である。
【0071】
先ず、左右画像データ上でボールBの頂上部分の明るい領域を抽出する(ステップS−1)。明るい領域は、ティーチングされたボールBの配列と同じ配列となる。そして、左右画像データ間で、ほぼ一定のズレで同じ配列として測定される。
【0072】
次いで、ボールBの頂上部分の明るい領域の重心座標を求める(ステップS−2)。ボールBの頂上の3次元座標を求めるためには、明るい領域から1点を座標として抽出する必要がある。この1点は、形状重心又は輝度重心として算出する。形状重心は、明るい領域より少し広い範囲で画像を2値化して、明るい領域を確定してその重心座標を求める。輝度重心は、明るい領域より少し広い範囲で、明るさを重みとして加重平均して座標を求める。
【0073】
次いで、左右画像データから得られた重心座標のX座標差異から、そのボールBの高さを求める(ステップS−3)。この際、既述したように、25点についてのキャリブレーションデータがあるので、当該ボールBと一番近いデータを使用する。
【0074】
次いで、高さに相当するX座標の差異(図7のグラフで得られる大きさの半分)を画像データに対して補正する(ステップS−4)。
【0075】
ステップS−4のようにして、画像座標上での座標と基準高さからの高さ差異が得られるので、これより3次元座標を求める(ステップS−5)。この際、画像データ上の座標と3次元座標とは、基準高さで基準格子板を測定して変換できるようにしておく。
【0076】
以上のステップ(ステップS−1〜ステップS−5)をボールBの配列の個数分繰り返せば、登録されたボールBの全ての3次元座標が得られる。
【0077】
ボールBの頂上部分の明るい画像領域の形状及び大きさは、ボールBの状態に依存している。しかしながら、ボールBの頂上部分の明るい画像領域の形状及び大きさが大きく変化しても、本発明によれば、光の相反性のため左右の画像データではほぼ同じ形状となる(後述する第2の実施形態の図9及び図10参照)。ボールBの形状が同じであれば、左右画像での重心位置も同等に算出されるので、高さ精度が確保される。本発明はこの点を考慮してなされたものである。
【0078】
なお、画像データ上で0.2画素のズレを識別できるとすると、片側の光学系のズレは0.1画素である。既述の式1に代入して計算すると、この画素のズレは高さの差異として2.5μmとなる。このように、1倍のテレセントリック光学系を交差角度30度に配した場合、高さ方向で2〜3μmの精度となる。0.2画素より小さい差異を識別できれば、更に測定精度は向上する。
【0079】
次に、本発明の第2の実施形態について説明する。この実施形態は、図1等で示される既述の第1の実施形態に対して、左右の光学系14、16の撮像位置パラメータを3次元的にキャリブレーションすること、及び、左右画像データ上で対応する点をパターンマッチングにより見つけるという2点を改良したものである。したがって、3次元座標測定装置10の構成は、図1と略同一である。
【0080】
本発明で採用されるテレセントリック光学系は、光軸に平行な光線で照明及び撮像するようにしたものであるが、レンズを使った結像系であるので、通常のカメラで撮像した場合と同様に、撮像位置パラメータを3次元的にキャリブレーションすることができる。
【0081】
撮像光学系(撮像カメラ)の撮像位置パラメータについては、後述するが、9つのパラメータよりなる。左右の光学系14、16の撮像位置パラメータが得られると、3次元座標を測定しようとする被測定物上の点を左右画像データ上で測定すれば、左右画像データ上の座標と撮像位置パラメータを用いて容易にその点の3次元座標を算出できる。この点は、ステレオ光学系による測定法として既知である。
【0082】
本実施形態においては、ステレオ光学系として、左画像データ上の位置及び右画像データ上の位置を測定することにより、被測定物の3次元座標を測定する。すなわち、既述の第1の実施形態では、左右画像データ上の対応点を重心座標から求めたが、本実施形態では、パターンマッチングにより、左画像と右画像の対応する位置を抽出する。
【0083】
図9は、被測定物Wとしてバンプ電極を採用した場合の拡大図であり、(B)は、バンプ電極Cの正面図(断面図)であり、(A)は、同軸落射照明を備えたテレセントリック光学系で真上からバンプ電極Cを撮像した画像データである。
【0084】
テレセントリック光学系では、光軸と平行な光線で撮像するが、光軸に対し小さい角度をなす範囲の光線は結像に寄与する。図9のバンプ電極Cの表面での鏡面反射の条件は、水平な平面(X−Y平面)のみであるが、テレセントリック光学系では水平な平面から少しの角度傾いた平面からも反射光が戻ってくる。
【0085】
図9に示されるようなバンプ電極Cの高原状の頂上周辺では、一定の傾き以内の平面と言う条件は、頂上からほぼ一定の高さまでの範囲と言う条件に言い換えられる。このような近似的な見方をして、頂上からdh低い領域まで照明光が反射する状態がこの図9に示されている。このdhは、実際には無視しても差し支えないくらい小さい量(後述)である。
【0086】
図9のバンプ電極Cを、左右対称に配置したテレセントリック光学系(図1の左右の光学系14、16)で撮像した画像データを図10に示す。図10において、左画像データは、撮像カメラ14Eの撮像面における画像データであり、右画像データは、撮像カメラ16Eの撮像面における画像データである。これは、第1の実施形態の図4に相当する。
【0087】
図10において、バンプ電極Cの表面で鏡面反射する入射光と反射光とが示されている。左光学系14(図1参照)に備えられた同軸落射照明の光線は、結像して右画像データとなり、右光学系16(図1参照)に備えられた同軸落射照明の光線は、結像して左画像データとなる。光の相反性の原理により、入射光と反射光とは入れ替えることができるので、バンプ電極Cの頂上周辺の領域の形状とバンプ電極Cの底面の形状は、左右の画像データで同じ形状になる。
【0088】
また、バンプ電極Cの頂上周辺の領域の形状とバンプ電極Cの底面の形状は、高さの違いのため、左画像データと右画像データとでズレが発生する。図10では、照明光線及び撮像光線に直交するように、撮像カメラ14E、16Eの撮像面、及び撮像される画像データが描かれている。そして、撮像カメラ14E、16Eの撮像面の上流側に光学系があるので、実際の画像データは上下及び左右が入れ替わる(図10では、図が複雑とならないように、結像光学系を省略した)。すなわち、第1の実施形態の図4と図10とを比較すると、電極の頂上部分の領域は逆方向にずれている。実際の画像は、図10と上下左右が入れ替わるので、このようなことはない。
【0089】
画像処理の技術分野においては、形状が同じであれば、パターンマッチングにより最もよく重なる位置を容易に求めることができる。パターンマッチングを実行するためには、パターンマッチングの画像モデルを登録する必要がある。左右の光学系を持つステレオ画像システムでは、被測定物上の1点に対する左画像データ上の位置(座標)と右画像データ上の位置(座標)とが与えられれば、その点の3次元座標を算出できる。
【0090】
図10において、左画像データ上でバンプ電極Cの頂上周辺領域(画像データ上で明るい領域)をモデル画像として登録し、登録されたモデル画像を使用して右画像データをサーチ(パターンマッチングで最もよく重なる位置を求める)することにより、左画像と右画像との対応点を求める。右画像データ上の黒い+マークはモデル原点であり、明るい領域の重心位置で、頂上と見なした点である。右画像データ上の黒い+マークはサーチされた位置を示す。このような対応がとれれば、左右の画像データの画像座標から頂上と見なした点の3次元座標が算出できる。
【0091】
デバイスの基板が鏡面反射する場合には、電極の底面の形状は既述の図9及び図10に示されるように、黒い境界で囲まれた領域となる。電極の底面の形状をモデル画像として登録しておけば、パターンマッチングにより、容易に電極の底面の位置(たとえば、重心位置)を求めることができる。電極の底面の位置が得られたら、バンプ電極Cの頂上周辺領域も簡単に求められ、バンプ電極Cの頂上周辺領域を設定して画像モデルを登録できる。
【0092】
また、デバイスの基板が鏡面反射しない場合には、既述の図9及び図10に示されるような黒い境界は存在せず、バンプ電極Cの頂上周辺領域の明るい領域のみの画像となる。このような場合には、画像データ上で明るく見える領域を抽出し(領域の大きさが、バンプ電極Cの大きさ以下であることの確認が要)、抽出された領域がバンプ電極Cの配列と同じとなるか(同じ配列状に並んでいるか)、平面上の座標をチェックする。
【0093】
その後で、左画像の明るい領域を囲むようにモデル画像を登録する(図10と同様の操作)。登録された画像モデルにより右画像データをサーチすれば、左画像データ上と右画像データ上での対応点の座標が得られる。これにより、既述したように3次元座標が算出できる。
【0094】
次に、バンプ電極Cの3次元座標測定のフローを説明する。図11は、バンプ電極Cの3次元座標測定のプロセスを説明するフロー図である。
【0095】
先ず、左画像上でバンプ電極Cの頂上部分の明るい領域を抽出する(ステップS−11)。次いで、抽出された領域がバンプ電極Cの配列と同じ配列状となるかチェックする(ステップS−12)。
【0096】
次いで、バンプ電極Cの頂上周辺の領域を画像モデルとして登録する(ステップS−13)。そして、登録された画像モデルを用いて右画像をサーチする(ステップS−14)。
【0097】
次いで、画像モデルの原点(左画像上の座標)とサーチされた位置(右画像上の座標)から3次元座標を算出する(ステップS−15)。
【0098】
以上のステップ(ステップS−13〜ステップS−15)をバンプ電極Cの配列の個数分繰り返せば、登録されたバンプ電極Cの全ての3次元座標が得られる(ステップS−16)。
【0099】
このように、本発明によれば、光の相反性の原理を利用して、被測定物の頂点近傍の平面で反射される光線の特性に着目して高さ測定を実施するので、バンプ電極のように3次元的な曲面で形成される被測定物の3次元座標の測定に適している。そして、視野内にある被測定物に対しては同時に測定できるので、処理を高速化することができる。
【0100】
既述したように、テレセントリック光学系では、対物レンズの焦点位置に絞りを置く(物体側テレセントリック光学系)。この絞りがあるため、対物レンズより物体側では光軸と平行な光線以外は絞りで遮蔽されるため結像に寄与しない。光学系の結像位置は、絞りには依存せず、同じである。
【0101】
このテレセントリック光学系も、レンズを使用した結像系であるので、カメラの位置決めと同じ方法でキャリブレーションできる。通常のカメラ位置決め方法を以下に記述する(たとえば、「写真による三次元測定(1983年共立出版)」参照)。ただし、カメラでは被測定物までの距離が大きいが、テレセントリック光学系では被測定物まで距離はそれほど大きくない。そのため、カメラ位置決めパラメータとして、カメラで焦点距離としているところは、光学系の設計に基づく結像距離(焦点距離より長い)である。
【0102】
カメラの撮像パラメータとしては、カメラの撮像位置(XC、YC、及びZC)、カメラ撮像の方向(X軸周りの回転角度RX、Y軸周りの回転角度RY、及びZ軸周りの回転角度RZ)、主点位置(画像データの中心点とカメラ光軸との差異XO及びYO)及びカメラの焦点距離fの9つを用いる。
【0103】
これら9つのパラメータは、基準とする座標系で3次元位置が既知である点より、撮像して得られた画像データ上で精密に座標を測定すれば、公開されている文献(たとえば、既述の「写真による三次元測定(1983年共立出版)」)に基づいた式から算出できる。この際、画像データ上の位置(画像データ上での座標)と3次元座標が既知である点を5点以上測定すればよい。この場合、3次元的に配置する必要がある。
【0104】
図12は、カメラの撮像位置パラメータについて説明する図である。図12では、座標系を決める面を基準面とし、その面に平行に第二基準面、第三基準面を設け、これら3つの面上に座標が既知の点9点を配置した。(基準点は各基準面では直線上(図とは異なるが)にはないものとする)。
【0105】
これらの9点は、図12において直線で示されるように、画像データ上に撮像される。テレセントリック光学系では光軸に平行な光線で撮像するので、図の直線で示す光線は絞りで遮蔽される。しかし結象位置は絞りに依存しないので、結象位置を求めるためにはこの直線の方が簡単である。これら9点の画像座標を精密に測定すれば、カメラ撮像パラメータが得られる。
【0106】
次に、テレセントリック光学系でボールBの明るく見える領域について説明する。図13は、ボールBの中心Oを通る垂直線をBLとし、ボールBの中心Oで垂直線BLと角度φをなして交わる直線BHを垂直線BLの周りに回転させた状態を示す。この直線BHのボールBの球面上の軌跡は、図に示されるような円となる。中心Oからその円までの高さ(高さ方向の距離)は、ボールBの半径をrとした場合、r×cosφである。ボールBの頂点Tとその円との高さの違いdhは、以下の式2で表せる。
【0107】
[数2]
dh=r×(1−cosφ)=r×φ×φ/2 (式2)
φが小さいとしてcosφを展開すると、式2の右式のようになる。φが微小量であるとこれは2次のオーダーの微小量となるので、無視できる大きさである。この図13はテレセントリック光学系の状況を近似している。φはテレセントリック光学系の設計要素と関連している。
【0108】
以上に説明したように、本発明によれば、テレセントリック光学系を左右対称に配置することにより、光の相反性に着目して被測定物の頂点近傍の平面で反射される領域が左画像データと右画像データとで同じになるという特性を利用して、被測定物の高さを測定することができる。
【0109】
したがって、本発明は、BGAや、図9に示されるような形状のバンプ電極のように3次元的な曲面で形成される対象物の3次元座標の測定に適している。そして、画像データとして撮像された範囲(すなわち、光学系の視野範囲)内の突起物が多数あるBGA等の場合には、これらを同時に、かつ高速に測定できるというメリットがある。
【0110】
たとえば、0.5〜1倍の光学系では、視野が6×5mm〜12×10mmとなり、100〜400個の半田ボールを備えるBGAデバイスを、精度3〜5μmで同時に測定できる。その上、±0.5〜±1mm程度の高さの測定範囲がある。したがって、精度が高く、コストが低く、スピードが速く、高さの測定範囲が広いという各点において、従来の装置に比べ大きなメリットがある。
【0111】
以上、本発明に係る3次元座標測定装置及び方法の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、各種の態様が採り得る。
【0112】
たとえば、被測定物として主にBGAを取り上げて説明したが、これ以外の対象物の3次元座標測定であっても同様に行える。
【図面の簡単な説明】
【0113】
【図1】本発明に係る3次元座標測定装置の構成図
【図2】同軸落射照明光学系の撮像手段によりボールを撮像して画像データを取得する場合の概略図
【図3】同軸落射照明光学系の撮像手段を左右対称に配置しボールを撮像して画像データを取得する場合の概略図
【図4】図3の光学系で撮像した場合の画像データを示す図
【図5】図1の3次元座標測定装置でBGAデバイスを撮像する状態を説明する概略図
【図6】格子板の平面図
【図7】格子板の高さと左右画像データ上での差異との関係を示すグラフ
【図8】ボールの3次元座標測定のプロセスを説明するフロー図
【図9】被測定物としてバンプ電極を採用した場合の撮像した画像データ等
【図10】バンプ電極を左右対称に配置したテレセントリック光学系で撮像した画像データ
【図11】バンプ電極の3次元座標測定のプロセスを説明するフロー図
【図12】カメラの撮像位置パラメータについて説明する図
【図13】テレセントリック光学系でボールの明るく見える領域について説明する図
【図14】従来例の3次元検査装置の構成図
【符号の説明】
【0114】
10…3次元座標測定装置、12…試料台、14…左光学系、16…右光学系、14B、16B…鏡筒、14C、16C…ハーフミラー、14D、16D…照明鏡筒、14E、16E…撮像カメラ、18…画像処理装置
【技術分野】
【0001】
本発明は、3次元座標測定装置及び方法に係り、特に、BGA等のように表面に多数の突起物を備えた被測定物を高精度に測定するのに好適な3次元座標測定装置及び方法に関する。
【背景技術】
【0002】
半導体デバイスの1つとして、BGA(ボール・グリッド・アレイ)が使用されている。このBGAは、基板の表面に多数の微細な半田ボールが配列されたものであり、個々の半田ボールの高さ及び位置が規定の範囲内に収められていることが、半導体基板への実装に欠かせない。
【0003】
すなわち、このBGAの普及に伴い、3次元的な曲面を持つボールの高さと位置を測定する技術が必要とされている。近年において、BGAデバイス上のボール数も増加しているため、特に、高速に測定する技術が必要とされている。
【0004】
ところで、従来より曲面の3次元的位置測定の代表的な技術としては、以下の5種類の技術が知られている(非特許文献1〜5)。
【0005】
非特許文献1は、共焦点光学系を用いる3次元測定方法に関するものである。非特許文献2は、光学的3角測量を用いる方法に関するものである。非特許文献3は、レーザー光走査(光切断法)を用いる方法に関するものである。非特許文献4は、モアレ干渉法を用いる方法に関するものである。非特許文献5は、真上及び左右45度方向に光学系を設置した3次元検査装置(ステレオ光学を応用)に関するものである。
【非特許文献1】カールツァイス株式会社 カタログ(3次元測定装置)
【非特許文献2】光三次元計測 2章 吉澤 徹 編、新技術コミュニケーションズ 1993年3月8日
【非特許文献3】光三次元計測 3章 吉澤 徹 編、新技術コミュニケーションズ 1993年3月8日
【非特許文献4】光三次元計測 4章 吉澤 徹 編、新技術コミュニケーションズ 1993年3月8日
【非特許文献5】株式会社アルゴル カタログ(3次元検査装置)
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかしながら、非特許文献1の方法では、光学系が複雑になりコストが非常にかかる。また高さ方向への微小移動も必要なため高速化は難しい。非特許文献2の方法によれば、2次元的な広がりのあるBGAデバイスの半田ボールの3次元座標測定に対しては、非特許文献3の方法のように光を走査しなければならない。そして後述する非特許文献3の方法と同じ問題点がある。
【0007】
非特許文献3の方法によれば、レーザー光を被測定物である半田ボールの頂点を通るように走査させなければならないが、完全にボールの頂点を照射しないことや、走査方向とボール配列の方向にずれがあること等のため、ボールの平面位置を測定できない、すなわち精度を確保できないという問題点がある。
【0008】
非特許文献4の方法によれば、被測定物である半田ボールの等高線を白黒の画像パターンとして計測するため、1つ1つのボールの3次元座標を得るためには、複雑なアルゴリズム(ボールの半径のところで、等高線の何本かが重なる等の問題があるので)を必要とする。一方、精度を上げるために位相シフト法を取り入れると、処理時間がかかり、コストも増加するという問題点がある。
【0009】
非特許文献5の3次元検査装置は、真上の光学系と左右対称に45度方向に配置された2つ光学系との合計3つの光学系で構成されており、既述のようにステレオ光学を形成している。このように、左右光学系を45度方向に配置すると、高さ方向に変化があった場合、他の角度で設置した場合と比較して、左右画像データで最も大きな変位として検出できる。
【0010】
ところが、45度傾けた光学系では、充分な焦点深度を確保しないと、画像データの中に高さの違いのために焦点の合わない部分が存在することとなる。このような焦点の合わない部分は、測定できないこととなる。そして、この検査装置では、照明のために真上光学系の直下に口径の大きい照明装置を配置している。
【0011】
このような検査装置は、シャープなエッジを持った被測定物の高さを測定する場合には大変有効である。しかしながら、3次元的な曲面で構成される被測定物に対しては、被測定物表面で照明光線が鏡面反射すると、左右光学系で得られる画像データにおいて、対象物上の同一点が一方の光学系では明るく見えるが、他方の光学系では暗く見えるという現象が発生する。この状態について図14を用いて説明する。
【0012】
図14に示される3次元検査装置において、半球状の被測定物1は、真上に設置された広い面積をもつ照明装置2で照射され、左右光学系3、4により撮像される。図において、2A及び2Bは、照明光線である。半球状の被測定物1の表面(曲面)において、鏡面反射され左光学系3に結象する光線3Aが実線で、右光学系4に結象する光線4Aが破線で図示されている。
【0013】
このような半球状の被測定物1の表面では、被測定物1の法線に対して入射光線と反射光線の角度が等しくなる。そして、撮像された画像データ上で明るくなる領域は、光学系3、4の光軸の向きと平行に光学系3、4に入射する光線による。
【0014】
図14より解るように、左画像データ上で明るくなる領域5(実線で表示)と右画像データ上で明るくなる領域6(破線で表示)とは一致しない。このように図14の検査装置では、左光学系3と右光学系4とでは、被測定物1に対する見え方が違うため、すなわち被測定物1上の同一点が同じ明るさとはならないため(画像データ上の明るい領域は互いに異なる場所であるため)正確に測定することが難しいという問題点がある。特に3次元的曲面では、同一点を左右画像データ上で対応をつけることが難しい。
【0015】
以上、要約すると、非特許文献5のように、ステレオ光学系を応用する場合には、左右の光学系で撮像点・撮像方向が異なるため、3次元的曲面を持つ被測定物に対し見え方が違い、同一点の同定ができないという問題がある。
【0016】
本発明はこのような状況を考慮してなされたもので、上記の各問題点を解決でき、BGA等のように表面に多数の突起物を備えた被測定物の精密な3次元座標を測定するのに好適な3次元座標測定装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【0017】
前記目的を達成するために、本発明は、被測定物を載置する試料台と、同軸落射照明を備えたテレセントリック光学系の撮像手段であって、前記試料台の鉛直軸に対して光軸が所定の傾斜角度をなすように設けられる第1の撮像手段と、同軸落射照明を備えたテレセントリック光学系の撮像手段であって、前記試料台の鉛直軸に対して光軸が前期第1の撮像手段の光軸と線対称になるように設けられる第2の撮像手段と、前記第1及び第2の撮像手段で撮像した画像より被測定物表面の3次元座標を得る算出手段と、を備えたことを特徴とする3次元座標測定装置を提供する。
【0018】
また、このために、本発明は、同軸落射照明を備えたテレセントリック光学系の撮像手段であって、被測定物を載置した試料台の鉛直軸に対して光軸が所定の傾斜角度をなすように設けられる第1の撮像手段と、同軸落射照明を備えたテレセントリック光学系の撮像手段であって、前記試料台の鉛直軸に対して光軸が前期第1の撮像手段の光軸と線対称になるように設けられる第2の撮像手段とを使用し、前記第1の撮像手段で照明した被測定物表面を前記第2の撮像手段で撮像するステップと、前記第1の撮像手段と第2の撮像手段とを使用し、前記第2の撮像手段で照明した被測定物表面を前記第1の撮像手段で撮像するステップと、前記第1及び第2の撮像手段で撮像した画像より被測定物表面の3次元座標を得るステップと、を含むことを特徴とする3次元座標測定方法を提供する。
【0019】
本発明によれば、同軸落射照明を備えたテレセントリック光学系の撮像手段であって、左右に対称に設けられる第1及び第2の撮像手段を使用し、第1の撮像手段で照明した被測定物表面を第2の撮像手段で撮像し、また、第2の撮像手段で照明した被測定物表面を第1の撮像手段で撮像し、これらの画像より被測定物表面の3次元座標を得る。
【0020】
すなわち、本発明は、非特許文献5のようにステレオ光学を応用するものであるが、3次元的曲面を持つ被測定物であっても、左右の光学系で同一の画像が得られるように、左右対称に配置した同軸落射照明を備えたテレセントリック光学系により、光の相反性(入射光線と反射光線とは反転できるという原理)を利用した3次元座標測定装置及び方法である。
【0021】
したがって、本発明によれば、上記の各問題点が解消され、BGA等のように表面に多数の突起物を備えた被測定物の精密な3次元座標を測定するのに好適な3次元座標測定装置及び方法が得られる。
【0022】
なお、テレセントリック光学系とは、絞りが対物レンズの焦点の一つに置かれている望遠鏡光学系を指す。
【0023】
本発明において、前記試料台の表面に被測定物との距離を検出するために設けられたマークと、被測定物が高輝度で検出される領域の重心との距離を前記第1の撮像手段と第2の撮像手段によりそれぞれ検出し、検出された前記距離同士の差より被測定物の高さ方向の座標を算出することが好ましい。
【0024】
このように、試料台のマークと、被測定物の検出領域の重心との距離が第1及び第2の撮像手段によりそれぞれ検出され、この距離同士の差より被測定物の高さ方向の座標が算出されれば、好適な3次元座標測定が行える。
【0025】
また、本発明において、前記第1の撮像手段により被測定物が高輝度で検出される領域と前記第2の撮像手段により被測定物が高輝度で検出される領域とをパターンマッチングによりそれぞれ認識し、認識された前記領域同士の距離の差より被測定物の高さ方向の座標を算出することが好ましい。このように、パターンマッチングの技術を利用して第1及び第2の撮像手段によりそれぞれ検出され領域を認識すれば、高精度の3次元座標測定が行える。
【0026】
また、本発明において、前記第1の撮像手段及び第2の撮像手段の撮像位置パラメータを使用して、前記第1の撮像手段で撮像された画像と前記第2の撮像手段で撮像された画像とで被測定物の画像上での対応をとり、これにより被測定物の3次元座標を得ることが好ましい。そして、第1の撮像手段及び第2の撮像手段の撮像位置パラメータをキャリブレーションしておくことが好ましい。このように、第1の撮像手段及び第2の撮像手段の撮像位置パラメータをキャリブレーションしておけば、第1の撮像手段で撮像された画像と第2の撮像手段で撮像された画像とで、被測定物の画像上での対応をとることにより、被測定物の高精度の3次元座標測定が行える。
【0027】
また、撮像手段の撮像位置パラメータとしては、カメラの撮像位置(XC、YC、及びZC)、カメラ撮像の方向(X軸周りの回転角度RX、Y軸周りの回転角度RY、及びZ軸周りの回転角度RZ)、主点位置(画像データの中心点とカメラ光軸との差異XO及びYO)及びカメラの焦点距離fの9つである。
【発明の効果】
【0028】
本発明によれば、従来よりの各問題点が解消され、BGA等のように表面に多数の突起物を備えた被測定物の精密な3次元座標を測定するのに好適な3次元座標測定装置及び方法が得られる。
【発明を実施するための最良の形態】
【0029】
以下、添付図面に従って本発明に係る3次元座標測定装置及び方法の好ましい実施の形態(第1の実施形態)について詳説する。
【0030】
図1は、本発明に係る3次元座標測定装置10の構成図である。この装置において、被測定物(図の場合は、BGA)Wを載置する試料台12が設けられている。そして、試料台12の鉛直軸CLに対して光軸14Aが所定の傾斜角度θをなすように第1の撮像手段である左光学系14が設けられている。この左光学系14には、テレセントリック光学系の鏡筒14Bが設けられており、この鏡筒14Bの内部にはハーフミラー14Cが光軸14Aに対し45度の角度をなして配されている。
【0031】
そして、鏡筒14Bの側面に設けられた照明鏡筒14Dに矢印方向に外部光源よりの照明光が照射されることにより、同軸落射照明系を構成している。また、鏡筒14Bの基端部には撮像カメラ14Eが連結されており、撮像カメラ14Eの出力ケーブル14Fは画像処理装置18に接続されている。この画像処理装置18は、左光学系14及び後述する
右光学系16が撮像した画像より被測定物W表面の3次元座標を得る算出手段に該当する。
【0032】
同様に、試料台12の鉛直軸CLに対して光軸16Aが所定の傾斜角度θをなすように第2の撮像手段である右光学系16が設けられている。すなわち、右光学系16において、試料台12の鉛直軸CLに対して光軸16Aが左光学系14の光軸14Aと線対称になるように設けられている。この右光学系16には、テレセントリック光学系の鏡筒16Bが設けられており、この鏡筒16Bの内部にはハーフミラー16Cが光軸16Aに対し45度の角度をなして配されている。
【0033】
そして、鏡筒16Bの側面に設けられた照明鏡筒16Dに矢印方向に外部光源よりの照明光が照射されることにより、同軸落射照明系を構成している。また、鏡筒16Bの基端部には撮像カメラ16Eが連結されており、撮像カメラ16Eの出力ケーブル16Fは画像処理装置18に接続されている。
【0034】
左光学系14及び右光学系16の鉛直軸CLに対する傾斜角度θに特に制限はないが、10〜20度が好ましく、12.5〜17.5度がより好ましい。
【0035】
試料台12は、図1のX、Y及びZ方向に移動可能となっており、このX、Y及びZ方向の移動量が図示しない検知手段(たとえば、リニアスケール)により画像処理装置18に入力されるようになっている。
【0036】
試料台12上の被測定物Wの種類、サイズ等に特に制限はないが、たとえば、図のようにBGA(ボールの直径が0.25mmで、デバイスサイズが10mm角のもの)とできる。試料台12上の被測定物Wの載置位置の近傍には、識別用マーク(図4参照)が設けられている。これについては後述する。
【0037】
鏡筒14B、16Bとしては、テレセントリック光学系のレンズ鏡筒であれば倍率、口径サイズ等に特に制限はないが、たとえば、0.1〜10倍のもので、測定領域の直径が40〜50mmのものとできる。
【0038】
撮像カメラ14E、16Eの種類、倍率等に特に制限はないが、たとえば1/2インチCCD(12.7mm)の工業用カメラが使用できる。
【0039】
次に、図1の3次元座標測定装置10を使用した測定の原理について説明する。
【0040】
先ず、本発明の3次元座標測定装置10で利用する光の相反性(入射光線と反射光線とは反転できるという原理)について説明する。図2(A)は、同軸落射照明光学系の撮像手段15により、平面上に置かれたボール(球)Bを撮像して画像データを取得する場合の概略図である。鏡筒15Bは、テレセントリック光学系のレンズ鏡筒であり、この基端部に撮像カメラ15Eが接続されている。なお、照明光学系の図示は省略されている。
【0041】
図2(A)において、試料台12の表面(平面状である)及びボールBの頂上部分では、鏡面反射により、入射光線RIと反射光線ROとは方向が反対であるが同一線上となる。ボールBの頂上部分で、厳密にこの条件に合致するのは1点のみであるが、テレセントリック光学系を用いると、図2(B)に示される撮像画像のように、ボールBの頂上部分の所定の大きさ部分(図における白抜き部分)が鏡面反射により明るくなる。また、ボールBを置いた試料台12の平面からも鏡面反射する。なお、図2(A)では画像処理システムは何も描かれていないが、光学系のカメラでモニターしたとする。
【0042】
このように、テレセントリック光学系では、光軸に対して少し傾いた範囲も結像するので、ボールBの頂上部分の所定範囲が明るくなる。これは、厳密な鏡面条件より少しゆるい条件である。この明るい領域の周囲は、ボールBの外周までは、鏡面条件を満たすことはないので暗くなる。また、ボールBを置いた試料台12の平面は、再び鏡面条件を満たすので明るくなる。
【0043】
なお、ボールBの頂上付近の明るく見える領域のサイズ(径)は、ボールBの大きさ、ボールBの表面の状態、テレセントリック光学系の特性、照明装置の特性等に依存する。
【0044】
図2(A)では、同軸落射照明を備えたテレセントリック光学系の撮像手段15が1つの場合であったが、これを2つにしてもよい。テレセントリック光学系の撮像手段を2つにした場合、図3(図1)に示されるように左右対称となるように配置する。
【0045】
図3のように左右対称に配置すると、左側の光学系14の同軸落射照明を使用して右側の撮像光学系16で画像データを取得し、右側の光学系16同軸落射照明を使用して左側の撮像光学系14で画像データを取得することができる。
【0046】
光には相反性がある(すなわち、入射光線と反射光線とは反転できる)ので、図3に示される2つのテレセントリック光学系では、水平な平面に対する鏡面条件は、図2の場合とほぼ一致するといえる。
【0047】
図3では、図2の場合と同じように、ボールBの頂上部分の平面は鏡面条件を満たしているので明るい領域となり、その周りの領域は、ボール外周までは、鏡面条件を満たすことはないので暗い領域となる。
【0048】
この図3の光学系で撮像した場合の画像データを図4に示す。このうち、(A)は、左側の光学系14で取得した画像データであり、(B)は、右側の光学系16で取得した画像データである。
【0049】
図4の画像データを図2(B)の画像データと比べると、図4の画像データではボールBの頂上部分の位置(図中の白抜き部分の位置)がズレている。(なお、ボールBの外周の黒い領域も左画像と右画像とでズレがあるが、測定には使用しない)。このズレの大きさ(長さ)は、試料台12の平面上にマークを付け、そのマークからの長さとして測定すれば容易に検出できる。このため、図4において、識別用マークとして“+”マークを試料台12の左上と右下に描いた。図4の識別用マークは、説明のために強調したもので、試料台12に固定されていれば、図4に示すことと同等の測定ができる。
【0050】
図3(図1)のように光学系14、16を画像データの横軸(X軸)方向に傾けて配置すると、このズレDはX方向のみに発生する。図4に示されるように、平面上に設置されたマークを位置の基準とすると、左画像データと右画像データとでは、ボールBの頂上部分の領域は、X軸方向でズレDL及びDR(位置の差異)がある。
【0051】
ボールBの頂上部分領域のX方向のズレ(左画像データと右画像データの差異)は、その高さにほぼ比例して変化する。したがって、高さによる左右画像データ上でのズレ(位置の差異)を予めキャリブレーションしておけば、被測定部位の高さを測定できる。本発明は、このように左右画像データ上のズレの大きさから、被測定部位の高さを検出するものである。
【0052】
図3(図1)のように、同軸落射照明を備えたテレセントリック光学系の左光学系14及び右光学系16を左右対称となるように配置すると、左光学系14では右側の照明装置を使用して被測定物を撮像でき、右光学系16では左側の照明装置を使用して被測定物を撮像できる。このような光学系14、16では、水平平面に対して鏡面条件を満たすことができる。
【0053】
そして、試料台12の平面上に載せられた被測定物の頂上周辺は水平平面となる。すなわち、被測定物の頂上周辺は鏡面条件を満たしている。また、入射光線と反射光線は反転できる(光の相反性)ので、被測定物の頂上周辺の領域は左右光学系に対して同じ条件で撮像される。すなわち、画像データ上では同じ形状となる。これは、被測定物が後述するバンプ電極C(図9等参照)のような曲面であっても成り立ち、左右画像データで曲面上の同一点を識別できる手段を与えることとなる。また、光学系14、16をX方向に傾けたため、被測定物の高さを変えた場合、画像データ上では被測定部位がX方向に変化することとなる。
【0054】
このように、左右対称に配置したテレセントリック光学系を使用することが本発明の特徴とする構成である。このような光学系により、被測定物の頂上周辺の領域が左画像データ上と右画像データ上とで同じ形に撮像される。そして、この特性を利用して被測定物を左右画像データ上で対応させ、高さを測定できる。
【0055】
次に、図1の3次元座標測定装置10を使用した測定方法について説明する。同軸落射照明を備えたテレセントリック光学系の左光学系14及び右光学系16は、平行光線で被測定物Wを照明し、平行光線で結像させることができる。したがって、左光学系14では右側の照明装置を使用して被測定物Wを撮像し、右光学系16では左側の照明装置を使用して被測定物Wを撮像する。
【0056】
このように、図1の3次元座標測定装置10で、BGAデバイスを撮像すると、図4に示されるような左右画像が1つ1つのボールB、B…から得られる。既述したように、ボールBの高さが変わると、ボールBの頂上部分の明るい領域は画像データ上で変位量が変化する(ずれ量が変わる)。画像データ上の変位量と高さ差異との関係を説明するために図5を用いて説明する。
【0057】
図1の左光学系14に備えられた照明装置によりほぼ平行となる光線RI、RI…で被測定物Wを照明すると、被測定物W上で鏡面反射した光線RO、RO…は右光学系16で結像して画像データとなる。図5は、平面座標(X、Y座標)の同一の点が高さ(Z軸方向)とともにどのように変化するかを示したものである。高さの変化hに対する画像データ上の変位dxは簡単に、以下の式1で表せる。
【0058】
[数1]
dx=(撮像倍率)×h×sinθ (式1)
また、左光学系14で撮像された画像データ上での変位は、これと反対の方向となる。
【0059】
この変位dxを算出するために、図6に示される格子板を使用する。この格子板は、ガラス板上に間隔及び太さが一定となるようにエッチングで格子を形成した基準格子板であり、これを用いて左右光学系14、16の調整を行うためのものである。
【0060】
図6に示される格子板は、格子間隔Pが1mmであり、格子線の太さtが0.05mmのものである。また、中央の格子点を識別するため余分のマーク(いわゆる、トンボマーク)を付加してある。なお、この図6は、この格子板を基準高さ(Z軸方向)位置に設置した状態で撮像した画像データである。
【0061】
具体的には、この格子板を基準高さ(Z軸方向)位置に水平に置いて、左右の画像データ上で格子位置が重なるように左右光学系14、16を調整する。既述の図6は、格子板と被測定物Wとの距離を110mmにし、左右光学系14、16の交差角度を30度(θを15度)にし、倍率1.0倍の光学系(左光学系14)で撮像した例である。
【0062】
図6に示される基準となる格子板を、高さ方向(Z軸方向)に正確に移動させて、画像データ上の(1点の)格子点の変位を正確に測定すると、図7のような高さ(縦軸)と、左右画像データ上での差異(横軸)の関係を示すグラフが得られる。すなわち、図7では、高さをY軸方向に、測定された画像データ上での差異(右画像データ上での測定値−左画像データ上での測定値)をX軸方向としている。
【0063】
このように、図7のグラフを簡略的に表現したものが、既述の式1である。なお、画像データ上での差異は、dxの2倍となっている。
【0064】
被測定物WであるBGAデバイスのボールBの高さを測定する前に、このようなキャリブレーションを実施し、キャリブレーションデータを保存しておく。3次元座標測定装置10のX・Y・Z軸の直交性が正確であれば、このキャリブレーションは画像中央の1点で実施しておけばよいが、X・Y・Z軸の調整には許容値があるので、測定領域(図6中の白い破線で示す範囲)をカバーするように図6の格子板の中央部25点についてキャリブレーションデータをもつことが実際的である。
【0065】
BGAデバイスの画像データ上では、多くのボールB、B…が撮像されるので、ボールBの高さを求めるときには、被測定ボールBに近い位置のキャリブレーションデータを使用するようにすることが好ましい(格子点の中間の位置では、補間計算を行うこともある)。
【0066】
通常のBGAデバイスでは、ボールBの直径は250μmであり、ボールB、B同士の間隔(ピッチ)は500μmである。上述したような、交差角度が30度(θが15度)で、1倍の光学系(1画素を10μmとして)では、ボールBの高さは、画像データ上では6.47画素のズレとなり(左右画像ではこの2倍のズレ)、一方ボールB、B同士の間隔は50画素である。
【0067】
そのため、一方の画像データで明るい領域が見つけられれば、他方の画像データ上でも明るい領域は容易に見つけられる。たとえば、250μmのボール場合は、約13画素分X方向にズレた位置に見つけられる。
【0068】
すなわち、同一ボールBに対して左右画像の対応をとることは難しくない。また、ボールBの頂上周辺の明るい領域は、ボールBの配列と同じ配列でほぼ一定の間隔となるので、領域の大きさが変化しても容易に見つけられる。
【0069】
BGAデバイスのボールBの3次元座標を測定するには、予めボールBの位置(ボールB、B…の配列も同時に)を画像データ上でティーチングしておく。試料台12にロードされるBGAデバイスの繰り返し位置決め精度程度に、画像データ上でのボールB位置がバラつくが、左右画像データでは、この大きさは同じである。
【0070】
次に、ボールBの3次元座標測定のフローを説明する。図8は、ボールBの3次元座標測定のプロセスを説明するフロー図である。
【0071】
先ず、左右画像データ上でボールBの頂上部分の明るい領域を抽出する(ステップS−1)。明るい領域は、ティーチングされたボールBの配列と同じ配列となる。そして、左右画像データ間で、ほぼ一定のズレで同じ配列として測定される。
【0072】
次いで、ボールBの頂上部分の明るい領域の重心座標を求める(ステップS−2)。ボールBの頂上の3次元座標を求めるためには、明るい領域から1点を座標として抽出する必要がある。この1点は、形状重心又は輝度重心として算出する。形状重心は、明るい領域より少し広い範囲で画像を2値化して、明るい領域を確定してその重心座標を求める。輝度重心は、明るい領域より少し広い範囲で、明るさを重みとして加重平均して座標を求める。
【0073】
次いで、左右画像データから得られた重心座標のX座標差異から、そのボールBの高さを求める(ステップS−3)。この際、既述したように、25点についてのキャリブレーションデータがあるので、当該ボールBと一番近いデータを使用する。
【0074】
次いで、高さに相当するX座標の差異(図7のグラフで得られる大きさの半分)を画像データに対して補正する(ステップS−4)。
【0075】
ステップS−4のようにして、画像座標上での座標と基準高さからの高さ差異が得られるので、これより3次元座標を求める(ステップS−5)。この際、画像データ上の座標と3次元座標とは、基準高さで基準格子板を測定して変換できるようにしておく。
【0076】
以上のステップ(ステップS−1〜ステップS−5)をボールBの配列の個数分繰り返せば、登録されたボールBの全ての3次元座標が得られる。
【0077】
ボールBの頂上部分の明るい画像領域の形状及び大きさは、ボールBの状態に依存している。しかしながら、ボールBの頂上部分の明るい画像領域の形状及び大きさが大きく変化しても、本発明によれば、光の相反性のため左右の画像データではほぼ同じ形状となる(後述する第2の実施形態の図9及び図10参照)。ボールBの形状が同じであれば、左右画像での重心位置も同等に算出されるので、高さ精度が確保される。本発明はこの点を考慮してなされたものである。
【0078】
なお、画像データ上で0.2画素のズレを識別できるとすると、片側の光学系のズレは0.1画素である。既述の式1に代入して計算すると、この画素のズレは高さの差異として2.5μmとなる。このように、1倍のテレセントリック光学系を交差角度30度に配した場合、高さ方向で2〜3μmの精度となる。0.2画素より小さい差異を識別できれば、更に測定精度は向上する。
【0079】
次に、本発明の第2の実施形態について説明する。この実施形態は、図1等で示される既述の第1の実施形態に対して、左右の光学系14、16の撮像位置パラメータを3次元的にキャリブレーションすること、及び、左右画像データ上で対応する点をパターンマッチングにより見つけるという2点を改良したものである。したがって、3次元座標測定装置10の構成は、図1と略同一である。
【0080】
本発明で採用されるテレセントリック光学系は、光軸に平行な光線で照明及び撮像するようにしたものであるが、レンズを使った結像系であるので、通常のカメラで撮像した場合と同様に、撮像位置パラメータを3次元的にキャリブレーションすることができる。
【0081】
撮像光学系(撮像カメラ)の撮像位置パラメータについては、後述するが、9つのパラメータよりなる。左右の光学系14、16の撮像位置パラメータが得られると、3次元座標を測定しようとする被測定物上の点を左右画像データ上で測定すれば、左右画像データ上の座標と撮像位置パラメータを用いて容易にその点の3次元座標を算出できる。この点は、ステレオ光学系による測定法として既知である。
【0082】
本実施形態においては、ステレオ光学系として、左画像データ上の位置及び右画像データ上の位置を測定することにより、被測定物の3次元座標を測定する。すなわち、既述の第1の実施形態では、左右画像データ上の対応点を重心座標から求めたが、本実施形態では、パターンマッチングにより、左画像と右画像の対応する位置を抽出する。
【0083】
図9は、被測定物Wとしてバンプ電極を採用した場合の拡大図であり、(B)は、バンプ電極Cの正面図(断面図)であり、(A)は、同軸落射照明を備えたテレセントリック光学系で真上からバンプ電極Cを撮像した画像データである。
【0084】
テレセントリック光学系では、光軸と平行な光線で撮像するが、光軸に対し小さい角度をなす範囲の光線は結像に寄与する。図9のバンプ電極Cの表面での鏡面反射の条件は、水平な平面(X−Y平面)のみであるが、テレセントリック光学系では水平な平面から少しの角度傾いた平面からも反射光が戻ってくる。
【0085】
図9に示されるようなバンプ電極Cの高原状の頂上周辺では、一定の傾き以内の平面と言う条件は、頂上からほぼ一定の高さまでの範囲と言う条件に言い換えられる。このような近似的な見方をして、頂上からdh低い領域まで照明光が反射する状態がこの図9に示されている。このdhは、実際には無視しても差し支えないくらい小さい量(後述)である。
【0086】
図9のバンプ電極Cを、左右対称に配置したテレセントリック光学系(図1の左右の光学系14、16)で撮像した画像データを図10に示す。図10において、左画像データは、撮像カメラ14Eの撮像面における画像データであり、右画像データは、撮像カメラ16Eの撮像面における画像データである。これは、第1の実施形態の図4に相当する。
【0087】
図10において、バンプ電極Cの表面で鏡面反射する入射光と反射光とが示されている。左光学系14(図1参照)に備えられた同軸落射照明の光線は、結像して右画像データとなり、右光学系16(図1参照)に備えられた同軸落射照明の光線は、結像して左画像データとなる。光の相反性の原理により、入射光と反射光とは入れ替えることができるので、バンプ電極Cの頂上周辺の領域の形状とバンプ電極Cの底面の形状は、左右の画像データで同じ形状になる。
【0088】
また、バンプ電極Cの頂上周辺の領域の形状とバンプ電極Cの底面の形状は、高さの違いのため、左画像データと右画像データとでズレが発生する。図10では、照明光線及び撮像光線に直交するように、撮像カメラ14E、16Eの撮像面、及び撮像される画像データが描かれている。そして、撮像カメラ14E、16Eの撮像面の上流側に光学系があるので、実際の画像データは上下及び左右が入れ替わる(図10では、図が複雑とならないように、結像光学系を省略した)。すなわち、第1の実施形態の図4と図10とを比較すると、電極の頂上部分の領域は逆方向にずれている。実際の画像は、図10と上下左右が入れ替わるので、このようなことはない。
【0089】
画像処理の技術分野においては、形状が同じであれば、パターンマッチングにより最もよく重なる位置を容易に求めることができる。パターンマッチングを実行するためには、パターンマッチングの画像モデルを登録する必要がある。左右の光学系を持つステレオ画像システムでは、被測定物上の1点に対する左画像データ上の位置(座標)と右画像データ上の位置(座標)とが与えられれば、その点の3次元座標を算出できる。
【0090】
図10において、左画像データ上でバンプ電極Cの頂上周辺領域(画像データ上で明るい領域)をモデル画像として登録し、登録されたモデル画像を使用して右画像データをサーチ(パターンマッチングで最もよく重なる位置を求める)することにより、左画像と右画像との対応点を求める。右画像データ上の黒い+マークはモデル原点であり、明るい領域の重心位置で、頂上と見なした点である。右画像データ上の黒い+マークはサーチされた位置を示す。このような対応がとれれば、左右の画像データの画像座標から頂上と見なした点の3次元座標が算出できる。
【0091】
デバイスの基板が鏡面反射する場合には、電極の底面の形状は既述の図9及び図10に示されるように、黒い境界で囲まれた領域となる。電極の底面の形状をモデル画像として登録しておけば、パターンマッチングにより、容易に電極の底面の位置(たとえば、重心位置)を求めることができる。電極の底面の位置が得られたら、バンプ電極Cの頂上周辺領域も簡単に求められ、バンプ電極Cの頂上周辺領域を設定して画像モデルを登録できる。
【0092】
また、デバイスの基板が鏡面反射しない場合には、既述の図9及び図10に示されるような黒い境界は存在せず、バンプ電極Cの頂上周辺領域の明るい領域のみの画像となる。このような場合には、画像データ上で明るく見える領域を抽出し(領域の大きさが、バンプ電極Cの大きさ以下であることの確認が要)、抽出された領域がバンプ電極Cの配列と同じとなるか(同じ配列状に並んでいるか)、平面上の座標をチェックする。
【0093】
その後で、左画像の明るい領域を囲むようにモデル画像を登録する(図10と同様の操作)。登録された画像モデルにより右画像データをサーチすれば、左画像データ上と右画像データ上での対応点の座標が得られる。これにより、既述したように3次元座標が算出できる。
【0094】
次に、バンプ電極Cの3次元座標測定のフローを説明する。図11は、バンプ電極Cの3次元座標測定のプロセスを説明するフロー図である。
【0095】
先ず、左画像上でバンプ電極Cの頂上部分の明るい領域を抽出する(ステップS−11)。次いで、抽出された領域がバンプ電極Cの配列と同じ配列状となるかチェックする(ステップS−12)。
【0096】
次いで、バンプ電極Cの頂上周辺の領域を画像モデルとして登録する(ステップS−13)。そして、登録された画像モデルを用いて右画像をサーチする(ステップS−14)。
【0097】
次いで、画像モデルの原点(左画像上の座標)とサーチされた位置(右画像上の座標)から3次元座標を算出する(ステップS−15)。
【0098】
以上のステップ(ステップS−13〜ステップS−15)をバンプ電極Cの配列の個数分繰り返せば、登録されたバンプ電極Cの全ての3次元座標が得られる(ステップS−16)。
【0099】
このように、本発明によれば、光の相反性の原理を利用して、被測定物の頂点近傍の平面で反射される光線の特性に着目して高さ測定を実施するので、バンプ電極のように3次元的な曲面で形成される被測定物の3次元座標の測定に適している。そして、視野内にある被測定物に対しては同時に測定できるので、処理を高速化することができる。
【0100】
既述したように、テレセントリック光学系では、対物レンズの焦点位置に絞りを置く(物体側テレセントリック光学系)。この絞りがあるため、対物レンズより物体側では光軸と平行な光線以外は絞りで遮蔽されるため結像に寄与しない。光学系の結像位置は、絞りには依存せず、同じである。
【0101】
このテレセントリック光学系も、レンズを使用した結像系であるので、カメラの位置決めと同じ方法でキャリブレーションできる。通常のカメラ位置決め方法を以下に記述する(たとえば、「写真による三次元測定(1983年共立出版)」参照)。ただし、カメラでは被測定物までの距離が大きいが、テレセントリック光学系では被測定物まで距離はそれほど大きくない。そのため、カメラ位置決めパラメータとして、カメラで焦点距離としているところは、光学系の設計に基づく結像距離(焦点距離より長い)である。
【0102】
カメラの撮像パラメータとしては、カメラの撮像位置(XC、YC、及びZC)、カメラ撮像の方向(X軸周りの回転角度RX、Y軸周りの回転角度RY、及びZ軸周りの回転角度RZ)、主点位置(画像データの中心点とカメラ光軸との差異XO及びYO)及びカメラの焦点距離fの9つを用いる。
【0103】
これら9つのパラメータは、基準とする座標系で3次元位置が既知である点より、撮像して得られた画像データ上で精密に座標を測定すれば、公開されている文献(たとえば、既述の「写真による三次元測定(1983年共立出版)」)に基づいた式から算出できる。この際、画像データ上の位置(画像データ上での座標)と3次元座標が既知である点を5点以上測定すればよい。この場合、3次元的に配置する必要がある。
【0104】
図12は、カメラの撮像位置パラメータについて説明する図である。図12では、座標系を決める面を基準面とし、その面に平行に第二基準面、第三基準面を設け、これら3つの面上に座標が既知の点9点を配置した。(基準点は各基準面では直線上(図とは異なるが)にはないものとする)。
【0105】
これらの9点は、図12において直線で示されるように、画像データ上に撮像される。テレセントリック光学系では光軸に平行な光線で撮像するので、図の直線で示す光線は絞りで遮蔽される。しかし結象位置は絞りに依存しないので、結象位置を求めるためにはこの直線の方が簡単である。これら9点の画像座標を精密に測定すれば、カメラ撮像パラメータが得られる。
【0106】
次に、テレセントリック光学系でボールBの明るく見える領域について説明する。図13は、ボールBの中心Oを通る垂直線をBLとし、ボールBの中心Oで垂直線BLと角度φをなして交わる直線BHを垂直線BLの周りに回転させた状態を示す。この直線BHのボールBの球面上の軌跡は、図に示されるような円となる。中心Oからその円までの高さ(高さ方向の距離)は、ボールBの半径をrとした場合、r×cosφである。ボールBの頂点Tとその円との高さの違いdhは、以下の式2で表せる。
【0107】
[数2]
dh=r×(1−cosφ)=r×φ×φ/2 (式2)
φが小さいとしてcosφを展開すると、式2の右式のようになる。φが微小量であるとこれは2次のオーダーの微小量となるので、無視できる大きさである。この図13はテレセントリック光学系の状況を近似している。φはテレセントリック光学系の設計要素と関連している。
【0108】
以上に説明したように、本発明によれば、テレセントリック光学系を左右対称に配置することにより、光の相反性に着目して被測定物の頂点近傍の平面で反射される領域が左画像データと右画像データとで同じになるという特性を利用して、被測定物の高さを測定することができる。
【0109】
したがって、本発明は、BGAや、図9に示されるような形状のバンプ電極のように3次元的な曲面で形成される対象物の3次元座標の測定に適している。そして、画像データとして撮像された範囲(すなわち、光学系の視野範囲)内の突起物が多数あるBGA等の場合には、これらを同時に、かつ高速に測定できるというメリットがある。
【0110】
たとえば、0.5〜1倍の光学系では、視野が6×5mm〜12×10mmとなり、100〜400個の半田ボールを備えるBGAデバイスを、精度3〜5μmで同時に測定できる。その上、±0.5〜±1mm程度の高さの測定範囲がある。したがって、精度が高く、コストが低く、スピードが速く、高さの測定範囲が広いという各点において、従来の装置に比べ大きなメリットがある。
【0111】
以上、本発明に係る3次元座標測定装置及び方法の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、各種の態様が採り得る。
【0112】
たとえば、被測定物として主にBGAを取り上げて説明したが、これ以外の対象物の3次元座標測定であっても同様に行える。
【図面の簡単な説明】
【0113】
【図1】本発明に係る3次元座標測定装置の構成図
【図2】同軸落射照明光学系の撮像手段によりボールを撮像して画像データを取得する場合の概略図
【図3】同軸落射照明光学系の撮像手段を左右対称に配置しボールを撮像して画像データを取得する場合の概略図
【図4】図3の光学系で撮像した場合の画像データを示す図
【図5】図1の3次元座標測定装置でBGAデバイスを撮像する状態を説明する概略図
【図6】格子板の平面図
【図7】格子板の高さと左右画像データ上での差異との関係を示すグラフ
【図8】ボールの3次元座標測定のプロセスを説明するフロー図
【図9】被測定物としてバンプ電極を採用した場合の撮像した画像データ等
【図10】バンプ電極を左右対称に配置したテレセントリック光学系で撮像した画像データ
【図11】バンプ電極の3次元座標測定のプロセスを説明するフロー図
【図12】カメラの撮像位置パラメータについて説明する図
【図13】テレセントリック光学系でボールの明るく見える領域について説明する図
【図14】従来例の3次元検査装置の構成図
【符号の説明】
【0114】
10…3次元座標測定装置、12…試料台、14…左光学系、16…右光学系、14B、16B…鏡筒、14C、16C…ハーフミラー、14D、16D…照明鏡筒、14E、16E…撮像カメラ、18…画像処理装置
【特許請求の範囲】
【請求項1】
被測定物を載置する試料台と、
同軸落射照明を備えたテレセントリック光学系の撮像手段であって、前記試料台の鉛直軸に対して光軸が所定の傾斜角度をなすように設けられる第1の撮像手段と、
同軸落射照明を備えたテレセントリック光学系の撮像手段であって、前記試料台の鉛直軸に対して光軸が前期第1の撮像手段の光軸と線対称になるように設けられる第2の撮像手段と、
前記第1及び第2の撮像手段で撮像した画像より被測定物表面の3次元座標を得る算出手段と、
を備えたことを特徴とする3次元座標測定装置。
【請求項2】
前記試料台の表面に被測定物との距離を検出するためのマークが設けられている請求項1に記載の3次元座標測定装置。
【請求項3】
同軸落射照明を備えたテレセントリック光学系の撮像手段であって、被測定物を載置した試料台の鉛直軸に対して光軸が所定の傾斜角度をなすように設けられる第1の撮像手段と、同軸落射照明を備えたテレセントリック光学系の撮像手段であって、前記試料台の鉛直軸に対して光軸が前期第1の撮像手段の光軸と線対称になるように設けられる第2の撮像手段とを使用し、前記第1の撮像手段で照明した被測定物表面を前記第2の撮像手段で撮像するステップと、
前記第1の撮像手段と第2の撮像手段とを使用し、前記第2の撮像手段で照明した被測定物表面を前記第1の撮像手段で撮像するステップと、
前記第1及び第2の撮像手段で撮像した画像より被測定物表面の3次元座標を得るステップと、
を含むことを特徴とする3次元座標測定方法。
【請求項4】
前記試料台の表面に設けられたマークと、被測定物が高輝度で検出される領域の重心との距離を前記第1の撮像手段と第2の撮像手段によりそれぞれ検出し、検出された前記距離同士の差より被測定物の高さ方向の座標を算出する請求項3に記載の3次元座標測定方法。
【請求項5】
前記第1の撮像手段により被測定物が高輝度で検出される領域と前記第2の撮像手段により被測定物が高輝度で検出される領域とをパターンマッチングによりそれぞれ認識し、認識された前記領域同士の距離の差より被測定物の高さ方向の座標を算出する請求項3に記載の3次元座標測定方法。
【請求項6】
前記第1の撮像手段及び第2の撮像手段の撮像位置パラメータを使用して、前記第1の撮像手段で撮像された画像と前記第2の撮像手段で撮像された画像とで被測定物の画像上での対応をとり、これにより被測定物の3次元座標を得る請求項3又は5に記載の3次元座標測定方法。
【請求項1】
被測定物を載置する試料台と、
同軸落射照明を備えたテレセントリック光学系の撮像手段であって、前記試料台の鉛直軸に対して光軸が所定の傾斜角度をなすように設けられる第1の撮像手段と、
同軸落射照明を備えたテレセントリック光学系の撮像手段であって、前記試料台の鉛直軸に対して光軸が前期第1の撮像手段の光軸と線対称になるように設けられる第2の撮像手段と、
前記第1及び第2の撮像手段で撮像した画像より被測定物表面の3次元座標を得る算出手段と、
を備えたことを特徴とする3次元座標測定装置。
【請求項2】
前記試料台の表面に被測定物との距離を検出するためのマークが設けられている請求項1に記載の3次元座標測定装置。
【請求項3】
同軸落射照明を備えたテレセントリック光学系の撮像手段であって、被測定物を載置した試料台の鉛直軸に対して光軸が所定の傾斜角度をなすように設けられる第1の撮像手段と、同軸落射照明を備えたテレセントリック光学系の撮像手段であって、前記試料台の鉛直軸に対して光軸が前期第1の撮像手段の光軸と線対称になるように設けられる第2の撮像手段とを使用し、前記第1の撮像手段で照明した被測定物表面を前記第2の撮像手段で撮像するステップと、
前記第1の撮像手段と第2の撮像手段とを使用し、前記第2の撮像手段で照明した被測定物表面を前記第1の撮像手段で撮像するステップと、
前記第1及び第2の撮像手段で撮像した画像より被測定物表面の3次元座標を得るステップと、
を含むことを特徴とする3次元座標測定方法。
【請求項4】
前記試料台の表面に設けられたマークと、被測定物が高輝度で検出される領域の重心との距離を前記第1の撮像手段と第2の撮像手段によりそれぞれ検出し、検出された前記距離同士の差より被測定物の高さ方向の座標を算出する請求項3に記載の3次元座標測定方法。
【請求項5】
前記第1の撮像手段により被測定物が高輝度で検出される領域と前記第2の撮像手段により被測定物が高輝度で検出される領域とをパターンマッチングによりそれぞれ認識し、認識された前記領域同士の距離の差より被測定物の高さ方向の座標を算出する請求項3に記載の3次元座標測定方法。
【請求項6】
前記第1の撮像手段及び第2の撮像手段の撮像位置パラメータを使用して、前記第1の撮像手段で撮像された画像と前記第2の撮像手段で撮像された画像とで被測定物の画像上での対応をとり、これにより被測定物の3次元座標を得る請求項3又は5に記載の3次元座標測定方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2007−40801(P2007−40801A)
【公開日】平成19年2月15日(2007.2.15)
【国際特許分類】
【出願番号】特願2005−224536(P2005−224536)
【出願日】平成17年8月2日(2005.8.2)
【出願人】(596117887)株式会社テクノホロン (6)
【Fターム(参考)】
【公開日】平成19年2月15日(2007.2.15)
【国際特許分類】
【出願日】平成17年8月2日(2005.8.2)
【出願人】(596117887)株式会社テクノホロン (6)
【Fターム(参考)】
[ Back to top ]