３次元計測方法
【課題】平面精度が低い基板上に生成された、直径数十ミクロン程度のサイズのバンプの３次元計測を可能とする。
【解決手段】測定対象に固有の傾斜角で固有の色相光を投光し、固有の傾斜角で傾斜した視軸のカラーラインセンサカメラで撮像し、得られた画像画素の色相光反射強度基準化比率から、測定対象の表面パッチ傾斜角を算出し、表面パッチ傾斜角から表面パッチの高さを算出する３次元計測法において、まず光拡散表面を有する球状モデルを対象として、色相光反射強度基準化比率と表面傾斜角の対応表を作成し、未知の測定対象を撮像した画像画素の色相光反射強度基準化比率から表面パッチの傾斜角を算出し、傾斜角から表面パッチの高さを算出し、これをスキャン方向に沿って加算して縦断面高さデータを算出し、縦断面高さデータを対象横幅に亘って集積して、未知の測定対象の３次元計測を行う。
【解決手段】測定対象に固有の傾斜角で固有の色相光を投光し、固有の傾斜角で傾斜した視軸のカラーラインセンサカメラで撮像し、得られた画像画素の色相光反射強度基準化比率から、測定対象の表面パッチ傾斜角を算出し、表面パッチ傾斜角から表面パッチの高さを算出する３次元計測法において、まず光拡散表面を有する球状モデルを対象として、色相光反射強度基準化比率と表面傾斜角の対応表を作成し、未知の測定対象を撮像した画像画素の色相光反射強度基準化比率から表面パッチの傾斜角を算出し、傾斜角から表面パッチの高さを算出し、これをスキャン方向に沿って加算して縦断面高さデータを算出し、縦断面高さデータを対象横幅に亘って集積して、未知の測定対象の３次元計測を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、微小立体の３次元計測方法に関するものであり、特に半導体製造パッケージ工場等において、平面性が保証されない基板上に生成されたバンプの３次元データを、画像計測によって獲得する方法に関する。
【背景技術】
【０００２】
近年急激な展開を示している、スマートフォンやタブレット型端末装置は、例えばＧＰＳ機能やＴＶ受像機能ほか、多種の個別機能を装備しているが、これらの機能は、それぞれ半導体パッケージというデバイス部品として、マザーボードに搭載される。半導体パッケージは、部品のアセンブリーを主体とする従来のエレクトロニクス工場ではなく、専門の半導体パッケージ工場において組立て、製造されている。
半導体パッケージの組立てにおける電気的接合には、バンプと称される小さな接合点を形成して行われることが多く、直径数十ミクロン程度の金属バンプが使用される。金属バンプの中でも、はんだ素材を用いるはんだバンプは、低コストほかの利点によって、多用されている。はんだバンプは基板上に形成され、デバイス部品下面の電極と接触し、リフローによって電気的な接合が形成される。従って、形成されたバンプの高さや量が不足であると、部品電極にとどかず、不良品となる。また隣接バンプが接触すると、電気的短絡を引き起こす。
リフロー後の接合箇所は、部品ボディーによって遮蔽されて見えないため、Ｘ線ＣＴなどの装置でないと検査できないが、それらは高コスト設備であるため、普及していない。また接合後に不良を発見しても、修理が容易でないため、そのまま廃品とされる場合も多く、接合以前に不良を発見することが切実な要望になっている。
このように、基板に形成されたバンプの外観検査は製品品質の確保に不可欠なステップであるが、有効なバンプ検査装置がなかったため、人間が拡大鏡を用いて目視検査を行っている。
有効なバンプ検査装置がなかった理由は、平面精度が低い基板上に生成された、直径数十ミクロン程度のバンプに適した計測方法が存在しなかったことにある。
【０００３】
これまで、基板に印刷されたクリームはんだの検査には、多くの種類の自動検査機が実用化された。これらはすべて、既知のパタンを有する光束を対象に投光し、対象物によって生じた凹凸ひずみパタンから、対象物の高さを逆算する原理に基づいている。この方式は高さの絶対値を測定する原理であるため、基板面に高低誤差があると、その分の数値が計測値に混入する。バンプのように対象物がより小さい場合には、それに応じて画像分解能を上げるので、基板面の高低による誤差もより大きな比例で混入する。
基面高低誤差補正のための技術的対応には、光学的、機構的な対応に大きなコストが必要であった。この実例として、これまで市場に提供された唯一のバンプ検査機は、通常の印刷はんだ検査機の数倍の価格であり、高価格が普及への大きな障害になっている。
【０００４】
いっぽう、白色光干渉法など、まったく別の計測原理を用いてウェハ上に形成したより小型のバンプを顕微鏡光学オーダーで検査する検査機が提供されている。しかしこれらは、さらに高い平面精度の基準面を前提とするうえ、直径数十ミクロンのバンプを製造現場で実用的に全数計測、検査するには不適であった。
【０００５】
本出願人は、すでにこれまでに実用化している既知パタン光の投光方式とはまったく異なる３次元画像検査法を提案し、公示している（特許文献１、２）。これらは、立体物の表面角度をセンシングする新しい原理に基づく方法であり、原理上基板面の高低変動にまったく影響を受けない点において、従来法にはない長所を有している。しかしながら、公示された技術は主として、基板上の全はんだ箇所を検査するために、簡単な三角法演算を適用する技術であった。従って、バンプの３次元検査に必要な、精密な３次元計測技術は提示していなかった。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−０３４９９８号公報
【特許文献２】特開２００９−１６８４５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
解決しようとする問題点は、平面性が保証されない基板上に生成された直径数十ミクロン程度のサイズのバンプの３次元計測を行う適切な３次元計測法が存在しなかった点である。
【課題を解決するための手段】
【０００８】
本発明の３次元計測方法は、対象物に、固有の投光傾斜角と色相をそれぞれ割付けた複数の光束を同時投光し、２台のカラーラインセンサカメラでスキャン撮像する色相光投光撮像装置において、色相光を投光する複数光源は、いずれも直線形状の光源の長軸がスキャン方向と直交する姿勢に設置した光源であって、第１色相光源は、第１のカラーラインセンサカメラの撮像方向と同じ方位角方向から計測基準面に対して一定の傾斜角で第１色相光束を測定対象に投光する光源であり、第２色相光源は、第２のカラーラインセンサカメラの撮像方向と同じ方位角方向から計測基準面に対して一定の傾斜角で第２色相光束を測定対象に投光する光源であり、さらに第３色相光源は、計測基準面に対して垂直方向から第３色相光束を測定対象に投光する光源であり、２台のカラーラインセンサカメラは、共にテレセントリックレンズを備え、スキャン軸に沿って対向方向から計測基準面上の同一領域を傾斜した視軸（ビューイングアクシス）で見下ろして撮像する姿勢に設置され、まず、前記色相光投光撮像装置で球状モデルを撮像し、２台のカラーラインセンサカメラが獲得した画像の各画素の３色相光強度基準化比率を算出し、３色相光強度基準化比率を、それぞれの画素が対応する球状モデル表面パッチ（微小領域）の傾斜角に対応させて、対応表を作成し、次に測定対象を計測する場合、前記色相光投光撮像装置で測定対象を撮像し、前記対応表を参照して、獲得した画像の各画素の３色相光強度基準化比率から測定対象表面パッチ（微小領域）の傾斜角データを割り出し、得られた表面パッチの傾斜角から、表面パッチの高さを算出し、表面パッチの高さをイメージセンサの１ピクセルに対応するスキャン方向に沿って順次加算することによって、測定対象の縦断面高さデータを算出し、同様にして、測定対象の横幅に亘る全ピクセルのスキャン方向に沿う縦断面高さデータを算出することにより、測定対象全体の高さデータを算出することを主たる特徴とする。
【発明の効果】
【０００９】
本発明の３次元計測方法は、固有の投光傾斜角と色相をそれぞれ割付けた複数の光束を同時投光した対象物を、視軸を一定傾斜角としたカラーラインセンサカメラで撮像し、獲得した画像画素の３色相光強度基準化比率から対象物表面角度を算出して、対象物表面パッチの高さを算出し、これを加算して対象物全体の３次元データを獲得するため、得られた３次元データには測定原理上対象物基面の凹凸に由来する誤差が含まれないので、容易かつ低コストで微小対象物の高分解能３次元計測ができるという利点がある。
【図面の簡単な説明】
【００１０】
【図１】図１は本発明の３次元計測法を実行する装置の全体構成を示す説明図である。（実施例１）
【図２】図２は本発明の投光と撮像の幾何光学的配置を説明する模式図である。（実施例１）
【図３】図３は視軸切断・平行光束撮像を説明する模式図である。（実施例１）
【図４】図４は球状モデルを撮像するカメラ視軸と検出される表面法線角度を示す模式図である。（実施例１）
【図５】図５は球状モデル画像画素のスキャン方向に沿う２色相光の強度分布グラフである。（実施例１）
【図６】図６は２色相光の色相光強度基準化比率分布グラフである。（実施例１）
【図７】図７は３色相光の基準化強度分布を示す説明図である。（実施例１）
【図８】図８は表面パッチの高さから測定対象の高さを算出する過程を示す説明図である。（実施例１）
【図９】図９Ａは球状モデルを用いて対応表を作成するステップを説明するフロー図である。また図９Ｂは未知の測定対象の３次元計測を行うステップを説明するフロー図である。（実施例１）
【発明を実施するための形態】
【００１１】
平面度が保証されない基板上の微小対象物の３次元計測を容易かつ低コストで行うという目的を、固有の投光傾斜角と色相をそれぞれ割付けた複数の光束を同時投光した対象物を、一定の角度に傾斜した視軸のカラーラインセンサカメラで撮像することにより、対象物表面角度を検出し、表面角度から高さを算出することによって実現した。
【実施例１】
【００１２】
図１は、本発明の１実施例の３次元計測方法を実行する装置の全体構成図である。
【００１３】
計測基準面１上にセットされた測定対象物２の上方には、２台のカラーラインセンサカメラ３−１および３−２と、色相光投光装置（図示せず）の第１色相直線状光源４−１と、同じく第２色相直線状光源４−２と、同じく第３色相直線状光源４−３とが配置されている。
【００１４】
カラーラインセンサカメラ３−１と３−２の視軸と測定対象２の重心は同一平面上にあり、この平面は計測基準面１に直交している。また、両カメラ３−１と３−２は対向し、計測基準面１に対して同じ固定傾斜角で傾斜している。両カメラは、計測基準面１上の同一領域をその視野とするように配置されている。
【００１５】
第１色相光源４−１は第１カメラ３−１よりも低い位置で第１カメラと同じ方位角方向から測定対象２に第１色相光を投光し、第２色相光源４−２は第２カメラ３−２よりも低い位置で第２カメラと同じ方位角方向から測定対象２に第２色相光を投光し、第３色相光源４−３は測定対象２に直上方向から第３色相光を投光している。
【００１６】
これらの投光・撮像系は、制御装置５に接続され、制御装置５は、カラーラインセンサ撮像ユニット６、３色相光強度基準化比率算出ユニット７、表面角度対応ユニット８、高さ算出ユニット９、両センサデータ統合ユニット１０、および統合システム制御ユニット１１を有し、各ユニット６乃至１１は、バス１６を通じてデータの交換を行う。
【００１７】
また、制御装置５には、教示データ等の入力を行う入力ユニット１２と、検査結果等を印字する出力ユニット１３と、外部装置との間でデータ送受を行う通信ユニット１４と、画像や検査結果等を表示する表示ユニット１５が接続されている。
【００１８】
図２は、この実施例の投光・撮像系の幾何光学配置を説明する図である。この実施例では、第１色相光を青色光、第２色相光を緑色光、第３色相光を赤色光としているが、これらは技術的便利のためであって、相互に色相が異なれば同じ効果が得られるので、ブルー光・イエロー光・マゼンタ光の組合せや、そのいずれかを白色光にするなどしても差支えない。
【００１９】
この発明では、計測基準面１に対する両ラインセンサカメラの視軸を一定の固定角度で傾斜させて、測定対象２を斜めに見下ろして撮像するようにしているが、この撮像方式は、光切断法における既知パタンの傾斜投影と同じ光学的役割を有するものであり、発明者はこの撮像法を「視軸切断法」と名づけている（図３）。
【００２０】
またこの発明では、両ラインセンサカメラの前方にテレセントリックレンズを装着して（図示せず）、画角を９０°とし、ラインセンサの全ピクセルに入射する光束を平行光としている（図３）。
【００２１】
以上の投光・撮像系によって、光拡散表面（Lambertian surface）を有する立体である測定対象２を照明すると、対象表面は表面傾斜角に応じた混色に染められるので、これを撮像すると、傾斜角に応じて表面が色づいた対象画像が得られる。
この発明は、以上の投光・撮像系によって混色に染められた表面色相から、対象の表面角度を算出し、さらに表面角度から対象の高さデータを算出する方法を提供するものである。
【００２２】
次に、本発明にかかわる計測の原理について説明する。それは、次の２段階で構成されている。
第１段階：球状モデルを用いて、表面混色色相と表面角度の対応表を作成する。
第２段階：未知の測定対象の表面混色色相から、対応表を参照して、測定対象の高さデータを作成する。
【００２３】
ここで、球状モデルを使用する理由について説明する。球状モデルの表面は、立体のすべての表面角度を有するため、理想的な表面角度モデルとして取り扱われている。表面角度は、表面の微小領域である表面パッチに垂直な法線ベクトルで表され、法線ベクトルは、傾斜角ベクトル成分と方位角ベクトル成分の２ベクトルから成る。
本発明の投光・撮像系は、図３で示された幾何光学的関係に基づいて、対象物表面の法線ベクトルのうちの傾斜角ベクトル成分のみをもっぱらセンシングするので、この系で球状モデルを撮像すると、表面パッチの傾斜角のみに対応した色相で色づけられた画像が得られる。この色相画像には、表面法線ベクトルのうちの方位角成分はまったく含まれない。
【００２４】
表面混色色相と表面角度の対応表の作成においては、光拡散表面を有する球体を全表面角度モデルとして用い、これを本発明になる投光・撮像系（図１）によって照明、撮像する。図４は、カメラ視軸の傾斜角（θ）と、カメラで見える（撮像できる）球状モデルの範囲と、表面法線角度の算出範囲とを示している。
【００２５】
図１に示した第１色相光（青色）と第３色相光（赤色）を球状モデルに投光し、第１カメラ３−１で撮像した画像のモデル直径に沿う画素値プロファイルを、図５に示す。図６は、この出力値をスムージングかつ基準化（正規化）して得られたグラフである。グラフの横軸は、球状モデルの直径に沿う画素の番号に対応し、それぞれの画素は、球状モデル表面パッチに位置対応しているので、各表面パッチの傾斜角は既知である。そこで、この球状モデルデータを元にして、画素値の青赤２色の基準化強度比率と表面パッチの傾斜角の対応表を作成する。
【００２６】
図６のグラフは、球状モデルの表面によって拡散された光束の強度分布に対応するもので、理論的に強度の正規分布に対応する（数１）。数式において、σの２乗は拡散幅に対応する分散である。
【００２７】
【数１】
【００２８】
第２色相光（緑色）と第３色相光（赤色）の関係は、第１色相光（青色）と第３色相光（赤色）の関係とミラーイメージとして同様である。これらを球状モデルに投光して第２カメラ３−２によって撮像すると、図４において球状モデルの９０°以上の表面傾斜角との対応データが得られる。すべてのデータを総合すると、各色相光の基準化強度比率と、０°〜１８０°に亘る表面傾斜角の対応関係が得られる（図７）。
【００２９】
次に、画像の各画素サイズは、対象物の表面パッチのサイズに対応しており、表面パッチの傾斜面を斜辺とする直角三角形において、底辺寸法は一定であるため、底辺と斜辺のなす角度に応じて、直角三角形の高さを求めることができる。このようにして得られた表面パッチの高さを、ラインセンサピクセルのスキャン方向に沿って加算すれば、そのピクセルに沿う、計測基準面からの対象縦断面高さが算出できる（図８）。
【００３０】
未知の測定対象を計測する場合には、まず、その対象を図１に示した構成の装置によって撮像し、その画像を構成する各画素の色相強度基準化比率から対応表を参照して対象表面パッチの傾斜角を算出し、それらをスキャンラインに沿って加算して縦断面高さを算出し、縦断面高さを総合して、対象全体の高さデータを算出する。
【００３１】
なお、これまでは、画素の色相強度基準化比率と対象表面パッチの傾斜角との対応表を作成した後、傾斜角から表面パッチの高さを求める順序を説明したが、傾斜角と高さとは一義的な関係にあるので、画素の色相強度基準化比率と表面パッチ高さの対応表を作成し、これを参照するようにしてもよいことは、言うまでもない。
【００３２】
次に、図９のフロー図に従って、この実施例の計測手順を説明する。図９Ａのフロー図は球状モデルを用いて対応表を作成するステップを、また図９Ｂのフロー図は未知の測定対象を計測するステップを、それぞれ示している。
【００３３】
まず図９Ａにおいて、球状モデルを計測基準面にセットし（ＳＴ１）、図１の構成に設定された投光・撮像系の２台のカメラでで同時に撮像する（ＳＴ２）。次に、得られた画像から、色相光反射強度プロファイルをデータ化し（ＳＴ３）、これを基準化し（ＳＴ４）、基準化比率データと表面角度の対応表を作成する（ＳＴ５）。
【００３４】
次に図９Ｂにおいて、まず未知の測定対象を計測基準面にセットし（ＳＴ６）、図１の構成に設定された投光・撮像系の２台のカメラで同時に撮像する（ＳＴ７）。得られた画像の画素値から、色相光反射強度基準化比率を算出し（ＳＴ８）、対応表を参照して画素に対応する表面パッチの傾斜角を算出する（ＳＴ９）。次に、表面パッチ高さを算出し（ＳＴ１０）、スキャン方向に沿って加算して、縦断面高さを算出する（ＳＴ１１）。そして最後に、測定対象の横幅に亘って縦断面高さを集積して、全体の３次元データを作成する（ＳＴ１２）。
【産業上の利用可能性】
【００３５】
固有の投光傾斜角と色相をそれぞれ割付けた複数の光束を同時投光した対象物を、視軸を一定傾斜角としたカラーラインセンサカメラで撮像し、獲得した画像画素の３色相光強度基準化比率から対象物表面傾斜角を算出して、対象物表面パッチの高さを算出し、これを加算して対象物全体の３次元データを獲得することによって、計測基準面の凹凸に由来する誤差のために測定が困難な微小立体物の３次元計測にも適用できる。
【符号の説明】
【００３６】
１ 計測基準面
２ 測定対象
３ カラーラインセンサカメラ
４ 色相光投光光源
５ 制御装置
【技術分野】
【０００１】
本発明は、微小立体の３次元計測方法に関するものであり、特に半導体製造パッケージ工場等において、平面性が保証されない基板上に生成されたバンプの３次元データを、画像計測によって獲得する方法に関する。
【背景技術】
【０００２】
近年急激な展開を示している、スマートフォンやタブレット型端末装置は、例えばＧＰＳ機能やＴＶ受像機能ほか、多種の個別機能を装備しているが、これらの機能は、それぞれ半導体パッケージというデバイス部品として、マザーボードに搭載される。半導体パッケージは、部品のアセンブリーを主体とする従来のエレクトロニクス工場ではなく、専門の半導体パッケージ工場において組立て、製造されている。
半導体パッケージの組立てにおける電気的接合には、バンプと称される小さな接合点を形成して行われることが多く、直径数十ミクロン程度の金属バンプが使用される。金属バンプの中でも、はんだ素材を用いるはんだバンプは、低コストほかの利点によって、多用されている。はんだバンプは基板上に形成され、デバイス部品下面の電極と接触し、リフローによって電気的な接合が形成される。従って、形成されたバンプの高さや量が不足であると、部品電極にとどかず、不良品となる。また隣接バンプが接触すると、電気的短絡を引き起こす。
リフロー後の接合箇所は、部品ボディーによって遮蔽されて見えないため、Ｘ線ＣＴなどの装置でないと検査できないが、それらは高コスト設備であるため、普及していない。また接合後に不良を発見しても、修理が容易でないため、そのまま廃品とされる場合も多く、接合以前に不良を発見することが切実な要望になっている。
このように、基板に形成されたバンプの外観検査は製品品質の確保に不可欠なステップであるが、有効なバンプ検査装置がなかったため、人間が拡大鏡を用いて目視検査を行っている。
有効なバンプ検査装置がなかった理由は、平面精度が低い基板上に生成された、直径数十ミクロン程度のバンプに適した計測方法が存在しなかったことにある。
【０００３】
これまで、基板に印刷されたクリームはんだの検査には、多くの種類の自動検査機が実用化された。これらはすべて、既知のパタンを有する光束を対象に投光し、対象物によって生じた凹凸ひずみパタンから、対象物の高さを逆算する原理に基づいている。この方式は高さの絶対値を測定する原理であるため、基板面に高低誤差があると、その分の数値が計測値に混入する。バンプのように対象物がより小さい場合には、それに応じて画像分解能を上げるので、基板面の高低による誤差もより大きな比例で混入する。
基面高低誤差補正のための技術的対応には、光学的、機構的な対応に大きなコストが必要であった。この実例として、これまで市場に提供された唯一のバンプ検査機は、通常の印刷はんだ検査機の数倍の価格であり、高価格が普及への大きな障害になっている。
【０００４】
いっぽう、白色光干渉法など、まったく別の計測原理を用いてウェハ上に形成したより小型のバンプを顕微鏡光学オーダーで検査する検査機が提供されている。しかしこれらは、さらに高い平面精度の基準面を前提とするうえ、直径数十ミクロンのバンプを製造現場で実用的に全数計測、検査するには不適であった。
【０００５】
本出願人は、すでにこれまでに実用化している既知パタン光の投光方式とはまったく異なる３次元画像検査法を提案し、公示している（特許文献１、２）。これらは、立体物の表面角度をセンシングする新しい原理に基づく方法であり、原理上基板面の高低変動にまったく影響を受けない点において、従来法にはない長所を有している。しかしながら、公示された技術は主として、基板上の全はんだ箇所を検査するために、簡単な三角法演算を適用する技術であった。従って、バンプの３次元検査に必要な、精密な３次元計測技術は提示していなかった。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−０３４９９８号公報
【特許文献２】特開２００９−１６８４５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
解決しようとする問題点は、平面性が保証されない基板上に生成された直径数十ミクロン程度のサイズのバンプの３次元計測を行う適切な３次元計測法が存在しなかった点である。
【課題を解決するための手段】
【０００８】
本発明の３次元計測方法は、対象物に、固有の投光傾斜角と色相をそれぞれ割付けた複数の光束を同時投光し、２台のカラーラインセンサカメラでスキャン撮像する色相光投光撮像装置において、色相光を投光する複数光源は、いずれも直線形状の光源の長軸がスキャン方向と直交する姿勢に設置した光源であって、第１色相光源は、第１のカラーラインセンサカメラの撮像方向と同じ方位角方向から計測基準面に対して一定の傾斜角で第１色相光束を測定対象に投光する光源であり、第２色相光源は、第２のカラーラインセンサカメラの撮像方向と同じ方位角方向から計測基準面に対して一定の傾斜角で第２色相光束を測定対象に投光する光源であり、さらに第３色相光源は、計測基準面に対して垂直方向から第３色相光束を測定対象に投光する光源であり、２台のカラーラインセンサカメラは、共にテレセントリックレンズを備え、スキャン軸に沿って対向方向から計測基準面上の同一領域を傾斜した視軸（ビューイングアクシス）で見下ろして撮像する姿勢に設置され、まず、前記色相光投光撮像装置で球状モデルを撮像し、２台のカラーラインセンサカメラが獲得した画像の各画素の３色相光強度基準化比率を算出し、３色相光強度基準化比率を、それぞれの画素が対応する球状モデル表面パッチ（微小領域）の傾斜角に対応させて、対応表を作成し、次に測定対象を計測する場合、前記色相光投光撮像装置で測定対象を撮像し、前記対応表を参照して、獲得した画像の各画素の３色相光強度基準化比率から測定対象表面パッチ（微小領域）の傾斜角データを割り出し、得られた表面パッチの傾斜角から、表面パッチの高さを算出し、表面パッチの高さをイメージセンサの１ピクセルに対応するスキャン方向に沿って順次加算することによって、測定対象の縦断面高さデータを算出し、同様にして、測定対象の横幅に亘る全ピクセルのスキャン方向に沿う縦断面高さデータを算出することにより、測定対象全体の高さデータを算出することを主たる特徴とする。
【発明の効果】
【０００９】
本発明の３次元計測方法は、固有の投光傾斜角と色相をそれぞれ割付けた複数の光束を同時投光した対象物を、視軸を一定傾斜角としたカラーラインセンサカメラで撮像し、獲得した画像画素の３色相光強度基準化比率から対象物表面角度を算出して、対象物表面パッチの高さを算出し、これを加算して対象物全体の３次元データを獲得するため、得られた３次元データには測定原理上対象物基面の凹凸に由来する誤差が含まれないので、容易かつ低コストで微小対象物の高分解能３次元計測ができるという利点がある。
【図面の簡単な説明】
【００１０】
【図１】図１は本発明の３次元計測法を実行する装置の全体構成を示す説明図である。（実施例１）
【図２】図２は本発明の投光と撮像の幾何光学的配置を説明する模式図である。（実施例１）
【図３】図３は視軸切断・平行光束撮像を説明する模式図である。（実施例１）
【図４】図４は球状モデルを撮像するカメラ視軸と検出される表面法線角度を示す模式図である。（実施例１）
【図５】図５は球状モデル画像画素のスキャン方向に沿う２色相光の強度分布グラフである。（実施例１）
【図６】図６は２色相光の色相光強度基準化比率分布グラフである。（実施例１）
【図７】図７は３色相光の基準化強度分布を示す説明図である。（実施例１）
【図８】図８は表面パッチの高さから測定対象の高さを算出する過程を示す説明図である。（実施例１）
【図９】図９Ａは球状モデルを用いて対応表を作成するステップを説明するフロー図である。また図９Ｂは未知の測定対象の３次元計測を行うステップを説明するフロー図である。（実施例１）
【発明を実施するための形態】
【００１１】
平面度が保証されない基板上の微小対象物の３次元計測を容易かつ低コストで行うという目的を、固有の投光傾斜角と色相をそれぞれ割付けた複数の光束を同時投光した対象物を、一定の角度に傾斜した視軸のカラーラインセンサカメラで撮像することにより、対象物表面角度を検出し、表面角度から高さを算出することによって実現した。
【実施例１】
【００１２】
図１は、本発明の１実施例の３次元計測方法を実行する装置の全体構成図である。
【００１３】
計測基準面１上にセットされた測定対象物２の上方には、２台のカラーラインセンサカメラ３−１および３−２と、色相光投光装置（図示せず）の第１色相直線状光源４−１と、同じく第２色相直線状光源４−２と、同じく第３色相直線状光源４−３とが配置されている。
【００１４】
カラーラインセンサカメラ３−１と３−２の視軸と測定対象２の重心は同一平面上にあり、この平面は計測基準面１に直交している。また、両カメラ３−１と３−２は対向し、計測基準面１に対して同じ固定傾斜角で傾斜している。両カメラは、計測基準面１上の同一領域をその視野とするように配置されている。
【００１５】
第１色相光源４−１は第１カメラ３−１よりも低い位置で第１カメラと同じ方位角方向から測定対象２に第１色相光を投光し、第２色相光源４−２は第２カメラ３−２よりも低い位置で第２カメラと同じ方位角方向から測定対象２に第２色相光を投光し、第３色相光源４−３は測定対象２に直上方向から第３色相光を投光している。
【００１６】
これらの投光・撮像系は、制御装置５に接続され、制御装置５は、カラーラインセンサ撮像ユニット６、３色相光強度基準化比率算出ユニット７、表面角度対応ユニット８、高さ算出ユニット９、両センサデータ統合ユニット１０、および統合システム制御ユニット１１を有し、各ユニット６乃至１１は、バス１６を通じてデータの交換を行う。
【００１７】
また、制御装置５には、教示データ等の入力を行う入力ユニット１２と、検査結果等を印字する出力ユニット１３と、外部装置との間でデータ送受を行う通信ユニット１４と、画像や検査結果等を表示する表示ユニット１５が接続されている。
【００１８】
図２は、この実施例の投光・撮像系の幾何光学配置を説明する図である。この実施例では、第１色相光を青色光、第２色相光を緑色光、第３色相光を赤色光としているが、これらは技術的便利のためであって、相互に色相が異なれば同じ効果が得られるので、ブルー光・イエロー光・マゼンタ光の組合せや、そのいずれかを白色光にするなどしても差支えない。
【００１９】
この発明では、計測基準面１に対する両ラインセンサカメラの視軸を一定の固定角度で傾斜させて、測定対象２を斜めに見下ろして撮像するようにしているが、この撮像方式は、光切断法における既知パタンの傾斜投影と同じ光学的役割を有するものであり、発明者はこの撮像法を「視軸切断法」と名づけている（図３）。
【００２０】
またこの発明では、両ラインセンサカメラの前方にテレセントリックレンズを装着して（図示せず）、画角を９０°とし、ラインセンサの全ピクセルに入射する光束を平行光としている（図３）。
【００２１】
以上の投光・撮像系によって、光拡散表面（Lambertian surface）を有する立体である測定対象２を照明すると、対象表面は表面傾斜角に応じた混色に染められるので、これを撮像すると、傾斜角に応じて表面が色づいた対象画像が得られる。
この発明は、以上の投光・撮像系によって混色に染められた表面色相から、対象の表面角度を算出し、さらに表面角度から対象の高さデータを算出する方法を提供するものである。
【００２２】
次に、本発明にかかわる計測の原理について説明する。それは、次の２段階で構成されている。
第１段階：球状モデルを用いて、表面混色色相と表面角度の対応表を作成する。
第２段階：未知の測定対象の表面混色色相から、対応表を参照して、測定対象の高さデータを作成する。
【００２３】
ここで、球状モデルを使用する理由について説明する。球状モデルの表面は、立体のすべての表面角度を有するため、理想的な表面角度モデルとして取り扱われている。表面角度は、表面の微小領域である表面パッチに垂直な法線ベクトルで表され、法線ベクトルは、傾斜角ベクトル成分と方位角ベクトル成分の２ベクトルから成る。
本発明の投光・撮像系は、図３で示された幾何光学的関係に基づいて、対象物表面の法線ベクトルのうちの傾斜角ベクトル成分のみをもっぱらセンシングするので、この系で球状モデルを撮像すると、表面パッチの傾斜角のみに対応した色相で色づけられた画像が得られる。この色相画像には、表面法線ベクトルのうちの方位角成分はまったく含まれない。
【００２４】
表面混色色相と表面角度の対応表の作成においては、光拡散表面を有する球体を全表面角度モデルとして用い、これを本発明になる投光・撮像系（図１）によって照明、撮像する。図４は、カメラ視軸の傾斜角（θ）と、カメラで見える（撮像できる）球状モデルの範囲と、表面法線角度の算出範囲とを示している。
【００２５】
図１に示した第１色相光（青色）と第３色相光（赤色）を球状モデルに投光し、第１カメラ３−１で撮像した画像のモデル直径に沿う画素値プロファイルを、図５に示す。図６は、この出力値をスムージングかつ基準化（正規化）して得られたグラフである。グラフの横軸は、球状モデルの直径に沿う画素の番号に対応し、それぞれの画素は、球状モデル表面パッチに位置対応しているので、各表面パッチの傾斜角は既知である。そこで、この球状モデルデータを元にして、画素値の青赤２色の基準化強度比率と表面パッチの傾斜角の対応表を作成する。
【００２６】
図６のグラフは、球状モデルの表面によって拡散された光束の強度分布に対応するもので、理論的に強度の正規分布に対応する（数１）。数式において、σの２乗は拡散幅に対応する分散である。
【００２７】
【数１】
【００２８】
第２色相光（緑色）と第３色相光（赤色）の関係は、第１色相光（青色）と第３色相光（赤色）の関係とミラーイメージとして同様である。これらを球状モデルに投光して第２カメラ３−２によって撮像すると、図４において球状モデルの９０°以上の表面傾斜角との対応データが得られる。すべてのデータを総合すると、各色相光の基準化強度比率と、０°〜１８０°に亘る表面傾斜角の対応関係が得られる（図７）。
【００２９】
次に、画像の各画素サイズは、対象物の表面パッチのサイズに対応しており、表面パッチの傾斜面を斜辺とする直角三角形において、底辺寸法は一定であるため、底辺と斜辺のなす角度に応じて、直角三角形の高さを求めることができる。このようにして得られた表面パッチの高さを、ラインセンサピクセルのスキャン方向に沿って加算すれば、そのピクセルに沿う、計測基準面からの対象縦断面高さが算出できる（図８）。
【００３０】
未知の測定対象を計測する場合には、まず、その対象を図１に示した構成の装置によって撮像し、その画像を構成する各画素の色相強度基準化比率から対応表を参照して対象表面パッチの傾斜角を算出し、それらをスキャンラインに沿って加算して縦断面高さを算出し、縦断面高さを総合して、対象全体の高さデータを算出する。
【００３１】
なお、これまでは、画素の色相強度基準化比率と対象表面パッチの傾斜角との対応表を作成した後、傾斜角から表面パッチの高さを求める順序を説明したが、傾斜角と高さとは一義的な関係にあるので、画素の色相強度基準化比率と表面パッチ高さの対応表を作成し、これを参照するようにしてもよいことは、言うまでもない。
【００３２】
次に、図９のフロー図に従って、この実施例の計測手順を説明する。図９Ａのフロー図は球状モデルを用いて対応表を作成するステップを、また図９Ｂのフロー図は未知の測定対象を計測するステップを、それぞれ示している。
【００３３】
まず図９Ａにおいて、球状モデルを計測基準面にセットし（ＳＴ１）、図１の構成に設定された投光・撮像系の２台のカメラでで同時に撮像する（ＳＴ２）。次に、得られた画像から、色相光反射強度プロファイルをデータ化し（ＳＴ３）、これを基準化し（ＳＴ４）、基準化比率データと表面角度の対応表を作成する（ＳＴ５）。
【００３４】
次に図９Ｂにおいて、まず未知の測定対象を計測基準面にセットし（ＳＴ６）、図１の構成に設定された投光・撮像系の２台のカメラで同時に撮像する（ＳＴ７）。得られた画像の画素値から、色相光反射強度基準化比率を算出し（ＳＴ８）、対応表を参照して画素に対応する表面パッチの傾斜角を算出する（ＳＴ９）。次に、表面パッチ高さを算出し（ＳＴ１０）、スキャン方向に沿って加算して、縦断面高さを算出する（ＳＴ１１）。そして最後に、測定対象の横幅に亘って縦断面高さを集積して、全体の３次元データを作成する（ＳＴ１２）。
【産業上の利用可能性】
【００３５】
固有の投光傾斜角と色相をそれぞれ割付けた複数の光束を同時投光した対象物を、視軸を一定傾斜角としたカラーラインセンサカメラで撮像し、獲得した画像画素の３色相光強度基準化比率から対象物表面傾斜角を算出して、対象物表面パッチの高さを算出し、これを加算して対象物全体の３次元データを獲得することによって、計測基準面の凹凸に由来する誤差のために測定が困難な微小立体物の３次元計測にも適用できる。
【符号の説明】
【００３６】
１ 計測基準面
２ 測定対象
３ カラーラインセンサカメラ
４ 色相光投光光源
５ 制御装置
【特許請求の範囲】
【請求項１】
対象物に、固有の投光傾斜角と色相をそれぞれ割付けた複数の光束を同時投光し、２台のカラーラインセンサカメラでスキャン撮像する色相光投光撮像装置において、
色相光を投光する複数光源は、いずれも直線形状の光源の長軸がスキャン方向と直交する姿勢に設置した光源であって、
第１色相光源は、第１のカラーラインセンサカメラの撮像方向と同じ方位角方向から計測基準面に対して一定の傾斜角で第１色相光束を測定対象に投光する光源であり、
第２色相光源は、第２のカラーラインセンサカメラの撮像方向と同じ方位角方向から計測基準面に対して一定の傾斜角で第２色相光束を測定対象に投光する光源であり、
さらに第３色相光源は、計測基準面に対して垂直方向から第３色相光束を測定対象に投光する光源であり、
２台のカラーラインセンサカメラは、共にテレセントリックレンズを備え、スキャン軸に沿って対向方向から計測基準面上の同一領域を一定の角度に傾斜した視軸（ビューイングアクシス）で見下ろして撮像する姿勢に設置され、
まず、前記色相光投光撮像装置で球状モデルを撮像し、２台のカラーラインセンサカメラが獲得した画像の各画素の３色相光強度基準化比率を算出し、
３色相光強度基準化比率を、それぞれの画素が対応する球状モデル表面パッチ（微小領域）の傾斜角に対応させて、対応表を作成し、
次に測定対象を計測する場合、前記色相光投光撮像装置で測定対象を撮像し、
前記対応表を参照して、獲得した画像の各画素の３色相光強度基準化比率から測定対象表面パッチ（微小領域）の傾斜角データを割り出し、
得られた表面パッチの傾斜角から、表面パッチの高さを算出し、
表面パッチの高さをイメージセンサの１ピクセルに対応するスキャン方向に沿って順次加算することによって、測定対象の縦断面高さデータを算出し、
同様にして、測定対象の横幅に亘る全ピクセルのスキャン方向に沿う縦断面高さデータを算出することにより、
測定対象全体の高さデータを算出する３次元計測方法。
【請求項１】
対象物に、固有の投光傾斜角と色相をそれぞれ割付けた複数の光束を同時投光し、２台のカラーラインセンサカメラでスキャン撮像する色相光投光撮像装置において、
色相光を投光する複数光源は、いずれも直線形状の光源の長軸がスキャン方向と直交する姿勢に設置した光源であって、
第１色相光源は、第１のカラーラインセンサカメラの撮像方向と同じ方位角方向から計測基準面に対して一定の傾斜角で第１色相光束を測定対象に投光する光源であり、
第２色相光源は、第２のカラーラインセンサカメラの撮像方向と同じ方位角方向から計測基準面に対して一定の傾斜角で第２色相光束を測定対象に投光する光源であり、
さらに第３色相光源は、計測基準面に対して垂直方向から第３色相光束を測定対象に投光する光源であり、
２台のカラーラインセンサカメラは、共にテレセントリックレンズを備え、スキャン軸に沿って対向方向から計測基準面上の同一領域を一定の角度に傾斜した視軸（ビューイングアクシス）で見下ろして撮像する姿勢に設置され、
まず、前記色相光投光撮像装置で球状モデルを撮像し、２台のカラーラインセンサカメラが獲得した画像の各画素の３色相光強度基準化比率を算出し、
３色相光強度基準化比率を、それぞれの画素が対応する球状モデル表面パッチ（微小領域）の傾斜角に対応させて、対応表を作成し、
次に測定対象を計測する場合、前記色相光投光撮像装置で測定対象を撮像し、
前記対応表を参照して、獲得した画像の各画素の３色相光強度基準化比率から測定対象表面パッチ（微小領域）の傾斜角データを割り出し、
得られた表面パッチの傾斜角から、表面パッチの高さを算出し、
表面パッチの高さをイメージセンサの１ピクセルに対応するスキャン方向に沿って順次加算することによって、測定対象の縦断面高さデータを算出し、
同様にして、測定対象の横幅に亘る全ピクセルのスキャン方向に沿う縦断面高さデータを算出することにより、
測定対象全体の高さデータを算出する３次元計測方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１９４０１７（Ｐ２０１２−１９４０１７Ａ）
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願番号】特願２０１１−５７４８０（Ｐ２０１１−５７４８０）
【出願日】平成２３年３月１６日（２０１１．３．１６）
【出願人】（５９４０７７０２４）
【Ｆターム（参考）】
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願日】平成２３年３月１６日（２０１１．３．１６）
【出願人】（５９４０７７０２４）
【Ｆターム（参考）】
[ Back to top ]