電子部品実装装置
【課題】効率良く高精度な部品認識を行うことができる電子部品実装装置を提供する。
【解決手段】ヘッドユニット12に、電子部品3の下面(撮像面)を斜め下方から撮像する2つのCCDカメラ22と、各CCDカメラ22に対し電子部品3の反対側から撮像面を照射する2つの照明23とを設ける。そして、2つのCCDカメラ22によって、吸着ノズル12bの軸回りにおける角度が異なる2方向から前記撮像面を撮像し、これら2つの2次元画像を、それぞれ幾何学変換により前記撮像面を真下から見た2次元画像に変換し、幾何学変換後の2つの2次元画像を比較して電子部品3の寸法、吸着位置ズレ、吸着角度ズレ、端子エラー(コプラナリティエラー、コリニアリティエラー)等を認識する。
【解決手段】ヘッドユニット12に、電子部品3の下面(撮像面)を斜め下方から撮像する2つのCCDカメラ22と、各CCDカメラ22に対し電子部品3の反対側から撮像面を照射する2つの照明23とを設ける。そして、2つのCCDカメラ22によって、吸着ノズル12bの軸回りにおける角度が異なる2方向から前記撮像面を撮像し、これら2つの2次元画像を、それぞれ幾何学変換により前記撮像面を真下から見た2次元画像に変換し、幾何学変換後の2つの2次元画像を比較して電子部品3の寸法、吸着位置ズレ、吸着角度ズレ、端子エラー(コプラナリティエラー、コリニアリティエラー)等を認識する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子部品供給装置から供給された部品を、基板上に装着する電子部品実装装置に関する。
【背景技術】
【0002】
従来の電子部品実装装置としては、例えば特許文献1に記載の技術がある。この技術は、吸着部品の同一箇所を2台のカメラによって異なる角度から撮影し、これらの画像を合成した3次元画像の解析により、吸着部品のどのリードに浮きが発生しているかを判断するものである。
しかしながら、この装置では、2つのカメラを共通の一点に指向させる構成であるため、カメラ配置の自由度が制約される。例えば、3次元画像のうちでも特に部品下面の画像が重視されるような場合には、次のような問題がある。すなわち、部品下面の画像を精度良く得ようとすれば必然的に両カメラのなす角度を小さくする(つまり、両カメラの光軸のなす角度を小さくする)ことが要求されるが、このようにすると、カメラの構造によっては、カメラ同士の物理的な干渉により現実の配置が困難となる場合がある。また、これを回避すべく撮像位置と両カメラとの距離を広げると、装置が大型化するばかりでなく、画像の鮮明度が損なわれて部品認識精度が低下するという問題がある。
【0003】
つまり、肝心な部品下面の画像を精度良く取得するためには、どうしても部品の真下近辺にカメラが必要となるため、ヘッドユニット上にカメラを配置する場合、ヘッドの上下動を妨げないような高速回避動作する機構が必要となる。そのため、動作機構による精度の低下や制御の複雑化、動作機構分のヘッドユニットの重量増加などの問題が生じる。
また、吸着部品を撮像する手段としてラインセンサを用い、吸着部品の下方を走査させて部品下面の画像を取得するものもある(例えば、特許文献2〜4参照)。これにより部品の搬送を中断させる(一時的に停止させる)ことなく吸着部品を画像認識することができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平7−151522号公報
【特許文献2】特許第4213292号公報
【特許文献3】特許第4216114号公報
【特許文献4】特許第4361312号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記各特許文献に記載の従来装置にあっては、3次元画像を用いて吸着部品の認識処理を行っているため、処理の複雑化や使用メモリの増大と共に、処理時間もかかってしまい、性能劣化に繋がってしまう。
また、吸着部品を撮像する手段としてラインセンサを用いる場合、部品下方を高速に精度良く走査する必要があるため、1回の画像取得だけでも時間がかかる。特に複数ヘッドを有するヘッドユニット上では、個々に動作する各ヘッドとラインセンサとの干渉を防ぐことは極めて困難である。
そこで、本発明は、効率良く高精度な部品認識を行うことができる電子部品実装装置を提供することを課題としている。
【課題を解決するための手段】
【0006】
上記課題を解決するために、請求項1に係る電子部品実装装置は、ヘッドユニット内の吸着ノズルにより電子部品を吸着し、基板上の所定位置に当該電子部品を装着する電子部品実装装置であって、前記吸着ノズルにより吸着した前記電子部品に光を照射する照明手段と、前記照明手段に対応して設けられ、前記吸着ノズルにより前記電子部品を上方から吸着した状態で、前記照明手段から照射された光を受光することで、当該電子部品の前記吸着ノズルによる吸着面とは反対側の撮像面を、斜め下方から撮像する撮像手段と、前記撮像手段により前記吸着ノズルの軸回りにおける角度が異なる複数の方向から前記撮像面を撮像した複数の2次元画像を、それぞれ幾何学変換により前記撮像面を真下から見た2次元画像に変換し、幾何学変換後の複数の2次元画像を比較して前記電子部品を認識する認識手段と、を備えることを特徴としている。
【0007】
このように、電子部品の撮像面を斜め下方から撮像した2次元画像を、幾何学変換により撮像面を真下から見た2次元画像に変換して部品認識を行う。そのため、撮像手段(カメラ)を電子部品の真下又は真下付近に配置する必要がなく、複数のカメラを配置する場合であっても、カメラ同士の物理的な干渉を防止することができる。また、カメラをヘッドユニットに固定する場合であっても、吸着ヘッドの上下動の妨げとならないようなカメラ配置を実現できる。さらに、2次元画像を用いて部品認識を行うので、従来の3次元画像を用いる場合と比較して処理の簡略化および処理時間の短縮化を実現できる。
【0008】
また、請求項2に係る電子部品実装装置は、請求項1に係る発明において、前記撮像手段は、複数のカメラにより構成され、前記電子部品の撮像面を前記複数の方向から同時に撮像することを特徴としている。
このように、複数の画像を同時に取得するので、複数の画像がまったく同じ状況下での吸着部品を撮像したものとなる。したがって、ヘッドユニットの移動に伴う吸着部品の吸着位置ズレや吸着角度ズレの影響を無くすことができ、部品認識誤差を抑制することができる。
【0009】
さらに、請求項3に係る電子部品実装装置は、請求項1に係る発明において、前記撮像手段は、1つのカメラにより構成され、前記吸着ノズルを当該吸着ノズルの軸回りに回転させて、前記電子部品の撮像面を複数回撮像することを特徴としている。
このように、1つのカメラで複数の画像を取得するので、カメラを複数台配置する場合と比較して、部品点数を削減することができる。そのため、その分のコスト削減と省スペース化とを実現することができる。
【0010】
また、請求項4に係る電子部品実装装置は、請求項1〜3の何れか1に係る発明において、前記撮像手段は、前記照明手段から前記電子部品に照射された光による反射光を受光することで、前記撮像面を撮像することを特徴としている。
このように、撮像手段として反射画像を撮像するカメラを適用して、適切に電子部品の撮像面を撮像することができる。
【0011】
さらにまた、請求項5に係る電子部品実装装置は、請求項4に係る発明において、前記照明手段と前記撮像手段とは、前記撮像手段による前記電子部品の撮像時における前記吸着ノズルの軸に対して線対称となる位置に配置されていることを特徴としている。
これにより、撮像手段で撮像可能な電子部品の面(下面と撮像手段側側面)のうち撮像面のみに光が照射されるように、照明手段と撮像手段とを配置することができ、撮像面を正しく撮像することができる。
【0012】
さらに、請求項6に係る電子部品実装装置は、請求項1〜3の何れか1に係る発明において、前記撮像手段は、前記照明手段から前記電子部品に照射された光の透過光を受光することで、前記撮像面を撮像することを特徴としている。
このように、撮像手段として透過画像を撮像するカメラを適用して、適切に電子部品の撮像面を撮像することができる。
【0013】
また、請求項7に係る電子部品実装装置は、請求項6に係る発明において、前記照明手段と前記撮像手段とは、前記撮像手段による前記電子部品の撮像時における前記吸着ノズルの先端位置に対して点対称となる位置に配置されていることを特徴としている。
これにより、撮像手段に対して電子部品の裏側から光が照射されるように、照明手段と撮像手段とを配置することができ、電子部品の撮像面を影の像として撮像することができる。
【0014】
また、請求項8に係る電子部品実装装置は、請求項1〜7の何れか1項に係る発明において、前記撮像手段及び前記照明手段は、前記ヘッドユニットに固定されていることを特徴としている。
これにより、電子部品を吸着してから搭載するまでのXY動作中にもカメラ認識ができるため、ヘッドユニットの搭載軌跡の制約が無く、部品搭載効率を向上することができる。また、カメラの焦点位置と吸着ヘッドにより吸着した電子部品との位置ズレを抑制することができ、精度の良く吸着部品を撮像することができる。
【0015】
さらにまた、請求項9に係る電子部品実装装置は、請求項1〜7の何れか1項に係る発明において、前記撮像手段及び前記照明手段は、電子部品実装装置のベースに固定されていることを特徴としている。
これにより、ヘッドユニットに撮像手段を固定する場合と比較して、ヘッドユニットの重量の増加を抑制することができ、部品搭載の操作性を向上させることができる。
【0016】
また、請求項10に係る電子部品実装装置は、請求項1〜9の何れかに係る発明において、前記撮像手段はCCDカメラにより構成され、前記CCDカメラが有するCCDが前記電子部品の撮像面に対して傾斜して配置されており、前記認識手段は、前記幾何学変換として、前記CCDの傾斜によって発生する実際の電子部品の形状に対する撮像画像の歪みを補正する仰角補正と、前記吸着ノズルの軸回りにおける所定の特定基準角度からの、前記吸着ノズルの軸回りにおける前記撮像手段の撮像角度の差分だけ、前記仰角補正した画像を当該画像の中心位置を中心に逆方向に回転する回転補正とを行うことを特徴としている。
【0017】
これにより、例えば直方体の電子部品を撮像したときに、CCD取得画像が台形状に歪んだ場合であっても、この歪みを補正して電子部品を真下から撮像したときに得られる長方形の画像に変換することができる。また、異なる方向から撮像した画像を特定基準角度から撮像した画像に統一することができるので、複数の画像間の比較を容易に行うことができる。
【0018】
さらにまた、請求項11に係る電子部品実装装置は、請求項1〜9の何れかに係る発明において、前記撮像手段はCCDカメラにより構成され、前記CCDカメラが有するCCDが前記電子部品の撮像面に対して平行に配置されており、前記認識手段は、前記幾何学変換として、前記吸着ノズルの軸回りにおける所定の特定基準角度から、前記吸着ノズルの軸回りにおける前記撮像手段の撮像角度の差分だけ、前記撮像手段により撮像した画像を当該画像の中心位置を中心に逆方向に回転する回転補正を行うことを特徴としている。
【0019】
このように、CCDを撮像面(水平面)に対して平行に配置するので、CCDを撮像面に対して傾斜させた配置させた場合のようにCCD取得画像に歪みが発生することがない。そのため、当該歪みを補正するための処理が不要となる。また、異なる方向から撮像した画像を特定基準角度から撮像した画像に統一することができるので、複数の画像間の比較を容易に行うことができる。
また、請求項12に係る電子部品実装装置は、請求項1〜11の何れかに係る発明において、前記認識手段は、幾何学変換後の複数の2次元画像を重ね合わせたときの前記電子部品の特徴点間の距離が許容範囲外であるとき、前記電子部品に異常が発生していることを認識することを特徴としている。
【0020】
このように、異なる方向から電子部品を撮像した画像を重ね合わせた場合、所定高さの平面上にあるものの像だけが一致することを利用し、特徴点間の距離が許容範囲外であるときには、その部分で高さ方向のずれが発生していると判断する。
このとき、特徴点として電子部品の外形上の点(例えば、部品の四隅の点)を指定すれば、この特徴点間の距離が許容範囲外であるとき、電子部品が水平面に対して傾斜して吸着されていると判断することができる。このように、電子部品の吸着角度ズレを認識することができる。
【0021】
また、吸着部品がリード端子部品であるときには、特徴点としてリード端子の外縁部の点(例えば、先端部の中心)を指定すれば、この特徴点間の距離が許容範囲外であるとき、リード端子が変形していると判断することができる。さらにこのとき、特徴点同士のずれが一部の特徴点のみに発生している場合には、その特徴点に対応するリード端子に浮き等が生じているコプラナリティエラーであると判断することができる。一方、特徴点同士のずれ量が所定の辺において徐々に増減していく場合には、その辺に位置するリード端子の先端面が他の辺のリード端子の先端面に対して傾斜しているコリニアリティエラーであると判断することができる。
【0022】
同様に、吸着部品がボール端子部品であるときには、特徴点としてボール端子の中心点を指定し、吸着部品がランド端子部品であるときには、特徴点としてランド端子の中心点や角を指定すれば、ボール端子エラーやランド端子エラーを認識することができる。
さらに、請求項13に係る電子部品実装装置は、請求項1〜11の何れかに係る発明において、前記認識手段は、幾何学変換後の複数の2次元画像を重ね合わせたときの前記電子部品の画像を形成する画素エリアのうち重ならない画素エリアが許容範囲外であるとき、前記電子部品に異常が発生していることを認識することを特徴としている。
【0023】
このように、異なる方向から電子部品を撮像した画像を重ね合わせた場合、所定高さの平面状にあるものの像だけが一致することを利用し、重ならない部品画像の画素エリアが許容範囲外であるときには、その部分で高さ方向のずれが発生していると判断する。これにより、上記特徴点同士の比較と同様に、電子部品の吸着角度ズレや端子エラーを認識することができる。
【0024】
また、請求項14に係る電子部品実装装置は、請求項12又は13に係る発明において、前記認識手段は、前記電子部品の異常として、前記電子部品の水平面からの吸着角度のずれ及び前記電子部品の端子の変形の少なくとも一方を認識することを特徴としている。
このように、電子部品吸着角度のずれや電子部品の端子の変形を認識することで、回路基板へ正常に搭載できない電子部品を適正に判断することができる。したがって、この部品認識結果に応じて、部品を搭載するか否かを選択することができる。
【発明の効果】
【0025】
本発明によれば、電子部品を斜め下から撮像した2次元画像を真下から撮像した2次元画像に補正して部品認識を行うため、電子部品を撮像するカメラ同士の物理的な干渉や、カメラと吸着ヘッドとの物理的な干渉を防止した位置にカメラを配置することができ、安全性と部品搭載の作業効率とを向上させることができる。また、2次元画像を用いて部品認識を行うので、処理の簡略化と処理時間の短縮化とを実現することができる。
【図面の簡単な説明】
【0026】
【図1】本発明における電子部品実装装置を示す平面図である。
【図2】ヘッドユニットの主要部の構成を示す図である。
【図3】CCDカメラ及び照明の配置を示す平面図である。
【図4】電子部品実装装置の制御系の構成を示すブロック図である。
【図5】電子部品の端子エラーの説明図である。
【図6】主制御装置で実行する部品認識処理手順を示すフローチャートである。
【図7】撮像時の照明、電子部品、CCDカメラの配置を示す図である。
【図8】CCDの配置の違いによる影響を説明する図である。
【図9】CCDの配置の違いによるCCD取得画像の違いを示す図である。
【図10】CCDの水平方向成分について説明するための図である。
【図11】CCD上の像を示す図である。
【図12】CCDの垂直方向成分について説明するための図である。
【図13】CCD取得画像の台形補正を示す図である。
【図14】リード端子比較について説明する図である。
【図15】リード端子の比較結果の一例を示す図である。
【図16】リード端子比較における許容距離範囲を示す図である。
【図17】ボール端子比較について説明する図である。
【図18】ボール端子比較における許容距離範囲を示す図である。
【図19】ランド端子比較について説明する図である。
【図20】部品の外形比較について説明する図である。
【図21】部品の外形比較結果の一例を示す図である。
【図22】本実施形態の動作を説明するための図である。
【図23】本実施形態の動作(回転補正)を説明するための図である。
【図24】CCDカメラの変形例を示す図である。
【図25】電子部品の撮像方法の変形例を示す図である。
【図26】ヘッドの偏芯量を説明するための図である。
【図27】ヘッドの偏芯量によるCCD取得画像の誤差を示す図である。
【図28】撮像手段の変形例を示す図である。
【図29】キャリブレーション用部品を用いた画像補正について説明するための図である。
【図30】部品高さ違いによる影響を説明するための図である。
【図31】CCDカメラと照明との配置の変形例を示す図である。
【発明を実施するための形態】
【0027】
以下、本発明の実施の形態を図面に基づいて説明する。
(第1の実施形態)
(構成)
図1は、本発明における電子部品実装装置を示す平面図である。
図中、符号1は電子部品実装装置である。この電子部品実装装置1は、基台10の上面にX方向に延在する一対の搬送レール11を備える。この搬送レール11は、回路基板5の両側辺部を支持し、搬送用モータ(図示せず)により駆動されることで回路基板5をX方向に搬送する。
【0028】
また、電子部品実装装置1はヘッドユニット12を備える。このヘッドユニット12は、下部に電子部品を吸着する複数の吸着ノズルを備え、X軸ガントリ13及びY軸ガントリ14により、基台10上をXY方向に水平移動可能に構成されている。
この電子部品実装装置1には、搬送レール11のY方向両側に、テープフィーダ等により電子部品を供給する電子部品供給装置15が装着される。そして、電子部品供給装置15から供給された電子部品は、ヘッドユニット12の吸着ノズルによって真空吸着され、回路基板5上に実装搭載される。
【0029】
また、ヘッドユニット12には、吸着ノズルによって吸着した電子部品を認識するための部品認識機構20が設けられている。
さらに、電子部品実装装置1には、吸着する部品のサイズや形状に応じて、吸着ノズルを交換するためのノズル交換機16が設けられている。このノズル交換機16内には複数種のノズルが保管、管理されている。
【0030】
次に、ヘッドユニット12の主要部の構成について、図2をもとに説明する。
ヘッドユニット12は、その基台が図1に示すX軸ガントリ13に取り付けられることで、X方向に移動可能となっている。
また、ヘッドユニット12は、吸着ヘッド12aを複数備えており(図2では1つのみを図示)、これら吸着ヘッド12aの先端(下端)にはそれぞれ電子部品3を吸着保持する吸着ノズル12bを備える。各吸着ノズル12bは、ノズル軸を中心に回転可能であると共に、Z方向(高さ方向)に昇降可能に構成されている。
【0031】
部品認識機構20は、ヘッドユニット12と一体形成された一対の支柱21a及び21bと、支柱21aの先端部(下端部)に取り付けられ、吸着ノズル12bによって吸着された電子部品3の吸着面とは反対側の撮像面を、斜め下方から撮像するCCDカメラ22と、支柱21bの先端部(下端部)に取り付けられ、吸着ノズル12bによって吸着された電子部品3の下面に照明光を照射する照明23と、を備える。
【0032】
支柱21a及び21bは、吸着ヘッド12aの上下動の妨げにならない形状となっている。また、CCDカメラ22は、その焦点位置が、吸着ノズル12bの先端穴中央から下に伸びる鉛直線上で、且つ支柱21a及び21bの下端部よりも上方に位置する予め決められた位置(部品認識位置)に一致するように、所定の仰角で配置されている。そして、部品吸着後、電子部品3の下面が部品認識位置となるまで吸着ヘッド12aを上昇させた状態で、CCDカメラ22によって電子部品3の下面を斜め下から仰ぎ見る形で撮像する。
【0033】
このとき、照明23は、CCDカメラ22に対して吸着ヘッド12aの軸を中心とした線対称の位置から、電子部品3を斜め下方から照射する。符号24は、照明23から照射される光の経路である。CCDカメラ22は、電子部品3の下面とCCDカメラ22側側面とを撮像可能な配置となっているが、照明23から照射された光は、電子部品3の下面と照明23側側面のみに当たる。つまり、照明23は、CCDカメラ22が撮像可能な電子部品3の面のうち、電子部品3の下面のみに光を照射するようになっており、CCDカメラ22は、電子部品3の下面で反射された反射光を受光することで、電子部品3の下面を撮像する。
【0034】
そして、部品搭載時には、吸着ヘッド12aを支柱21a及び21bの下端部よりも下方まで下降させて、回路基板5上へ電子部品3を搭載する。
図3は、CCDカメラ22及び照明23の配置を示す平面図である。
この図3に示すように、1つの吸着ノズル12bによって吸着された電子部品3を、2つの照明23で照射しつつ2つのCCDカメラ22で撮像するようになっている。すなわち、電子部品3は、2つのCCDカメラ22によってノズル軸回りおける角度が異なる2つの方向から同時に撮像される。ここでは、2つのCCDカメラ22のノズル軸回りおける角度が、例えば90°異なるものとする。
【0035】
図4は、電子部品実装装置1の制御系の構成を示すブロック図である。
CCDカメラ22で撮像した画像データは、電子部品実装装置1全体を制御する主制御装置50に入力される。
主制御装置50は、画像演算装置51と、画像認識装置52と、CPU、RAM及びROMなどを備えるマイクロコンピュータからなるコントローラ53とを備える。コントローラ53には、ヘッドユニット12を移動させるための各駆動源が接続され、コントローラ53によってこれらヘッドユニット12の各駆動源が制御される。
【0036】
画像演算装置51は、CCDカメラ22で撮像した画像データを入力し、後述する画像処理を行って、電子部品3を斜め下方から撮像した2次元画像を、特定基準角度(予め設定したノズル軸回りにおける任意の角度)で電子部品3を真下から見た2次元画像へ変換(仰角補正、回転補正)する。上記画像変換については後で詳述する。
画像認識装置52は、画像演算装置51で変換した画像データを用いて、吸着ノズル12bによって吸着した電子部品3の認識を行う。ここでは、吸着ノズル12bによる電子部品3の寸法や吸着位置ズレ、吸着角度ズレ、電子部品3の端子エラー等を認識する。ここで、吸着位置ズレとは、電子部品3の中心位置と吸着ノズル12bによる吸着位置との誤差であり、吸着角度ズレとは、水平面に対する電子部品3の下面の傾きである。
【0037】
図5は、電子部品の端子エラーの説明図である。この図5では、電子部品3がリード端子部品(QFP等)である場合について示している。
リード端子3aにエラーが発生していない正常状態では、図5(a)に示すように、4辺から突き出したすべてのリード端子3aの先端は、同一平面(リード先端平面)上に位置する。ところが、図5(b)に示すように、特定のリード端子3aに上方または下方への変形が生じている場合(以下、コプラナリティエラーという。)や、図5(c)に示すように、特定の列のリード端子3aの先端面が他の列に対して傾斜している場合(以下、コリニアリティエラーという。)がある。図5(b)及び(c)に示す端子エラーが生じると、電子部品3を基板に搭載したときに基板面に接触できない端子が存在してしまう。そこで、本実施形態では、部品認識により、上記端子エラーとしてコプラナリティエラー及びコリニアリティエラーを検知する。
【0038】
コントローラ53は、画像認識装置52による電子部品3の認識結果に基づいて、部品搭載処理を行う。なお、このコントローラ53には、電子部品3の種類、外形寸法、端子数、リード長さ(リード端子の場合)、端子間ピッチ等が記憶されている。
図6は、主制御装置50で実行する部品認識処理手順を示すフローチャートである。この部品認識処理は、吸着ノズル12bで電子部品3を吸着する度に実行開始され、電子部品3を吸着してから回路基板5上に搭載するまでの間に行われる。
【0039】
先ずステップS1で、主制御装置50は、メモリに記憶された部品データから、現在吸着している電子部品3の高さを読み込む。そして、図7に示すように、吸着部品の下面がCDカメラ22の焦点位置である部品認識位置と一致するように、吸着ノズル12bを上下動する。
なお、本明細書実施例中では、CCDカメラ22の焦点位置がCCD上に写る位置をCCD中心位置と呼ぶ。また、CCDカメラ22の焦点位置とCCD中心位置とを結ぶ直線を、認識中心線と呼ぶ。
ステップS2では、主制御装置50は、CCDカメラ22で撮像した画像データを取得する。ここでは、上述したように、ノズル軸回りに90°異なる角度から撮像した2つの画像データを取得する。
【0040】
次にステップS3では、主制御装置50は、前記ステップS2で取得した2つの画像データについて仰角補正を行う。ここで、仰角補正とは、CCDの仰角(水平面に対する傾斜)によって発生する実際の電子部品3の形状に対するCCD取得画像の歪みを補正する処理である。先ず、部品の真下に配置したCCDカメラで撮像した部品画像と、斜め下方に配置したCCDカメラで撮像した部品画像との違いについて説明する。
【0041】
図8(a)に示すように、CCDが部品の真下に部品の下面と平行に配置されている場合、当該部品が直方体である場合には、図9(a)に示すように部品画像は水平方向(図9の左右方向)及び垂直方向(図9の上下方向)が等比縮小された長方形となる。一方、図8(b)に示すように、CCDが部品の斜め下に部品の下面に対して傾斜した状態で配置されている場合、図9(b)に示すように、水平方向が等比縮小され、垂直方向が変形縮小されることで、部品画像は台形状に縮小される。これは、図8に示すように、部品下面を三等分にした線分を真下のCCDで取得すると等間隔に並ぶのに対し、傾斜したCCD上では等間隔ではなくなることに起因する。仰角補正では、図9(b)に示す台形状の画像を、図9(a)に示す長方形の画像に変換する処理を行い、以下の説明ではこれを台形補正とも呼ぶ。
【0042】
図10は、CCDの水平方向成分について説明するための図であり、電子部品3とCCDとを上方から見たときの図である。図10において、上下方向がCCDの水平方向に対応している。
傾斜したCCDに写る画像のうち水平方向の1列に着目すると、そこに写る画像(線)上の2点とレンズ中心点とを結んで形成される三角形と、被写体となる電子部品3の対応する線上の2点とレンズ中心点とを結んで形成される三角形とは、相似形となる。
【0043】
そして、上記三角形の各辺の長さの比は、部品下面とレンズとの距離と、レンズとCCDとの距離との比である。つまり、水平方向に関してだけ見るとCCD上では等比縮小された像を描くことになり、そのサイズは、部品下面のある線上の断面画像とカメラとの位置関係で決まる。
ところで、図8において、部品の下面を左方向に無限に伸ばして行くと、その像はαに達することになり、このαの位置が無限遠を示す位置となる。横方向に無限に長い部品があったと仮定すると、CCD上の像は図11に示すようになる。このように、CCDの垂直方向(図11の左右方向)については、CCD上の像が変形縮小される。図6のステップS3では、CCD取得画像の水平方向成分の歪と垂直方向成分の歪とを補正することで台形補正を行う。
【0044】
図12は、CCDの垂直方向成分を説明するための図であり、電子部品3とCCDとを側方から見たときの図である。
図12において、CCDの下端中央の点をPccd1、CCDの傾き方向の任意の点をPccd2とする。また、点Pccd1とレンズ中心点とのY方向の距離をLy、X方向の距離をLxとする。さらに、部品下面と平行な線(通常は部品下面が水平なので、水平線)に対する実際のCCDの傾きをθccdとする。
【0045】
上述したように、部品下面と平行にCCDを配置した場合、CCD上の像は部品下面の等比縮小像となる。そこで、この部品下面と平行に配置されたCCDが点Pccd1を通る平面上にあったと仮定し、これを仮想CCDと呼ぶ。仮想CCD上において、点Pccd1と点Pccd2に対応する各点は、それぞれP1,P2となる。なお、点Pccd1と点P1とは同じ点となる。そして、点Pccd1と点Pccd2との間の距離と、点P1と点P2との間の距離との比を計算し、求めた比を用いて上記台形補正を行う。
【0046】
なお、以下の説明においては、ある点Aとある点Bとの間の距離を、L{A−B}と記す。
距離L{P2−P1}の算出に際し、点P2、点Pccd2及び点Pccd2から仮想CCDへ下ろした垂線と当該仮想CCDとが交わる点Pccd2´を結んだ三角形と、点P2、レンズ中心点及びレンズ中心点から仮想CCDへ下ろした垂線と当該仮想CCDとが交わる点を結んだ三角形とが相似形であることを利用する。これら三角形の各辺の比率は、距離Lyに対する距離L{Pccd2−Pccd2´}の比と同じになる。
また、距離L{P2−Pccd2´}とL{Pccd2´−P1}と距離Lxとを足したものと、距離Lyとの比は、距離L{P2−Pccd2´}と距離{Pccd2´−Pccd2}との比と同じである。
【0047】
したがって、距離L{P2−Pccd2´}は次式で表される。
L{P2−Pccd2´}=L{Pccd2´−Pccd2}・(L{Pccd2´−P1}+Lx)/(Ly−L{Pccd2´−Pccd2})
=(L{Pccd2−Pccd1}・Sin(θccd)・(L{Pccd2−Pccd1}・Cos(θccd)+Lx))/(Ly−L{Pccd2−Pccd1}・Sin(θccd)) ………(1)
【0048】
したがって、L{P2−P1}は次式で表される。
L{P2−P1}=L{P2−Pccd2´}+L{Pccd2´−P1}
=L{Pccd2−Pccd1}・Sin(θccd)・(L{Pccd2−Pccd1}・Cos(θccd)+Lx))/(Ly−L{Pccd2−Pccd1}・Sin(θccd))+L{Pccd2−Pccd1}・Cos(θccd) ………(2)
【0049】
上述したように、CCD取得画像の水平方向成分は等比で縮小されるが、CCDの垂直方向の位置によってその縮小率は変わる。仮想CCD上での像に対する実際のCCD上での像の大きさの比は、図12のレンズ中心点と点P2との距離に対するレンズ中心点と点Pccd2との距離との比に等しい。また、これは、前述の2つの相似三角形から、距離Lyに対する距離L{Pccd2,Pccd2´}の比と等しい。
【0050】
したがって、CCD取得画像の水平方向成分の比rxは、次式で表される。
rx=L{Pccd2´−Pccd2}/Ly
=L{Pccd2−Pccd1}・Sin(θccd)/Ly ………(3)
一方、CCD取得画像の垂直方向成分の比ryは、距離L{P2−P1}に対する距離L{Pccd2−Pccd1}の比と等しい。したがって、CCD取得画像の垂直方向成分の比ryは次式で表される。
ry=L{P2−P1}/L{Pccd2−Pccd1} ………(4)
【0051】
ここで、LxをLx0、LyをLy0、Sin(θccd)をS0、Cos(θccd)をC0とし、さらにL{Pccd2−Pccd1}をΔYとすると、rx,ryはそれぞれ上記(2)及び(3)式をもとに以下のように表される。
rx=ΔY・S0/Ly0 ………(5)
ry=(ΔY・S0・(ΔY・C0+Lx0)/(Ly0−ΔY・S0)+ΔY・C0)/ΔY ………(6)
ここで、距離Lx,Ly及び角度θccdは、計算あるいは測定により予め取得しておく。これにより、比rx及びryを計算により求めることができる。
【0052】
次に、仮想CCD画像の格納エリアと見立てたRAMエリア上に、各画素データを配置し、そのエリアの各座標に対し、rx,ryで割った値の実CCD座標上にある画素データを、このRAMエリアの各画素として順次取り込む。
仮想CCD画素データ(x,y)=実CCD画素データ(x/rx,y/ry) ………(7)
【0053】
これにより、図13(a)に示す実CCD上の取得画像は、図13(b)に示すようにRAM上に展開され、台形補正が施された状態となる。本実施形態では、この台形補正を施した画像を、部品下面を真下から撮像した画像として扱う。なお、このRAMエリアのフォーマットは、実CCDの取得画像をRAM上に展開するときと同じフォーマットとし、既存の画像処理を行うことを可能にしておく。
【0054】
次に、図6のステップS4では、主制御装置50は、前記ステップS3で補正した撮像角度の異なる2枚の画像を、それぞれ特定基準角度に回転する回転補正を行い、ステップS5に移行する。ここでは、特定基準角度からの撮像角度の差分だけ、上記補正後の画像を当該画像の中心位置(CCD中心位置)を中心に逆方向に回転させる。すなわち、例えば、撮像角度が特定基準角度に対して左回りに45°ずれている場合には、上記補正後の画像を、CCD中心位置を中心に右回りに回転させる。
ステップS5では、主制御装置50は、最終的な部品下面内の各部の実際の寸法を算出する(等比拡大する)。ここでは、仮想画像の寸法に図8のLLyとLyとの比、つまり(LLy/Ly)を掛けることで実際の寸法を算出する。
【0055】
次に、ステップS6では、主制御装置50は、前記ステップS5で取得した画像を用いて、画像認識処理を行う。ここでは、2つのカメラで電子部品3を同時撮影しているため、2枚の画像のうち一方の画像を用いて画像認識処理を行う。画像認識処理としては、部品の吸着位置ズレや部品サイズ等を認識する処理を行う。ここで、吸着位置ズレは、前記ステップS5で取得した画像内の部品の画像中心位置とCCD中心位置とを比較することで検知する。
ステップS7では、主制御装置50は、前記ステップS5で取得した2枚の画像を重ね合わせる。このとき、各画像においてCCD中心位置同士を重ね合わせるものとする。
【0056】
次に、ステップS8では、主制御装置50は、メモリに記憶された部品データを読み込み、撮像した吸着部品の種類(チップ部品、リード端子部品、ボール端子部品、ランド端子部品等)を取得してステップS9に移行する。
ステップS9では、主制御装置50は、撮像した吸着部品がリード端子部品であるか否かを判定し、リード端子部品である場合にはステップS10に移行し、リード端子部品でない場合には後述するステップS11に移行する。
【0057】
ステップS10では、主制御装置50は、前記ステップS8で重ね合わせた2枚の画像から、リード端子の変形およびその変形量を検知し、後述するステップS15に移行する。ここでは、例えば、2枚の画像について、一般的に知られている画像処理を用いて画像内のエッジ点を抽出することでエッジ画像をそれぞれ生成し、生成したエッジ画像からリード端子の外縁部を把握する。次に、図14に示すように、2枚の画像における同じリード端子の外縁部同士の位置を比較する。そして、その比較結果に基づいて、リード端子エラーを検出する。
【0058】
図15は、リード端子の比較結果の一例を示す図である。
リード端子に端子エラーが発生していない正常状態では、図15(a)に示すように両画像の全端子位置は同じ座標となり、2枚の画像を重ね合わせても外縁部のズレは発生しない。一方、コプラナリティエラーが発生している場合には、図15(b)に示すように、両画像で一致しない端子が存在する。また、コリニアリティエラーが発生している場合には、図15(c)に示すように、両画像で一致しない端子の列が存在し、画像間における端子の外縁部のズレ量が位置の変化に伴って徐々に増減する。
【0059】
本実施形態では、リード端子の特徴点として、例えばリードの先端部の中心点同士の位置を比較する。このとき、上記特徴点間の距離が予め設定した許容距離範囲内であるか否かを判定する。ここでは、図16に示すように、一方の画像(実線)においてリードの先端部の中心点を中心とした楕円を設定し、これを許容距離範囲とする。そして、他方の画像(破線)におけるリードの先端部の中心点がこの許容距離範囲内に存在するか否かを判定し、図16(a)に示すように許容距離範囲内に存在する場合には端子エラーではないと判断し、図16(b)に示すように許容距離範囲外に存在する場合には端子エラーであると判断する。
【0060】
なお、リード端子比較として、2枚の画像を重ね合わせたときにリード端子画像が重ならない画素エリアが存在するか否かを判定する方法を用いることもできる。この場合、重ならない画素エリアが許容範囲外であるとき、端子エラーであると判断する。
ステップS11では、主制御装置50は、撮像した吸着部品がボール端子部品であるか否かを判定し、ボール端子部品である場合にはステップS12に移行し、ボール端子部品でない場合には後述するステップS13に移行する。
【0061】
ステップS12では、主制御装置50は、前記ステップS8で重ね合わせた2枚の画像から、ボール端子のズレの有無およびそのズレ量を判定し、後述するステップS15に移行する。ここでも、上述したリード端子比較と同様に2枚のエッジ画像を比較する。例えば、図17に示すように特徴点としてボール端子の中心点を指定し、2枚の画像における同じボール端子の中心同士の位置を比較する。そして、その比較結果に基づいて、ボール端子エラーを検出する。
【0062】
この場合にも、図18に示すように、一方の画像(実線)においてボール端子の中心点を中心とした楕円を設定し、これを許容距離範囲とする。そして、他方の画像(破線)におけるボール端子の中心点がこの許容距離範囲内に存在するか否かを判定し、図18(a)に示すように許容距離範囲内に存在する場合には端子エラーではないと判断し、図18(b)に示すように許容距離範囲外に存在する場合には端子エラーであると判断する。
なお、ここでも、ボール端子画像の重ならない画素エリアを検知することで、ボール端子エラーを検知することができる。
【0063】
ステップS13では、主制御装置50は、撮像した吸着部品がランド端子部品であるか否かを判定し、ランド端子部品である場合にはステップS14に移行し、ランド端子部品でない場合には後述するステップS15に移行する。
ステップS14では、主制御装置50は、前記ステップS8で重ね合わせた2枚の画像から、ランド端子のズレの有無およびそのズレ量を判定し、後述するステップS15に移行する。ここでも、上述した各端子比較と同様に2枚のエッジ画像を比較する。例えば、図19に示すように特徴点としてランド端子の中心点(或いは角)を指定し、同じランド端子の中心同士(或いは角同士)の位置を比較する。そして、その比較結果に基づいて、ランド端子エラーを検出する。なお、ランド端子画像の重ならない画素エリアを検知することで、ランド端子エラーを検知するようにしてもよい。
【0064】
ステップS15では、主制御装置50は、前記ステップS8で重ね合わせた2枚の画像から、部品の外形比較を行い、ステップS16に移行する。ここでは、図20に示すように、2枚の画像における同じ座標の画素同士を比較する。そして、その比較結果に基づいて、外形のズレを検出する。例えば、一方の部品画像の四隅に対応する画素の座標を求め、その座標の画素同士を両画像で比較する。その結果、画素データが一致しない場合には部品外形が一致していないと判断する。
【0065】
図21は、部品の外形比較結果の一例を示す図である。
電子部品3が吸着ノズルによって正しく吸着されており、部品下面が水平である正常状態であるとき、異なる方向から撮像した2つのCCD取得画像が図21(a)に示す形状であるものとする。一方、電子部品3が高さ方向に傾いていると、例えば図21(b)の実線に示すように、2つのCCD取得画像はそれぞれ破線で示す正常時と比較して異なる形状となる。そして、このときの両者の台形補正後の画像も、図21(c)の実線で示すように、それぞれ破線で示す正常時と比較して異なる形状となる。
【0066】
したがって、電子部品3が高さ方向に傾いている場合には、2枚の補正画像を重ね合わせても、その形状は一致しない。そのため、部品外形のズレを検知することで、電子部品3の高さ方向の傾き(部品の吸着角度ズレ)を検知することができる。なお、本実施形態では、部品外形のズレ量が許容範囲外である場合に、部品の吸着角度ズレが発生していると判断する。
【0067】
ステップS16では、主制御装置50は、2枚の補正画像の比較結果に応じて部品の搭載を決定し、部品認識処理を終了する。具体的には、上述した各処理において、電子部品3の吸着位置ズレや吸着角度ズレ、電子部品3の端子エラーの発生を認識している場合には、その部品の基板への搭載を中止する。
なお、CCDカメラ22が撮像手段に対応し、照明23が照明手段に対応し、図6の処理が認識手段に対応している。
【0068】
(動作)
次に、本実施形態の動作について説明する。
電子部品の搭載処理が開始されると、主制御装置50のコントローラ53は、メモリに記憶した部品データを読み込み、ヘッドユニット駆動源を駆動制御してヘッドユニット12をノズル交換機16上に移動する。そして、ヘッドユニット12の各ヘッド12aに、ノズル交換機16から指定ノズルを装着する。次に、コントローラ53は、ヘッドユニット駆動源を駆動制御して、ヘッドユニット12を電子部品供給装置15の部品供給位置へ移動し、電子部品3の吸着を行う。
【0069】
電子部品3を吸着すると、主制御装置50は、メモリに記憶した部品データから現在吸着している電子部品3の高さを読み込む。そして、吸着している電子部品3の下面が前以て決められた部品認識位置の高さとなるまで吸着ヘッド12aを上昇させる(図6のステップS1)。そして、この状態で、電子部品3の下面に対して2つの照明23から光を照射し、2つのCCDカメラ22で電子部品3の下面を斜め下から同時に撮像する。
【0070】
CCDカメラ22によって撮像された2つのCCD取得画像は、画像演算装置51に入力され(ステップS2)、この画像演算装置51で、斜め下から撮像した部品下面の画像が、真下から撮像したときと同じ形状となるように台形補正演算される(ステップS3)。すなわち、斜め下から撮像した2つのCCD取得画像が図22(a)であるとすると、これを台形補正することで図22(b)に示す画像が得られる。
【0071】
次に、台形補正画像を特定基準角度へ回転補正する(ステップS4)。図23に示すように、2つのCCDカメラ22a及び22bによる電子部品3の撮像角度が、特定基準角度に対してそれぞれ左右に45°ずれているものとする。この場合、CCDカメラ22aで撮像した1枚目のCCD取得画像の台形補正後の画像については、CCD中心位置を中心に左回りに45°回転させることで、特定基準角度での取得姿勢となるように回転補正を行う。一方、CCDカメラ22bで撮像した2枚目のCCD取得画像の台形補正後の画像については、CCD中心位置を中心に右回りに45°回転させることで、特定基準角度での取得姿勢となるように回転補正を行う。回転補正後の2つ画像は、それぞれ図22(c)に示すようになる。
【0072】
なお、特定基準角度は、図23に示す角度に限定されない。例えば、一方のCCDカメラ22aによる電子部品3の撮像角度を特定基準角度として設定することもできる。この場合、CCDカメラ22aで撮像した1枚目のCCD取得画像の台形補正後の画像については回転補正を行う必要はなく、CCDカメラ22bで撮像した2枚目のCCD取得画像の台形補正後の画像についてのみ、CCD中心位置を中心に右回りに90°回転させればよい。
【0073】
回転補正後の画像は、(LLy/Ly)倍することで実際の寸法に等比拡大される(ステップS5)。このようにして得られた画像は、画像認識装置52に送られ、部品下面を真下から撮像した画像として扱われる。
画像認識装置52では、2枚の補正画像のうち一方の画像を用い、エッジ検出等の画像処理により画像内の電子部品3の寸法等の形状認識を行うと共に、認識した電子部品3の中心位置とCCD中心位置とのズレ量を認識する。ここで認識した吸着位置のズレ量は、後の回路基板5への部品搭載時に電子部品3の搭載座標に加算するようにする。これにより、回路基板5上の所望の位置に正しく電子部品3を搭載することができる。
【0074】
次に、2枚の補正画像を重ね合わせ、電子部品3の吸着角度ズレや端子エラーを認識する。先ず、メモリに記憶した部品データから、現在吸着している電子部品3の種類を読み込む(ステップS8)。ここで、現在吸着している電子部品3が、図22に示すようにリード端子部品であるものとすると(ステップS9でYes)、重ね合わせた2枚の補正画像をもとにリード端子比較を行い、リード端子のコプラナリティエラー及びコリアリティエラーが発生しているか否かを判定する(ステップS10)。
【0075】
図22(c)の符号E1の箇所でコプラナリティエラーが発生している場合、2枚の補正画像を重ね合わせると、図15(b)に示すように、リード端子の外縁部の一部がずれる。また、図22(c)の符号E2の箇所でコリアリティエラーが発生している場合、2枚の画像を重ね合わせると、図15(c)に示すように、リード端子の外縁部が徐々に前後または左右にずれる。このように、リード端子の外縁部のズレを検知することで、端子エラーの発生の有無を認識することができると共に、端子エラーが発生している場合にはエラーの種類を特定することができる。
なお、現在吸着している電子部品3がボール端子部品やランド端子部品であるときにも、リード端子部品の場合と同様に、2枚の補正画像間で端子の特徴点(ボール端子部品の場合は端子の中心点、ランド端子部品の場合は端子の中心又は角)同士を比較することで端子エラーの発生の有無を認識することができる。
【0076】
また、現在吸着している電子部品3がチップ部品である場合には(ステップS9,S11及びS13でNo)、重ね合わせた2枚の補正画像を用いてチップ部品の外形のズレを認識する。チップ部品が高さ方向に傾いて吸着されている場合、図21(c)に示すように、各補正画像は正常時の画像とは異なるものとなっており、2枚の補正画像を重ね合わせてもチップ部品の外形は一致しない。このように、チップ部品の外形のズレを検知することで、チップ部品の吸着角度ズレを認識することができる。
【0077】
そして、以上のように、2枚の補正画像の比較により電子部品3の吸着角度ズレや端子エラーを検出した場合には、現在吸着している電子部品3の回路基板5への搭載を中止する。
一方、2枚の補正画像の比較により電子部品3の吸着角度ズレや端子エラーが検出されず、現在吸着している電子部品3が正常であると判断した場合には、コントローラ53は、ヘッドユニット12を回路基板5の所定の部品搭載位置まで移動する。そして、この部品搭載位置で吸着ノズル12bを下降することで、電子部品3を回路基板5上に装着する。
【0078】
このように、本実施形態では、電子部品3をノズル軸回りの角度が異なる2方向において斜め下から撮像した2枚の画像を、それぞれ幾何学変換により特定基準角度方向において部品真下から撮像した2次元画像への写像として変換する。具体的には、2つのCCDカメラ22の焦点位置に、部品下面の中央が位置するように吸着ヘッド12bを高さ調整したときの部品下面、CCDカメラ22及びその中のCCDの位置関係、即ちそれらの間の距離、傾斜角、方位角等から幾何学的に、CCD上に写し出された台形変形した部品下面画像を、元の長方形画像に変換する。そして、写像変換した2枚の2次元画像を比較し、部品画像の特徴点間の位置ズレを検知することにより、電子部品3及びその端子の高さズレを認識する。
【0079】
したがって、電子部品3の真下にカメラを置かなくても、部品下面を真下から撮像した画像を取得することができる。そのため、カメラ配置の自由度を大きくすることができる。また、写像変換による部品下面の画像の劣化が少ないため(45度の傾斜角で撮っても傾斜方向での解像度の低下は1/√2≒0.7倍程度)、正確な画像認識を行うことができる。
さらに、コプラナリティエラーの認識で一番重要な部品下面の画像は、コプラナリティエラーの無いときには、部品下面の画像が正確に重なるため、例えば、取得した2枚の画像同士の補間が各画素同士の値を平均するだけでも可能となり、より高精度な画像認識も可能となる。
【0080】
(効果)
このように、上記実施形態では、電子部品を斜め下から撮像した2次元画像を真下から撮像した2次元画像に補正して部品認識を行うため、CCDカメラを電子部品の真下又は真下付近に配置する必要がない。そのため、CCDカメラ同士の干渉やCCDカメラと吸着ヘッドとの干渉を防止できる位置にCCDカメラを配置することができる。CCDカメラと吸着ヘッドとの干渉を防止することで、安全性と作業効率とを向上することができる。
【0081】
また、電子部品を撮像する手段としてCCDカメラを用いるので、一瞬で撮像画像を取得することができる。すなわち、ラインセンサのように部品下面画像を走査して取得する必要がないため、高速であり、また走査のための機構も必要ないことから、制御の複雑化及び装置の大型化を抑制することができる。
さらに、CCDカメラをヘッドユニットに搭載するので、ヘッドユニットを電子部品供給装置の部品供給位置から回路基板上の部品搭載位置へ移動させながら、部品認識を行うことができる。したがって、ヘッドユニットの搭載軌跡の制約が無く、部品搭載効率を向上することができる。また、CCDカメラと吸着ヘッド先端との位置ズレを少なくすることができるので、精度良く部品認識を行うことができる。
【0082】
また、2つのCCDカメラによって吸着部品の撮像面を異なる2方向から同時に撮像するので、2枚の画像がまったく同じ状況下での吸着部品を撮像したものとなる。したがって、ヘッドユニットの移動に伴う吸着部品の吸着位置ズレや吸着角度ズレの影響を無くすことができ、部品認識誤差を抑制することができる。
さらにまた、2次元画像を用いて部品認識を行うので、従来装置のように3次元画像を用いる場合と比較して処理を簡略化することができ、処理時間を短縮することができる。
また、各種の認識(コプラナリティエラー、コリニアリティエラー、吸着位置ズレ、吸着角度ズレ、部品サイズなど)が一斉に取得可能であるため、幾つものユニットを備える必要が無く、比較的安価に構成することができる。
【0083】
(変形例)
なお、上記実施形態においては、図24に示すように、CCDを部品下面と平行に配置したCCDカメラを用いることもできる。これにより、CCDを部品下面に対して傾斜させて配置した場合のようにCCD取得画像が歪まないので、上述した台形補正を省略することができ、高速演算が可能となる。但し、CCDがレンズに対して傾いている(或いはレンズ自体も傾いている)分、焦点深度やレンズの収差などによりCCDの使用できる範囲が限られ、大きな像を得ることは難しくなる。したがって、小さな像に限った場合の用途では、上記実施形態と同様の効果を得ることができ有用である。
【0084】
また、上記実施形態においては、2つのCCDカメラ22を用いて電子部品3を異なる方向から撮像する場合について説明したが、1つのCCDカメラ22を用いて電子部品3を異なる方向から撮像することもできる。この場合、図25に示すように、1つの吸着ヘッド12aに対して、1組のCCDカメラ22と照明23とを対向配置する。そして、第1の回転角(例えば、0°)で電子部品3をCCDカメラ22により撮像した後、吸着ヘッド12aをノズル軸回りに回転し、第2の回転角(例えば、90°)で再び電子部品3をCCDカメラ22により撮像する。このようにして、電子部品3を異なる2つの方向から撮像する。
【0085】
但しこの場合、図26に示すように、ヘッドの回転中心とヘッド先端の中心とが異なる場合、部品回転に伴うヘッドの偏芯量とその方向との違いによる誤差が発生する。つまり、図27(a)及び(b)に示す2枚のCCD取得画像に対して台形補正及び回転補正を施した後、CCD中心位置同士(ヘッド先端の中心同士)を重ね合わせたときに誤差が発生する。したがって、部品撮像時のヘッド先端の偏芯量とその方向とを前以てメモリ上に記憶しておき、2枚のCCD取得画像に対して台形補正及び回転補正を施した後、メモリに記憶したヘッド先端の偏芯量とその方向とを用いて、補正後の画像に対して平行移動を行ってから画像の重ね合わせを行うようにする。なお、ヘッド先端の偏芯量とその方向とは、予め図形の各寸法や角度が正確に把握できているキャリブレーション用図形を撮像することにより取得しておく。
【0086】
このように、1つのCCDカメラ22を用いて電子部品3を異なる方向から撮像することで、部品点数およびコストの削減と装置の小型化とを実現することができる。
さらに、上記実施形態においては、CCDカメラ22に代えて、図28に示す大きめの高精度カメラ25を使用することもできる。この場合、支柱21bに固定した反射板26を用いて電子部品3の撮像を行う。これにより、より高精度な部品認識を行うことができる。
【0087】
また、上記実施形態においては、幾何学計算をする上で、部品下面位置とCCDカメラ内のCCDとの位置関係を高精度に実測するのが難しい場合がある。そこで、図29(a)に示すような、形状、寸法、角度等が既知のパターンや形状の見本部品(キャリブレーション用部品)を用意し、前以てキャリブレーション用部品を撮像して、図29(b)に示すようなCCD取得画像や、写像変換後の画像をメモリに記憶しておき、部品認識処理時に、CCD取得画像や写像変換後の画像が正しくメモリに記憶した既知のパターンとなるように、移動、回転、拡大、縮小等の直線補間、比例補間するようにしてもよい。これにより、容易に精度を上げることができるため、安価で小型のカメラやレンズの使用も可能となる。
【0088】
また、上記実施形態においては、メモリに記憶した部品データに登録された部品高さと、実際に吸着した電子部品3の部品高さとが異なる場合を考慮して、取得画像を補正する処理を追加してもよい。
本方式では、部品認識位置に部品下面の中心位置がくるように吸着ノズル12bの高さを調整している。そのため、例えば、実際の吸着部品の高さが部品データに登録された部品高さよりも高い場合(部品が厚い場合)、図30(a)に示すように、部品下面位置が破線で示す本来の部品下面位置よりも下方に位置してしまう。すると、2つのCCDカメラ22の焦点位置(部品下面とCCDカメラ22の認識中心線とが交差する点)にズレが生じる。したがって、2つのCCDカメラ22で部品画像を取得し、部品認識時に2枚の画像の重ね合わせをした場合、図30(b)に示すように、すべての端子が一定方向に一定量だけ平行移動して見えてしまい、端子エラーであると誤判断してしまう。
【0089】
しかしながら、余程極端では無い限り、部品下面が平らであれば、部品高さが搭載品質に影響することは少ない。そこで、一方の部品画像が他方の部品画像に対して一定方向に許容範囲内となる一定量だけ平行移動していた場合には、2枚の画像で部品下面の同じ場所を示すそれぞれ1箇所の特徴点をもとに、上記一方の部品画像を上記一定方向とは逆方向に上記一定量だけ平行移動する補正を行ってから端子エラーを認識するようにする。このとき、平行移動による補正を行っても、端子のズレが生じている場合には端子エラーとして、この部品の搭載を中止する。また、平行移動量が許容範囲外である場合にも、部品高さが搭載品質に影響を及ぼすものとして部品高さエラーとし、この部品の搭載を中止する。
【0090】
(応用例)
なお、上記実施形態においては、電子部品3の撮像画像を2枚とする場合について説明したが、3枚以上とすることもできる。
また、上記実施形態においては、電子部品3を撮像する手段としてCCDカメラを適用する場合について説明したが、CMOSカメラを適用することもできる。
さらに、上記実施形態においては、1つのCCDカメラ22で1つの電子部品3を撮像する場合について説明したが、電子部品3の下面とCCDカメラ22との位置関係が既知で、カメラの解像度が足りていれば、1つのCCDカメラ22で複数の部品を一括で撮像してもよい。
また、上記実施形態においては、図6の部品認識処理において、台形補正後の画像を回転補正してから等比拡大する場合について説明したが、回転補正処理と等比拡大処理の順序を逆にしてもよい。
【0091】
さらにまた、上記実施形態においては、CCDカメラ22を、照明23から電子部品3に照射した照明光による反射光を受光して電子部品3の下面を撮像する構成とする場合について説明したが、照明23から電子部品3に照射した照明光の透過光を受光して電子部品3の下面を撮像する構成としてもよい。この場合、図31に示すように、電子部品3の下面が部品認識位置となっているときの吸着ノズル12bの先端位置を中心として、CCDカメラ22に対して点対称となる位置に照明23を配置すればよい。これにより、電子部品3の下面を影の像として撮像することができる。
また、上記実施形態においては、CCDカメラ22をヘッドユニット12に固定する場合について説明したが、電子部品実装装置1のベースに固定するようにしてもよい。これにより、ヘッドユニット12の重量の増加を抑制することができる。
【符号の説明】
【0092】
1…電子部品実装装置、3…電子部品、5…回路基板、11…搬送レール、12…ヘッドユニット、12a…吸着ヘッド、12b…吸着ノズル、13…X軸ガントリ、14…Y軸ガントリ、15…電子部品供給装置、16…ノズル交換機、20…部品認識機構、21a,21b…支柱、22…CCDカメラ、23…照明、50…主制御装置、51…画像演算装置、52…画像認識装置、53…コントローラ
【技術分野】
【0001】
本発明は、電子部品供給装置から供給された部品を、基板上に装着する電子部品実装装置に関する。
【背景技術】
【0002】
従来の電子部品実装装置としては、例えば特許文献1に記載の技術がある。この技術は、吸着部品の同一箇所を2台のカメラによって異なる角度から撮影し、これらの画像を合成した3次元画像の解析により、吸着部品のどのリードに浮きが発生しているかを判断するものである。
しかしながら、この装置では、2つのカメラを共通の一点に指向させる構成であるため、カメラ配置の自由度が制約される。例えば、3次元画像のうちでも特に部品下面の画像が重視されるような場合には、次のような問題がある。すなわち、部品下面の画像を精度良く得ようとすれば必然的に両カメラのなす角度を小さくする(つまり、両カメラの光軸のなす角度を小さくする)ことが要求されるが、このようにすると、カメラの構造によっては、カメラ同士の物理的な干渉により現実の配置が困難となる場合がある。また、これを回避すべく撮像位置と両カメラとの距離を広げると、装置が大型化するばかりでなく、画像の鮮明度が損なわれて部品認識精度が低下するという問題がある。
【0003】
つまり、肝心な部品下面の画像を精度良く取得するためには、どうしても部品の真下近辺にカメラが必要となるため、ヘッドユニット上にカメラを配置する場合、ヘッドの上下動を妨げないような高速回避動作する機構が必要となる。そのため、動作機構による精度の低下や制御の複雑化、動作機構分のヘッドユニットの重量増加などの問題が生じる。
また、吸着部品を撮像する手段としてラインセンサを用い、吸着部品の下方を走査させて部品下面の画像を取得するものもある(例えば、特許文献2〜4参照)。これにより部品の搬送を中断させる(一時的に停止させる)ことなく吸着部品を画像認識することができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平7−151522号公報
【特許文献2】特許第4213292号公報
【特許文献3】特許第4216114号公報
【特許文献4】特許第4361312号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記各特許文献に記載の従来装置にあっては、3次元画像を用いて吸着部品の認識処理を行っているため、処理の複雑化や使用メモリの増大と共に、処理時間もかかってしまい、性能劣化に繋がってしまう。
また、吸着部品を撮像する手段としてラインセンサを用いる場合、部品下方を高速に精度良く走査する必要があるため、1回の画像取得だけでも時間がかかる。特に複数ヘッドを有するヘッドユニット上では、個々に動作する各ヘッドとラインセンサとの干渉を防ぐことは極めて困難である。
そこで、本発明は、効率良く高精度な部品認識を行うことができる電子部品実装装置を提供することを課題としている。
【課題を解決するための手段】
【0006】
上記課題を解決するために、請求項1に係る電子部品実装装置は、ヘッドユニット内の吸着ノズルにより電子部品を吸着し、基板上の所定位置に当該電子部品を装着する電子部品実装装置であって、前記吸着ノズルにより吸着した前記電子部品に光を照射する照明手段と、前記照明手段に対応して設けられ、前記吸着ノズルにより前記電子部品を上方から吸着した状態で、前記照明手段から照射された光を受光することで、当該電子部品の前記吸着ノズルによる吸着面とは反対側の撮像面を、斜め下方から撮像する撮像手段と、前記撮像手段により前記吸着ノズルの軸回りにおける角度が異なる複数の方向から前記撮像面を撮像した複数の2次元画像を、それぞれ幾何学変換により前記撮像面を真下から見た2次元画像に変換し、幾何学変換後の複数の2次元画像を比較して前記電子部品を認識する認識手段と、を備えることを特徴としている。
【0007】
このように、電子部品の撮像面を斜め下方から撮像した2次元画像を、幾何学変換により撮像面を真下から見た2次元画像に変換して部品認識を行う。そのため、撮像手段(カメラ)を電子部品の真下又は真下付近に配置する必要がなく、複数のカメラを配置する場合であっても、カメラ同士の物理的な干渉を防止することができる。また、カメラをヘッドユニットに固定する場合であっても、吸着ヘッドの上下動の妨げとならないようなカメラ配置を実現できる。さらに、2次元画像を用いて部品認識を行うので、従来の3次元画像を用いる場合と比較して処理の簡略化および処理時間の短縮化を実現できる。
【0008】
また、請求項2に係る電子部品実装装置は、請求項1に係る発明において、前記撮像手段は、複数のカメラにより構成され、前記電子部品の撮像面を前記複数の方向から同時に撮像することを特徴としている。
このように、複数の画像を同時に取得するので、複数の画像がまったく同じ状況下での吸着部品を撮像したものとなる。したがって、ヘッドユニットの移動に伴う吸着部品の吸着位置ズレや吸着角度ズレの影響を無くすことができ、部品認識誤差を抑制することができる。
【0009】
さらに、請求項3に係る電子部品実装装置は、請求項1に係る発明において、前記撮像手段は、1つのカメラにより構成され、前記吸着ノズルを当該吸着ノズルの軸回りに回転させて、前記電子部品の撮像面を複数回撮像することを特徴としている。
このように、1つのカメラで複数の画像を取得するので、カメラを複数台配置する場合と比較して、部品点数を削減することができる。そのため、その分のコスト削減と省スペース化とを実現することができる。
【0010】
また、請求項4に係る電子部品実装装置は、請求項1〜3の何れか1に係る発明において、前記撮像手段は、前記照明手段から前記電子部品に照射された光による反射光を受光することで、前記撮像面を撮像することを特徴としている。
このように、撮像手段として反射画像を撮像するカメラを適用して、適切に電子部品の撮像面を撮像することができる。
【0011】
さらにまた、請求項5に係る電子部品実装装置は、請求項4に係る発明において、前記照明手段と前記撮像手段とは、前記撮像手段による前記電子部品の撮像時における前記吸着ノズルの軸に対して線対称となる位置に配置されていることを特徴としている。
これにより、撮像手段で撮像可能な電子部品の面(下面と撮像手段側側面)のうち撮像面のみに光が照射されるように、照明手段と撮像手段とを配置することができ、撮像面を正しく撮像することができる。
【0012】
さらに、請求項6に係る電子部品実装装置は、請求項1〜3の何れか1に係る発明において、前記撮像手段は、前記照明手段から前記電子部品に照射された光の透過光を受光することで、前記撮像面を撮像することを特徴としている。
このように、撮像手段として透過画像を撮像するカメラを適用して、適切に電子部品の撮像面を撮像することができる。
【0013】
また、請求項7に係る電子部品実装装置は、請求項6に係る発明において、前記照明手段と前記撮像手段とは、前記撮像手段による前記電子部品の撮像時における前記吸着ノズルの先端位置に対して点対称となる位置に配置されていることを特徴としている。
これにより、撮像手段に対して電子部品の裏側から光が照射されるように、照明手段と撮像手段とを配置することができ、電子部品の撮像面を影の像として撮像することができる。
【0014】
また、請求項8に係る電子部品実装装置は、請求項1〜7の何れか1項に係る発明において、前記撮像手段及び前記照明手段は、前記ヘッドユニットに固定されていることを特徴としている。
これにより、電子部品を吸着してから搭載するまでのXY動作中にもカメラ認識ができるため、ヘッドユニットの搭載軌跡の制約が無く、部品搭載効率を向上することができる。また、カメラの焦点位置と吸着ヘッドにより吸着した電子部品との位置ズレを抑制することができ、精度の良く吸着部品を撮像することができる。
【0015】
さらにまた、請求項9に係る電子部品実装装置は、請求項1〜7の何れか1項に係る発明において、前記撮像手段及び前記照明手段は、電子部品実装装置のベースに固定されていることを特徴としている。
これにより、ヘッドユニットに撮像手段を固定する場合と比較して、ヘッドユニットの重量の増加を抑制することができ、部品搭載の操作性を向上させることができる。
【0016】
また、請求項10に係る電子部品実装装置は、請求項1〜9の何れかに係る発明において、前記撮像手段はCCDカメラにより構成され、前記CCDカメラが有するCCDが前記電子部品の撮像面に対して傾斜して配置されており、前記認識手段は、前記幾何学変換として、前記CCDの傾斜によって発生する実際の電子部品の形状に対する撮像画像の歪みを補正する仰角補正と、前記吸着ノズルの軸回りにおける所定の特定基準角度からの、前記吸着ノズルの軸回りにおける前記撮像手段の撮像角度の差分だけ、前記仰角補正した画像を当該画像の中心位置を中心に逆方向に回転する回転補正とを行うことを特徴としている。
【0017】
これにより、例えば直方体の電子部品を撮像したときに、CCD取得画像が台形状に歪んだ場合であっても、この歪みを補正して電子部品を真下から撮像したときに得られる長方形の画像に変換することができる。また、異なる方向から撮像した画像を特定基準角度から撮像した画像に統一することができるので、複数の画像間の比較を容易に行うことができる。
【0018】
さらにまた、請求項11に係る電子部品実装装置は、請求項1〜9の何れかに係る発明において、前記撮像手段はCCDカメラにより構成され、前記CCDカメラが有するCCDが前記電子部品の撮像面に対して平行に配置されており、前記認識手段は、前記幾何学変換として、前記吸着ノズルの軸回りにおける所定の特定基準角度から、前記吸着ノズルの軸回りにおける前記撮像手段の撮像角度の差分だけ、前記撮像手段により撮像した画像を当該画像の中心位置を中心に逆方向に回転する回転補正を行うことを特徴としている。
【0019】
このように、CCDを撮像面(水平面)に対して平行に配置するので、CCDを撮像面に対して傾斜させた配置させた場合のようにCCD取得画像に歪みが発生することがない。そのため、当該歪みを補正するための処理が不要となる。また、異なる方向から撮像した画像を特定基準角度から撮像した画像に統一することができるので、複数の画像間の比較を容易に行うことができる。
また、請求項12に係る電子部品実装装置は、請求項1〜11の何れかに係る発明において、前記認識手段は、幾何学変換後の複数の2次元画像を重ね合わせたときの前記電子部品の特徴点間の距離が許容範囲外であるとき、前記電子部品に異常が発生していることを認識することを特徴としている。
【0020】
このように、異なる方向から電子部品を撮像した画像を重ね合わせた場合、所定高さの平面上にあるものの像だけが一致することを利用し、特徴点間の距離が許容範囲外であるときには、その部分で高さ方向のずれが発生していると判断する。
このとき、特徴点として電子部品の外形上の点(例えば、部品の四隅の点)を指定すれば、この特徴点間の距離が許容範囲外であるとき、電子部品が水平面に対して傾斜して吸着されていると判断することができる。このように、電子部品の吸着角度ズレを認識することができる。
【0021】
また、吸着部品がリード端子部品であるときには、特徴点としてリード端子の外縁部の点(例えば、先端部の中心)を指定すれば、この特徴点間の距離が許容範囲外であるとき、リード端子が変形していると判断することができる。さらにこのとき、特徴点同士のずれが一部の特徴点のみに発生している場合には、その特徴点に対応するリード端子に浮き等が生じているコプラナリティエラーであると判断することができる。一方、特徴点同士のずれ量が所定の辺において徐々に増減していく場合には、その辺に位置するリード端子の先端面が他の辺のリード端子の先端面に対して傾斜しているコリニアリティエラーであると判断することができる。
【0022】
同様に、吸着部品がボール端子部品であるときには、特徴点としてボール端子の中心点を指定し、吸着部品がランド端子部品であるときには、特徴点としてランド端子の中心点や角を指定すれば、ボール端子エラーやランド端子エラーを認識することができる。
さらに、請求項13に係る電子部品実装装置は、請求項1〜11の何れかに係る発明において、前記認識手段は、幾何学変換後の複数の2次元画像を重ね合わせたときの前記電子部品の画像を形成する画素エリアのうち重ならない画素エリアが許容範囲外であるとき、前記電子部品に異常が発生していることを認識することを特徴としている。
【0023】
このように、異なる方向から電子部品を撮像した画像を重ね合わせた場合、所定高さの平面状にあるものの像だけが一致することを利用し、重ならない部品画像の画素エリアが許容範囲外であるときには、その部分で高さ方向のずれが発生していると判断する。これにより、上記特徴点同士の比較と同様に、電子部品の吸着角度ズレや端子エラーを認識することができる。
【0024】
また、請求項14に係る電子部品実装装置は、請求項12又は13に係る発明において、前記認識手段は、前記電子部品の異常として、前記電子部品の水平面からの吸着角度のずれ及び前記電子部品の端子の変形の少なくとも一方を認識することを特徴としている。
このように、電子部品吸着角度のずれや電子部品の端子の変形を認識することで、回路基板へ正常に搭載できない電子部品を適正に判断することができる。したがって、この部品認識結果に応じて、部品を搭載するか否かを選択することができる。
【発明の効果】
【0025】
本発明によれば、電子部品を斜め下から撮像した2次元画像を真下から撮像した2次元画像に補正して部品認識を行うため、電子部品を撮像するカメラ同士の物理的な干渉や、カメラと吸着ヘッドとの物理的な干渉を防止した位置にカメラを配置することができ、安全性と部品搭載の作業効率とを向上させることができる。また、2次元画像を用いて部品認識を行うので、処理の簡略化と処理時間の短縮化とを実現することができる。
【図面の簡単な説明】
【0026】
【図1】本発明における電子部品実装装置を示す平面図である。
【図2】ヘッドユニットの主要部の構成を示す図である。
【図3】CCDカメラ及び照明の配置を示す平面図である。
【図4】電子部品実装装置の制御系の構成を示すブロック図である。
【図5】電子部品の端子エラーの説明図である。
【図6】主制御装置で実行する部品認識処理手順を示すフローチャートである。
【図7】撮像時の照明、電子部品、CCDカメラの配置を示す図である。
【図8】CCDの配置の違いによる影響を説明する図である。
【図9】CCDの配置の違いによるCCD取得画像の違いを示す図である。
【図10】CCDの水平方向成分について説明するための図である。
【図11】CCD上の像を示す図である。
【図12】CCDの垂直方向成分について説明するための図である。
【図13】CCD取得画像の台形補正を示す図である。
【図14】リード端子比較について説明する図である。
【図15】リード端子の比較結果の一例を示す図である。
【図16】リード端子比較における許容距離範囲を示す図である。
【図17】ボール端子比較について説明する図である。
【図18】ボール端子比較における許容距離範囲を示す図である。
【図19】ランド端子比較について説明する図である。
【図20】部品の外形比較について説明する図である。
【図21】部品の外形比較結果の一例を示す図である。
【図22】本実施形態の動作を説明するための図である。
【図23】本実施形態の動作(回転補正)を説明するための図である。
【図24】CCDカメラの変形例を示す図である。
【図25】電子部品の撮像方法の変形例を示す図である。
【図26】ヘッドの偏芯量を説明するための図である。
【図27】ヘッドの偏芯量によるCCD取得画像の誤差を示す図である。
【図28】撮像手段の変形例を示す図である。
【図29】キャリブレーション用部品を用いた画像補正について説明するための図である。
【図30】部品高さ違いによる影響を説明するための図である。
【図31】CCDカメラと照明との配置の変形例を示す図である。
【発明を実施するための形態】
【0027】
以下、本発明の実施の形態を図面に基づいて説明する。
(第1の実施形態)
(構成)
図1は、本発明における電子部品実装装置を示す平面図である。
図中、符号1は電子部品実装装置である。この電子部品実装装置1は、基台10の上面にX方向に延在する一対の搬送レール11を備える。この搬送レール11は、回路基板5の両側辺部を支持し、搬送用モータ(図示せず)により駆動されることで回路基板5をX方向に搬送する。
【0028】
また、電子部品実装装置1はヘッドユニット12を備える。このヘッドユニット12は、下部に電子部品を吸着する複数の吸着ノズルを備え、X軸ガントリ13及びY軸ガントリ14により、基台10上をXY方向に水平移動可能に構成されている。
この電子部品実装装置1には、搬送レール11のY方向両側に、テープフィーダ等により電子部品を供給する電子部品供給装置15が装着される。そして、電子部品供給装置15から供給された電子部品は、ヘッドユニット12の吸着ノズルによって真空吸着され、回路基板5上に実装搭載される。
【0029】
また、ヘッドユニット12には、吸着ノズルによって吸着した電子部品を認識するための部品認識機構20が設けられている。
さらに、電子部品実装装置1には、吸着する部品のサイズや形状に応じて、吸着ノズルを交換するためのノズル交換機16が設けられている。このノズル交換機16内には複数種のノズルが保管、管理されている。
【0030】
次に、ヘッドユニット12の主要部の構成について、図2をもとに説明する。
ヘッドユニット12は、その基台が図1に示すX軸ガントリ13に取り付けられることで、X方向に移動可能となっている。
また、ヘッドユニット12は、吸着ヘッド12aを複数備えており(図2では1つのみを図示)、これら吸着ヘッド12aの先端(下端)にはそれぞれ電子部品3を吸着保持する吸着ノズル12bを備える。各吸着ノズル12bは、ノズル軸を中心に回転可能であると共に、Z方向(高さ方向)に昇降可能に構成されている。
【0031】
部品認識機構20は、ヘッドユニット12と一体形成された一対の支柱21a及び21bと、支柱21aの先端部(下端部)に取り付けられ、吸着ノズル12bによって吸着された電子部品3の吸着面とは反対側の撮像面を、斜め下方から撮像するCCDカメラ22と、支柱21bの先端部(下端部)に取り付けられ、吸着ノズル12bによって吸着された電子部品3の下面に照明光を照射する照明23と、を備える。
【0032】
支柱21a及び21bは、吸着ヘッド12aの上下動の妨げにならない形状となっている。また、CCDカメラ22は、その焦点位置が、吸着ノズル12bの先端穴中央から下に伸びる鉛直線上で、且つ支柱21a及び21bの下端部よりも上方に位置する予め決められた位置(部品認識位置)に一致するように、所定の仰角で配置されている。そして、部品吸着後、電子部品3の下面が部品認識位置となるまで吸着ヘッド12aを上昇させた状態で、CCDカメラ22によって電子部品3の下面を斜め下から仰ぎ見る形で撮像する。
【0033】
このとき、照明23は、CCDカメラ22に対して吸着ヘッド12aの軸を中心とした線対称の位置から、電子部品3を斜め下方から照射する。符号24は、照明23から照射される光の経路である。CCDカメラ22は、電子部品3の下面とCCDカメラ22側側面とを撮像可能な配置となっているが、照明23から照射された光は、電子部品3の下面と照明23側側面のみに当たる。つまり、照明23は、CCDカメラ22が撮像可能な電子部品3の面のうち、電子部品3の下面のみに光を照射するようになっており、CCDカメラ22は、電子部品3の下面で反射された反射光を受光することで、電子部品3の下面を撮像する。
【0034】
そして、部品搭載時には、吸着ヘッド12aを支柱21a及び21bの下端部よりも下方まで下降させて、回路基板5上へ電子部品3を搭載する。
図3は、CCDカメラ22及び照明23の配置を示す平面図である。
この図3に示すように、1つの吸着ノズル12bによって吸着された電子部品3を、2つの照明23で照射しつつ2つのCCDカメラ22で撮像するようになっている。すなわち、電子部品3は、2つのCCDカメラ22によってノズル軸回りおける角度が異なる2つの方向から同時に撮像される。ここでは、2つのCCDカメラ22のノズル軸回りおける角度が、例えば90°異なるものとする。
【0035】
図4は、電子部品実装装置1の制御系の構成を示すブロック図である。
CCDカメラ22で撮像した画像データは、電子部品実装装置1全体を制御する主制御装置50に入力される。
主制御装置50は、画像演算装置51と、画像認識装置52と、CPU、RAM及びROMなどを備えるマイクロコンピュータからなるコントローラ53とを備える。コントローラ53には、ヘッドユニット12を移動させるための各駆動源が接続され、コントローラ53によってこれらヘッドユニット12の各駆動源が制御される。
【0036】
画像演算装置51は、CCDカメラ22で撮像した画像データを入力し、後述する画像処理を行って、電子部品3を斜め下方から撮像した2次元画像を、特定基準角度(予め設定したノズル軸回りにおける任意の角度)で電子部品3を真下から見た2次元画像へ変換(仰角補正、回転補正)する。上記画像変換については後で詳述する。
画像認識装置52は、画像演算装置51で変換した画像データを用いて、吸着ノズル12bによって吸着した電子部品3の認識を行う。ここでは、吸着ノズル12bによる電子部品3の寸法や吸着位置ズレ、吸着角度ズレ、電子部品3の端子エラー等を認識する。ここで、吸着位置ズレとは、電子部品3の中心位置と吸着ノズル12bによる吸着位置との誤差であり、吸着角度ズレとは、水平面に対する電子部品3の下面の傾きである。
【0037】
図5は、電子部品の端子エラーの説明図である。この図5では、電子部品3がリード端子部品(QFP等)である場合について示している。
リード端子3aにエラーが発生していない正常状態では、図5(a)に示すように、4辺から突き出したすべてのリード端子3aの先端は、同一平面(リード先端平面)上に位置する。ところが、図5(b)に示すように、特定のリード端子3aに上方または下方への変形が生じている場合(以下、コプラナリティエラーという。)や、図5(c)に示すように、特定の列のリード端子3aの先端面が他の列に対して傾斜している場合(以下、コリニアリティエラーという。)がある。図5(b)及び(c)に示す端子エラーが生じると、電子部品3を基板に搭載したときに基板面に接触できない端子が存在してしまう。そこで、本実施形態では、部品認識により、上記端子エラーとしてコプラナリティエラー及びコリニアリティエラーを検知する。
【0038】
コントローラ53は、画像認識装置52による電子部品3の認識結果に基づいて、部品搭載処理を行う。なお、このコントローラ53には、電子部品3の種類、外形寸法、端子数、リード長さ(リード端子の場合)、端子間ピッチ等が記憶されている。
図6は、主制御装置50で実行する部品認識処理手順を示すフローチャートである。この部品認識処理は、吸着ノズル12bで電子部品3を吸着する度に実行開始され、電子部品3を吸着してから回路基板5上に搭載するまでの間に行われる。
【0039】
先ずステップS1で、主制御装置50は、メモリに記憶された部品データから、現在吸着している電子部品3の高さを読み込む。そして、図7に示すように、吸着部品の下面がCDカメラ22の焦点位置である部品認識位置と一致するように、吸着ノズル12bを上下動する。
なお、本明細書実施例中では、CCDカメラ22の焦点位置がCCD上に写る位置をCCD中心位置と呼ぶ。また、CCDカメラ22の焦点位置とCCD中心位置とを結ぶ直線を、認識中心線と呼ぶ。
ステップS2では、主制御装置50は、CCDカメラ22で撮像した画像データを取得する。ここでは、上述したように、ノズル軸回りに90°異なる角度から撮像した2つの画像データを取得する。
【0040】
次にステップS3では、主制御装置50は、前記ステップS2で取得した2つの画像データについて仰角補正を行う。ここで、仰角補正とは、CCDの仰角(水平面に対する傾斜)によって発生する実際の電子部品3の形状に対するCCD取得画像の歪みを補正する処理である。先ず、部品の真下に配置したCCDカメラで撮像した部品画像と、斜め下方に配置したCCDカメラで撮像した部品画像との違いについて説明する。
【0041】
図8(a)に示すように、CCDが部品の真下に部品の下面と平行に配置されている場合、当該部品が直方体である場合には、図9(a)に示すように部品画像は水平方向(図9の左右方向)及び垂直方向(図9の上下方向)が等比縮小された長方形となる。一方、図8(b)に示すように、CCDが部品の斜め下に部品の下面に対して傾斜した状態で配置されている場合、図9(b)に示すように、水平方向が等比縮小され、垂直方向が変形縮小されることで、部品画像は台形状に縮小される。これは、図8に示すように、部品下面を三等分にした線分を真下のCCDで取得すると等間隔に並ぶのに対し、傾斜したCCD上では等間隔ではなくなることに起因する。仰角補正では、図9(b)に示す台形状の画像を、図9(a)に示す長方形の画像に変換する処理を行い、以下の説明ではこれを台形補正とも呼ぶ。
【0042】
図10は、CCDの水平方向成分について説明するための図であり、電子部品3とCCDとを上方から見たときの図である。図10において、上下方向がCCDの水平方向に対応している。
傾斜したCCDに写る画像のうち水平方向の1列に着目すると、そこに写る画像(線)上の2点とレンズ中心点とを結んで形成される三角形と、被写体となる電子部品3の対応する線上の2点とレンズ中心点とを結んで形成される三角形とは、相似形となる。
【0043】
そして、上記三角形の各辺の長さの比は、部品下面とレンズとの距離と、レンズとCCDとの距離との比である。つまり、水平方向に関してだけ見るとCCD上では等比縮小された像を描くことになり、そのサイズは、部品下面のある線上の断面画像とカメラとの位置関係で決まる。
ところで、図8において、部品の下面を左方向に無限に伸ばして行くと、その像はαに達することになり、このαの位置が無限遠を示す位置となる。横方向に無限に長い部品があったと仮定すると、CCD上の像は図11に示すようになる。このように、CCDの垂直方向(図11の左右方向)については、CCD上の像が変形縮小される。図6のステップS3では、CCD取得画像の水平方向成分の歪と垂直方向成分の歪とを補正することで台形補正を行う。
【0044】
図12は、CCDの垂直方向成分を説明するための図であり、電子部品3とCCDとを側方から見たときの図である。
図12において、CCDの下端中央の点をPccd1、CCDの傾き方向の任意の点をPccd2とする。また、点Pccd1とレンズ中心点とのY方向の距離をLy、X方向の距離をLxとする。さらに、部品下面と平行な線(通常は部品下面が水平なので、水平線)に対する実際のCCDの傾きをθccdとする。
【0045】
上述したように、部品下面と平行にCCDを配置した場合、CCD上の像は部品下面の等比縮小像となる。そこで、この部品下面と平行に配置されたCCDが点Pccd1を通る平面上にあったと仮定し、これを仮想CCDと呼ぶ。仮想CCD上において、点Pccd1と点Pccd2に対応する各点は、それぞれP1,P2となる。なお、点Pccd1と点P1とは同じ点となる。そして、点Pccd1と点Pccd2との間の距離と、点P1と点P2との間の距離との比を計算し、求めた比を用いて上記台形補正を行う。
【0046】
なお、以下の説明においては、ある点Aとある点Bとの間の距離を、L{A−B}と記す。
距離L{P2−P1}の算出に際し、点P2、点Pccd2及び点Pccd2から仮想CCDへ下ろした垂線と当該仮想CCDとが交わる点Pccd2´を結んだ三角形と、点P2、レンズ中心点及びレンズ中心点から仮想CCDへ下ろした垂線と当該仮想CCDとが交わる点を結んだ三角形とが相似形であることを利用する。これら三角形の各辺の比率は、距離Lyに対する距離L{Pccd2−Pccd2´}の比と同じになる。
また、距離L{P2−Pccd2´}とL{Pccd2´−P1}と距離Lxとを足したものと、距離Lyとの比は、距離L{P2−Pccd2´}と距離{Pccd2´−Pccd2}との比と同じである。
【0047】
したがって、距離L{P2−Pccd2´}は次式で表される。
L{P2−Pccd2´}=L{Pccd2´−Pccd2}・(L{Pccd2´−P1}+Lx)/(Ly−L{Pccd2´−Pccd2})
=(L{Pccd2−Pccd1}・Sin(θccd)・(L{Pccd2−Pccd1}・Cos(θccd)+Lx))/(Ly−L{Pccd2−Pccd1}・Sin(θccd)) ………(1)
【0048】
したがって、L{P2−P1}は次式で表される。
L{P2−P1}=L{P2−Pccd2´}+L{Pccd2´−P1}
=L{Pccd2−Pccd1}・Sin(θccd)・(L{Pccd2−Pccd1}・Cos(θccd)+Lx))/(Ly−L{Pccd2−Pccd1}・Sin(θccd))+L{Pccd2−Pccd1}・Cos(θccd) ………(2)
【0049】
上述したように、CCD取得画像の水平方向成分は等比で縮小されるが、CCDの垂直方向の位置によってその縮小率は変わる。仮想CCD上での像に対する実際のCCD上での像の大きさの比は、図12のレンズ中心点と点P2との距離に対するレンズ中心点と点Pccd2との距離との比に等しい。また、これは、前述の2つの相似三角形から、距離Lyに対する距離L{Pccd2,Pccd2´}の比と等しい。
【0050】
したがって、CCD取得画像の水平方向成分の比rxは、次式で表される。
rx=L{Pccd2´−Pccd2}/Ly
=L{Pccd2−Pccd1}・Sin(θccd)/Ly ………(3)
一方、CCD取得画像の垂直方向成分の比ryは、距離L{P2−P1}に対する距離L{Pccd2−Pccd1}の比と等しい。したがって、CCD取得画像の垂直方向成分の比ryは次式で表される。
ry=L{P2−P1}/L{Pccd2−Pccd1} ………(4)
【0051】
ここで、LxをLx0、LyをLy0、Sin(θccd)をS0、Cos(θccd)をC0とし、さらにL{Pccd2−Pccd1}をΔYとすると、rx,ryはそれぞれ上記(2)及び(3)式をもとに以下のように表される。
rx=ΔY・S0/Ly0 ………(5)
ry=(ΔY・S0・(ΔY・C0+Lx0)/(Ly0−ΔY・S0)+ΔY・C0)/ΔY ………(6)
ここで、距離Lx,Ly及び角度θccdは、計算あるいは測定により予め取得しておく。これにより、比rx及びryを計算により求めることができる。
【0052】
次に、仮想CCD画像の格納エリアと見立てたRAMエリア上に、各画素データを配置し、そのエリアの各座標に対し、rx,ryで割った値の実CCD座標上にある画素データを、このRAMエリアの各画素として順次取り込む。
仮想CCD画素データ(x,y)=実CCD画素データ(x/rx,y/ry) ………(7)
【0053】
これにより、図13(a)に示す実CCD上の取得画像は、図13(b)に示すようにRAM上に展開され、台形補正が施された状態となる。本実施形態では、この台形補正を施した画像を、部品下面を真下から撮像した画像として扱う。なお、このRAMエリアのフォーマットは、実CCDの取得画像をRAM上に展開するときと同じフォーマットとし、既存の画像処理を行うことを可能にしておく。
【0054】
次に、図6のステップS4では、主制御装置50は、前記ステップS3で補正した撮像角度の異なる2枚の画像を、それぞれ特定基準角度に回転する回転補正を行い、ステップS5に移行する。ここでは、特定基準角度からの撮像角度の差分だけ、上記補正後の画像を当該画像の中心位置(CCD中心位置)を中心に逆方向に回転させる。すなわち、例えば、撮像角度が特定基準角度に対して左回りに45°ずれている場合には、上記補正後の画像を、CCD中心位置を中心に右回りに回転させる。
ステップS5では、主制御装置50は、最終的な部品下面内の各部の実際の寸法を算出する(等比拡大する)。ここでは、仮想画像の寸法に図8のLLyとLyとの比、つまり(LLy/Ly)を掛けることで実際の寸法を算出する。
【0055】
次に、ステップS6では、主制御装置50は、前記ステップS5で取得した画像を用いて、画像認識処理を行う。ここでは、2つのカメラで電子部品3を同時撮影しているため、2枚の画像のうち一方の画像を用いて画像認識処理を行う。画像認識処理としては、部品の吸着位置ズレや部品サイズ等を認識する処理を行う。ここで、吸着位置ズレは、前記ステップS5で取得した画像内の部品の画像中心位置とCCD中心位置とを比較することで検知する。
ステップS7では、主制御装置50は、前記ステップS5で取得した2枚の画像を重ね合わせる。このとき、各画像においてCCD中心位置同士を重ね合わせるものとする。
【0056】
次に、ステップS8では、主制御装置50は、メモリに記憶された部品データを読み込み、撮像した吸着部品の種類(チップ部品、リード端子部品、ボール端子部品、ランド端子部品等)を取得してステップS9に移行する。
ステップS9では、主制御装置50は、撮像した吸着部品がリード端子部品であるか否かを判定し、リード端子部品である場合にはステップS10に移行し、リード端子部品でない場合には後述するステップS11に移行する。
【0057】
ステップS10では、主制御装置50は、前記ステップS8で重ね合わせた2枚の画像から、リード端子の変形およびその変形量を検知し、後述するステップS15に移行する。ここでは、例えば、2枚の画像について、一般的に知られている画像処理を用いて画像内のエッジ点を抽出することでエッジ画像をそれぞれ生成し、生成したエッジ画像からリード端子の外縁部を把握する。次に、図14に示すように、2枚の画像における同じリード端子の外縁部同士の位置を比較する。そして、その比較結果に基づいて、リード端子エラーを検出する。
【0058】
図15は、リード端子の比較結果の一例を示す図である。
リード端子に端子エラーが発生していない正常状態では、図15(a)に示すように両画像の全端子位置は同じ座標となり、2枚の画像を重ね合わせても外縁部のズレは発生しない。一方、コプラナリティエラーが発生している場合には、図15(b)に示すように、両画像で一致しない端子が存在する。また、コリニアリティエラーが発生している場合には、図15(c)に示すように、両画像で一致しない端子の列が存在し、画像間における端子の外縁部のズレ量が位置の変化に伴って徐々に増減する。
【0059】
本実施形態では、リード端子の特徴点として、例えばリードの先端部の中心点同士の位置を比較する。このとき、上記特徴点間の距離が予め設定した許容距離範囲内であるか否かを判定する。ここでは、図16に示すように、一方の画像(実線)においてリードの先端部の中心点を中心とした楕円を設定し、これを許容距離範囲とする。そして、他方の画像(破線)におけるリードの先端部の中心点がこの許容距離範囲内に存在するか否かを判定し、図16(a)に示すように許容距離範囲内に存在する場合には端子エラーではないと判断し、図16(b)に示すように許容距離範囲外に存在する場合には端子エラーであると判断する。
【0060】
なお、リード端子比較として、2枚の画像を重ね合わせたときにリード端子画像が重ならない画素エリアが存在するか否かを判定する方法を用いることもできる。この場合、重ならない画素エリアが許容範囲外であるとき、端子エラーであると判断する。
ステップS11では、主制御装置50は、撮像した吸着部品がボール端子部品であるか否かを判定し、ボール端子部品である場合にはステップS12に移行し、ボール端子部品でない場合には後述するステップS13に移行する。
【0061】
ステップS12では、主制御装置50は、前記ステップS8で重ね合わせた2枚の画像から、ボール端子のズレの有無およびそのズレ量を判定し、後述するステップS15に移行する。ここでも、上述したリード端子比較と同様に2枚のエッジ画像を比較する。例えば、図17に示すように特徴点としてボール端子の中心点を指定し、2枚の画像における同じボール端子の中心同士の位置を比較する。そして、その比較結果に基づいて、ボール端子エラーを検出する。
【0062】
この場合にも、図18に示すように、一方の画像(実線)においてボール端子の中心点を中心とした楕円を設定し、これを許容距離範囲とする。そして、他方の画像(破線)におけるボール端子の中心点がこの許容距離範囲内に存在するか否かを判定し、図18(a)に示すように許容距離範囲内に存在する場合には端子エラーではないと判断し、図18(b)に示すように許容距離範囲外に存在する場合には端子エラーであると判断する。
なお、ここでも、ボール端子画像の重ならない画素エリアを検知することで、ボール端子エラーを検知することができる。
【0063】
ステップS13では、主制御装置50は、撮像した吸着部品がランド端子部品であるか否かを判定し、ランド端子部品である場合にはステップS14に移行し、ランド端子部品でない場合には後述するステップS15に移行する。
ステップS14では、主制御装置50は、前記ステップS8で重ね合わせた2枚の画像から、ランド端子のズレの有無およびそのズレ量を判定し、後述するステップS15に移行する。ここでも、上述した各端子比較と同様に2枚のエッジ画像を比較する。例えば、図19に示すように特徴点としてランド端子の中心点(或いは角)を指定し、同じランド端子の中心同士(或いは角同士)の位置を比較する。そして、その比較結果に基づいて、ランド端子エラーを検出する。なお、ランド端子画像の重ならない画素エリアを検知することで、ランド端子エラーを検知するようにしてもよい。
【0064】
ステップS15では、主制御装置50は、前記ステップS8で重ね合わせた2枚の画像から、部品の外形比較を行い、ステップS16に移行する。ここでは、図20に示すように、2枚の画像における同じ座標の画素同士を比較する。そして、その比較結果に基づいて、外形のズレを検出する。例えば、一方の部品画像の四隅に対応する画素の座標を求め、その座標の画素同士を両画像で比較する。その結果、画素データが一致しない場合には部品外形が一致していないと判断する。
【0065】
図21は、部品の外形比較結果の一例を示す図である。
電子部品3が吸着ノズルによって正しく吸着されており、部品下面が水平である正常状態であるとき、異なる方向から撮像した2つのCCD取得画像が図21(a)に示す形状であるものとする。一方、電子部品3が高さ方向に傾いていると、例えば図21(b)の実線に示すように、2つのCCD取得画像はそれぞれ破線で示す正常時と比較して異なる形状となる。そして、このときの両者の台形補正後の画像も、図21(c)の実線で示すように、それぞれ破線で示す正常時と比較して異なる形状となる。
【0066】
したがって、電子部品3が高さ方向に傾いている場合には、2枚の補正画像を重ね合わせても、その形状は一致しない。そのため、部品外形のズレを検知することで、電子部品3の高さ方向の傾き(部品の吸着角度ズレ)を検知することができる。なお、本実施形態では、部品外形のズレ量が許容範囲外である場合に、部品の吸着角度ズレが発生していると判断する。
【0067】
ステップS16では、主制御装置50は、2枚の補正画像の比較結果に応じて部品の搭載を決定し、部品認識処理を終了する。具体的には、上述した各処理において、電子部品3の吸着位置ズレや吸着角度ズレ、電子部品3の端子エラーの発生を認識している場合には、その部品の基板への搭載を中止する。
なお、CCDカメラ22が撮像手段に対応し、照明23が照明手段に対応し、図6の処理が認識手段に対応している。
【0068】
(動作)
次に、本実施形態の動作について説明する。
電子部品の搭載処理が開始されると、主制御装置50のコントローラ53は、メモリに記憶した部品データを読み込み、ヘッドユニット駆動源を駆動制御してヘッドユニット12をノズル交換機16上に移動する。そして、ヘッドユニット12の各ヘッド12aに、ノズル交換機16から指定ノズルを装着する。次に、コントローラ53は、ヘッドユニット駆動源を駆動制御して、ヘッドユニット12を電子部品供給装置15の部品供給位置へ移動し、電子部品3の吸着を行う。
【0069】
電子部品3を吸着すると、主制御装置50は、メモリに記憶した部品データから現在吸着している電子部品3の高さを読み込む。そして、吸着している電子部品3の下面が前以て決められた部品認識位置の高さとなるまで吸着ヘッド12aを上昇させる(図6のステップS1)。そして、この状態で、電子部品3の下面に対して2つの照明23から光を照射し、2つのCCDカメラ22で電子部品3の下面を斜め下から同時に撮像する。
【0070】
CCDカメラ22によって撮像された2つのCCD取得画像は、画像演算装置51に入力され(ステップS2)、この画像演算装置51で、斜め下から撮像した部品下面の画像が、真下から撮像したときと同じ形状となるように台形補正演算される(ステップS3)。すなわち、斜め下から撮像した2つのCCD取得画像が図22(a)であるとすると、これを台形補正することで図22(b)に示す画像が得られる。
【0071】
次に、台形補正画像を特定基準角度へ回転補正する(ステップS4)。図23に示すように、2つのCCDカメラ22a及び22bによる電子部品3の撮像角度が、特定基準角度に対してそれぞれ左右に45°ずれているものとする。この場合、CCDカメラ22aで撮像した1枚目のCCD取得画像の台形補正後の画像については、CCD中心位置を中心に左回りに45°回転させることで、特定基準角度での取得姿勢となるように回転補正を行う。一方、CCDカメラ22bで撮像した2枚目のCCD取得画像の台形補正後の画像については、CCD中心位置を中心に右回りに45°回転させることで、特定基準角度での取得姿勢となるように回転補正を行う。回転補正後の2つ画像は、それぞれ図22(c)に示すようになる。
【0072】
なお、特定基準角度は、図23に示す角度に限定されない。例えば、一方のCCDカメラ22aによる電子部品3の撮像角度を特定基準角度として設定することもできる。この場合、CCDカメラ22aで撮像した1枚目のCCD取得画像の台形補正後の画像については回転補正を行う必要はなく、CCDカメラ22bで撮像した2枚目のCCD取得画像の台形補正後の画像についてのみ、CCD中心位置を中心に右回りに90°回転させればよい。
【0073】
回転補正後の画像は、(LLy/Ly)倍することで実際の寸法に等比拡大される(ステップS5)。このようにして得られた画像は、画像認識装置52に送られ、部品下面を真下から撮像した画像として扱われる。
画像認識装置52では、2枚の補正画像のうち一方の画像を用い、エッジ検出等の画像処理により画像内の電子部品3の寸法等の形状認識を行うと共に、認識した電子部品3の中心位置とCCD中心位置とのズレ量を認識する。ここで認識した吸着位置のズレ量は、後の回路基板5への部品搭載時に電子部品3の搭載座標に加算するようにする。これにより、回路基板5上の所望の位置に正しく電子部品3を搭載することができる。
【0074】
次に、2枚の補正画像を重ね合わせ、電子部品3の吸着角度ズレや端子エラーを認識する。先ず、メモリに記憶した部品データから、現在吸着している電子部品3の種類を読み込む(ステップS8)。ここで、現在吸着している電子部品3が、図22に示すようにリード端子部品であるものとすると(ステップS9でYes)、重ね合わせた2枚の補正画像をもとにリード端子比較を行い、リード端子のコプラナリティエラー及びコリアリティエラーが発生しているか否かを判定する(ステップS10)。
【0075】
図22(c)の符号E1の箇所でコプラナリティエラーが発生している場合、2枚の補正画像を重ね合わせると、図15(b)に示すように、リード端子の外縁部の一部がずれる。また、図22(c)の符号E2の箇所でコリアリティエラーが発生している場合、2枚の画像を重ね合わせると、図15(c)に示すように、リード端子の外縁部が徐々に前後または左右にずれる。このように、リード端子の外縁部のズレを検知することで、端子エラーの発生の有無を認識することができると共に、端子エラーが発生している場合にはエラーの種類を特定することができる。
なお、現在吸着している電子部品3がボール端子部品やランド端子部品であるときにも、リード端子部品の場合と同様に、2枚の補正画像間で端子の特徴点(ボール端子部品の場合は端子の中心点、ランド端子部品の場合は端子の中心又は角)同士を比較することで端子エラーの発生の有無を認識することができる。
【0076】
また、現在吸着している電子部品3がチップ部品である場合には(ステップS9,S11及びS13でNo)、重ね合わせた2枚の補正画像を用いてチップ部品の外形のズレを認識する。チップ部品が高さ方向に傾いて吸着されている場合、図21(c)に示すように、各補正画像は正常時の画像とは異なるものとなっており、2枚の補正画像を重ね合わせてもチップ部品の外形は一致しない。このように、チップ部品の外形のズレを検知することで、チップ部品の吸着角度ズレを認識することができる。
【0077】
そして、以上のように、2枚の補正画像の比較により電子部品3の吸着角度ズレや端子エラーを検出した場合には、現在吸着している電子部品3の回路基板5への搭載を中止する。
一方、2枚の補正画像の比較により電子部品3の吸着角度ズレや端子エラーが検出されず、現在吸着している電子部品3が正常であると判断した場合には、コントローラ53は、ヘッドユニット12を回路基板5の所定の部品搭載位置まで移動する。そして、この部品搭載位置で吸着ノズル12bを下降することで、電子部品3を回路基板5上に装着する。
【0078】
このように、本実施形態では、電子部品3をノズル軸回りの角度が異なる2方向において斜め下から撮像した2枚の画像を、それぞれ幾何学変換により特定基準角度方向において部品真下から撮像した2次元画像への写像として変換する。具体的には、2つのCCDカメラ22の焦点位置に、部品下面の中央が位置するように吸着ヘッド12bを高さ調整したときの部品下面、CCDカメラ22及びその中のCCDの位置関係、即ちそれらの間の距離、傾斜角、方位角等から幾何学的に、CCD上に写し出された台形変形した部品下面画像を、元の長方形画像に変換する。そして、写像変換した2枚の2次元画像を比較し、部品画像の特徴点間の位置ズレを検知することにより、電子部品3及びその端子の高さズレを認識する。
【0079】
したがって、電子部品3の真下にカメラを置かなくても、部品下面を真下から撮像した画像を取得することができる。そのため、カメラ配置の自由度を大きくすることができる。また、写像変換による部品下面の画像の劣化が少ないため(45度の傾斜角で撮っても傾斜方向での解像度の低下は1/√2≒0.7倍程度)、正確な画像認識を行うことができる。
さらに、コプラナリティエラーの認識で一番重要な部品下面の画像は、コプラナリティエラーの無いときには、部品下面の画像が正確に重なるため、例えば、取得した2枚の画像同士の補間が各画素同士の値を平均するだけでも可能となり、より高精度な画像認識も可能となる。
【0080】
(効果)
このように、上記実施形態では、電子部品を斜め下から撮像した2次元画像を真下から撮像した2次元画像に補正して部品認識を行うため、CCDカメラを電子部品の真下又は真下付近に配置する必要がない。そのため、CCDカメラ同士の干渉やCCDカメラと吸着ヘッドとの干渉を防止できる位置にCCDカメラを配置することができる。CCDカメラと吸着ヘッドとの干渉を防止することで、安全性と作業効率とを向上することができる。
【0081】
また、電子部品を撮像する手段としてCCDカメラを用いるので、一瞬で撮像画像を取得することができる。すなわち、ラインセンサのように部品下面画像を走査して取得する必要がないため、高速であり、また走査のための機構も必要ないことから、制御の複雑化及び装置の大型化を抑制することができる。
さらに、CCDカメラをヘッドユニットに搭載するので、ヘッドユニットを電子部品供給装置の部品供給位置から回路基板上の部品搭載位置へ移動させながら、部品認識を行うことができる。したがって、ヘッドユニットの搭載軌跡の制約が無く、部品搭載効率を向上することができる。また、CCDカメラと吸着ヘッド先端との位置ズレを少なくすることができるので、精度良く部品認識を行うことができる。
【0082】
また、2つのCCDカメラによって吸着部品の撮像面を異なる2方向から同時に撮像するので、2枚の画像がまったく同じ状況下での吸着部品を撮像したものとなる。したがって、ヘッドユニットの移動に伴う吸着部品の吸着位置ズレや吸着角度ズレの影響を無くすことができ、部品認識誤差を抑制することができる。
さらにまた、2次元画像を用いて部品認識を行うので、従来装置のように3次元画像を用いる場合と比較して処理を簡略化することができ、処理時間を短縮することができる。
また、各種の認識(コプラナリティエラー、コリニアリティエラー、吸着位置ズレ、吸着角度ズレ、部品サイズなど)が一斉に取得可能であるため、幾つものユニットを備える必要が無く、比較的安価に構成することができる。
【0083】
(変形例)
なお、上記実施形態においては、図24に示すように、CCDを部品下面と平行に配置したCCDカメラを用いることもできる。これにより、CCDを部品下面に対して傾斜させて配置した場合のようにCCD取得画像が歪まないので、上述した台形補正を省略することができ、高速演算が可能となる。但し、CCDがレンズに対して傾いている(或いはレンズ自体も傾いている)分、焦点深度やレンズの収差などによりCCDの使用できる範囲が限られ、大きな像を得ることは難しくなる。したがって、小さな像に限った場合の用途では、上記実施形態と同様の効果を得ることができ有用である。
【0084】
また、上記実施形態においては、2つのCCDカメラ22を用いて電子部品3を異なる方向から撮像する場合について説明したが、1つのCCDカメラ22を用いて電子部品3を異なる方向から撮像することもできる。この場合、図25に示すように、1つの吸着ヘッド12aに対して、1組のCCDカメラ22と照明23とを対向配置する。そして、第1の回転角(例えば、0°)で電子部品3をCCDカメラ22により撮像した後、吸着ヘッド12aをノズル軸回りに回転し、第2の回転角(例えば、90°)で再び電子部品3をCCDカメラ22により撮像する。このようにして、電子部品3を異なる2つの方向から撮像する。
【0085】
但しこの場合、図26に示すように、ヘッドの回転中心とヘッド先端の中心とが異なる場合、部品回転に伴うヘッドの偏芯量とその方向との違いによる誤差が発生する。つまり、図27(a)及び(b)に示す2枚のCCD取得画像に対して台形補正及び回転補正を施した後、CCD中心位置同士(ヘッド先端の中心同士)を重ね合わせたときに誤差が発生する。したがって、部品撮像時のヘッド先端の偏芯量とその方向とを前以てメモリ上に記憶しておき、2枚のCCD取得画像に対して台形補正及び回転補正を施した後、メモリに記憶したヘッド先端の偏芯量とその方向とを用いて、補正後の画像に対して平行移動を行ってから画像の重ね合わせを行うようにする。なお、ヘッド先端の偏芯量とその方向とは、予め図形の各寸法や角度が正確に把握できているキャリブレーション用図形を撮像することにより取得しておく。
【0086】
このように、1つのCCDカメラ22を用いて電子部品3を異なる方向から撮像することで、部品点数およびコストの削減と装置の小型化とを実現することができる。
さらに、上記実施形態においては、CCDカメラ22に代えて、図28に示す大きめの高精度カメラ25を使用することもできる。この場合、支柱21bに固定した反射板26を用いて電子部品3の撮像を行う。これにより、より高精度な部品認識を行うことができる。
【0087】
また、上記実施形態においては、幾何学計算をする上で、部品下面位置とCCDカメラ内のCCDとの位置関係を高精度に実測するのが難しい場合がある。そこで、図29(a)に示すような、形状、寸法、角度等が既知のパターンや形状の見本部品(キャリブレーション用部品)を用意し、前以てキャリブレーション用部品を撮像して、図29(b)に示すようなCCD取得画像や、写像変換後の画像をメモリに記憶しておき、部品認識処理時に、CCD取得画像や写像変換後の画像が正しくメモリに記憶した既知のパターンとなるように、移動、回転、拡大、縮小等の直線補間、比例補間するようにしてもよい。これにより、容易に精度を上げることができるため、安価で小型のカメラやレンズの使用も可能となる。
【0088】
また、上記実施形態においては、メモリに記憶した部品データに登録された部品高さと、実際に吸着した電子部品3の部品高さとが異なる場合を考慮して、取得画像を補正する処理を追加してもよい。
本方式では、部品認識位置に部品下面の中心位置がくるように吸着ノズル12bの高さを調整している。そのため、例えば、実際の吸着部品の高さが部品データに登録された部品高さよりも高い場合(部品が厚い場合)、図30(a)に示すように、部品下面位置が破線で示す本来の部品下面位置よりも下方に位置してしまう。すると、2つのCCDカメラ22の焦点位置(部品下面とCCDカメラ22の認識中心線とが交差する点)にズレが生じる。したがって、2つのCCDカメラ22で部品画像を取得し、部品認識時に2枚の画像の重ね合わせをした場合、図30(b)に示すように、すべての端子が一定方向に一定量だけ平行移動して見えてしまい、端子エラーであると誤判断してしまう。
【0089】
しかしながら、余程極端では無い限り、部品下面が平らであれば、部品高さが搭載品質に影響することは少ない。そこで、一方の部品画像が他方の部品画像に対して一定方向に許容範囲内となる一定量だけ平行移動していた場合には、2枚の画像で部品下面の同じ場所を示すそれぞれ1箇所の特徴点をもとに、上記一方の部品画像を上記一定方向とは逆方向に上記一定量だけ平行移動する補正を行ってから端子エラーを認識するようにする。このとき、平行移動による補正を行っても、端子のズレが生じている場合には端子エラーとして、この部品の搭載を中止する。また、平行移動量が許容範囲外である場合にも、部品高さが搭載品質に影響を及ぼすものとして部品高さエラーとし、この部品の搭載を中止する。
【0090】
(応用例)
なお、上記実施形態においては、電子部品3の撮像画像を2枚とする場合について説明したが、3枚以上とすることもできる。
また、上記実施形態においては、電子部品3を撮像する手段としてCCDカメラを適用する場合について説明したが、CMOSカメラを適用することもできる。
さらに、上記実施形態においては、1つのCCDカメラ22で1つの電子部品3を撮像する場合について説明したが、電子部品3の下面とCCDカメラ22との位置関係が既知で、カメラの解像度が足りていれば、1つのCCDカメラ22で複数の部品を一括で撮像してもよい。
また、上記実施形態においては、図6の部品認識処理において、台形補正後の画像を回転補正してから等比拡大する場合について説明したが、回転補正処理と等比拡大処理の順序を逆にしてもよい。
【0091】
さらにまた、上記実施形態においては、CCDカメラ22を、照明23から電子部品3に照射した照明光による反射光を受光して電子部品3の下面を撮像する構成とする場合について説明したが、照明23から電子部品3に照射した照明光の透過光を受光して電子部品3の下面を撮像する構成としてもよい。この場合、図31に示すように、電子部品3の下面が部品認識位置となっているときの吸着ノズル12bの先端位置を中心として、CCDカメラ22に対して点対称となる位置に照明23を配置すればよい。これにより、電子部品3の下面を影の像として撮像することができる。
また、上記実施形態においては、CCDカメラ22をヘッドユニット12に固定する場合について説明したが、電子部品実装装置1のベースに固定するようにしてもよい。これにより、ヘッドユニット12の重量の増加を抑制することができる。
【符号の説明】
【0092】
1…電子部品実装装置、3…電子部品、5…回路基板、11…搬送レール、12…ヘッドユニット、12a…吸着ヘッド、12b…吸着ノズル、13…X軸ガントリ、14…Y軸ガントリ、15…電子部品供給装置、16…ノズル交換機、20…部品認識機構、21a,21b…支柱、22…CCDカメラ、23…照明、50…主制御装置、51…画像演算装置、52…画像認識装置、53…コントローラ
【特許請求の範囲】
【請求項1】
ヘッドユニット内の吸着ノズルにより電子部品を吸着し、基板上の所定位置に当該電子部品を装着する電子部品実装装置であって、
前記吸着ノズルにより吸着した前記電子部品に光を照射する照明手段と、
前記照明手段に対応して設けられ、前記吸着ノズルにより前記電子部品を上方から吸着した状態で、前記照明手段から照射された光を受光することで、当該電子部品の前記吸着ノズルによる吸着面とは反対側の撮像面を、斜め下方から撮像する撮像手段と、
前記撮像手段により前記吸着ノズルの軸回りにおける角度が異なる複数の方向から前記撮像面を撮像した複数の2次元画像を、それぞれ幾何学変換により前記撮像面を真下から見た2次元画像に変換し、幾何学変換後の複数の2次元画像を比較して前記電子部品を認識する認識手段と、を備えることを特徴とする電子部品実装装置。
【請求項2】
前記撮像手段は、複数のカメラにより構成され、前記電子部品の撮像面を前記複数の方向から同時に撮像することを特徴とする請求項1に記載の電子部品実装装置。
【請求項3】
前記撮像手段は、1つのカメラにより構成され、前記吸着ノズルを当該吸着ノズルの軸回りに回転させて、前記電子部品の撮像面を複数回撮像することを特徴とする請求項1に記載の電子部品実装装置。
【請求項4】
前記撮像手段は、前記照明手段から前記電子部品に照射された光による反射光を受光することで、前記撮像面を撮像することを特徴とする請求項1〜3の何れか1項に記載の電子部品実装装置。
【請求項5】
前記照明手段と前記撮像手段とは、前記撮像手段による前記電子部品の撮像時における前記吸着ノズルの軸に対して線対称となる位置に配置されていることを特徴とする請求項4に記載の電子部品実装装置。
【請求項6】
前記撮像手段は、前記照明手段から前記電子部品に照射された光の透過光を受光することで、前記撮像面を撮像することを特徴とする請求項1〜3の何れか1項に記載の電子部品実装装置。
【請求項7】
前記照明手段と前記撮像手段とは、前記撮像手段による前記電子部品の撮像時における前記吸着ノズルの先端位置に対して点対称となる位置に配置されていることを特徴とする請求項6に記載の電子部品実装装置。
【請求項8】
前記撮像手段及び前記照明手段は、前記ヘッドユニットに固定されていることを特徴とする請求項1〜7の何れか1項に記載の電子部品実装装置。
【請求項9】
前記撮像手段及び前記照明手段は、電子部品実装装置のベースに固定されていることを特徴とする請求項1〜7の何れか1項に記載の電子部品実装装置。
【請求項10】
前記撮像手段はCCDカメラにより構成され、前記CCDカメラが有するCCDが前記電子部品の撮像面に対して傾斜して配置されており、
前記認識手段は、前記幾何学変換として、前記CCDの傾斜によって発生する実際の電子部品の形状に対する撮像画像の歪みを補正する仰角補正と、前記吸着ノズルの軸回りにおける所定の特定基準角度からの、前記吸着ノズルの軸回りにおける前記撮像手段の撮像角度の差分だけ、前記仰角補正した画像を当該画像の中心位置を中心に逆方向に回転する回転補正とを行うことを特徴とする請求項1〜9の何れか1項に記載の電子部品実装装置。
【請求項11】
前記撮像手段はCCDカメラにより構成され、前記CCDカメラが有するCCDが前記電子部品の撮像面に対して平行に配置されており、
前記認識手段は、前記幾何学変換として、前記吸着ノズルの軸回りにおける所定の特定基準角度から、前記吸着ノズルの軸回りにおける前記撮像手段の撮像角度の差分だけ、前記撮像手段により撮像した画像を当該画像の中心位置を中心に逆方向に回転する回転補正を行うことを特徴とする請求項1〜9の何れか1項に記載の電子部品実装装置。
【請求項12】
前記認識手段は、幾何学変換後の複数の2次元画像を重ね合わせたときの前記電子部品の特徴点間の距離が許容範囲外であるとき、前記電子部品に異常が発生していることを認識することを特徴とする請求項1〜11の何れか1項に記載の電子部品実装装置。
【請求項13】
前記認識手段は、幾何学変換後の複数の2次元画像を重ね合わせたときの前記電子部品の画像を形成する画素エリアのうち重ならない画素エリアが許容範囲外であるとき、前記電子部品に異常が発生していることを認識することを特徴とする請求項1〜11の何れか1項に記載の電子部品実装装置。
【請求項14】
前記認識手段は、前記電子部品の異常として、前記電子部品の水平面からの吸着角度のずれ及び前記電子部品の端子の変形の少なくとも一方を認識することを特徴とする請求項12又は13に記載の電子部品実装装置。
【請求項1】
ヘッドユニット内の吸着ノズルにより電子部品を吸着し、基板上の所定位置に当該電子部品を装着する電子部品実装装置であって、
前記吸着ノズルにより吸着した前記電子部品に光を照射する照明手段と、
前記照明手段に対応して設けられ、前記吸着ノズルにより前記電子部品を上方から吸着した状態で、前記照明手段から照射された光を受光することで、当該電子部品の前記吸着ノズルによる吸着面とは反対側の撮像面を、斜め下方から撮像する撮像手段と、
前記撮像手段により前記吸着ノズルの軸回りにおける角度が異なる複数の方向から前記撮像面を撮像した複数の2次元画像を、それぞれ幾何学変換により前記撮像面を真下から見た2次元画像に変換し、幾何学変換後の複数の2次元画像を比較して前記電子部品を認識する認識手段と、を備えることを特徴とする電子部品実装装置。
【請求項2】
前記撮像手段は、複数のカメラにより構成され、前記電子部品の撮像面を前記複数の方向から同時に撮像することを特徴とする請求項1に記載の電子部品実装装置。
【請求項3】
前記撮像手段は、1つのカメラにより構成され、前記吸着ノズルを当該吸着ノズルの軸回りに回転させて、前記電子部品の撮像面を複数回撮像することを特徴とする請求項1に記載の電子部品実装装置。
【請求項4】
前記撮像手段は、前記照明手段から前記電子部品に照射された光による反射光を受光することで、前記撮像面を撮像することを特徴とする請求項1〜3の何れか1項に記載の電子部品実装装置。
【請求項5】
前記照明手段と前記撮像手段とは、前記撮像手段による前記電子部品の撮像時における前記吸着ノズルの軸に対して線対称となる位置に配置されていることを特徴とする請求項4に記載の電子部品実装装置。
【請求項6】
前記撮像手段は、前記照明手段から前記電子部品に照射された光の透過光を受光することで、前記撮像面を撮像することを特徴とする請求項1〜3の何れか1項に記載の電子部品実装装置。
【請求項7】
前記照明手段と前記撮像手段とは、前記撮像手段による前記電子部品の撮像時における前記吸着ノズルの先端位置に対して点対称となる位置に配置されていることを特徴とする請求項6に記載の電子部品実装装置。
【請求項8】
前記撮像手段及び前記照明手段は、前記ヘッドユニットに固定されていることを特徴とする請求項1〜7の何れか1項に記載の電子部品実装装置。
【請求項9】
前記撮像手段及び前記照明手段は、電子部品実装装置のベースに固定されていることを特徴とする請求項1〜7の何れか1項に記載の電子部品実装装置。
【請求項10】
前記撮像手段はCCDカメラにより構成され、前記CCDカメラが有するCCDが前記電子部品の撮像面に対して傾斜して配置されており、
前記認識手段は、前記幾何学変換として、前記CCDの傾斜によって発生する実際の電子部品の形状に対する撮像画像の歪みを補正する仰角補正と、前記吸着ノズルの軸回りにおける所定の特定基準角度からの、前記吸着ノズルの軸回りにおける前記撮像手段の撮像角度の差分だけ、前記仰角補正した画像を当該画像の中心位置を中心に逆方向に回転する回転補正とを行うことを特徴とする請求項1〜9の何れか1項に記載の電子部品実装装置。
【請求項11】
前記撮像手段はCCDカメラにより構成され、前記CCDカメラが有するCCDが前記電子部品の撮像面に対して平行に配置されており、
前記認識手段は、前記幾何学変換として、前記吸着ノズルの軸回りにおける所定の特定基準角度から、前記吸着ノズルの軸回りにおける前記撮像手段の撮像角度の差分だけ、前記撮像手段により撮像した画像を当該画像の中心位置を中心に逆方向に回転する回転補正を行うことを特徴とする請求項1〜9の何れか1項に記載の電子部品実装装置。
【請求項12】
前記認識手段は、幾何学変換後の複数の2次元画像を重ね合わせたときの前記電子部品の特徴点間の距離が許容範囲外であるとき、前記電子部品に異常が発生していることを認識することを特徴とする請求項1〜11の何れか1項に記載の電子部品実装装置。
【請求項13】
前記認識手段は、幾何学変換後の複数の2次元画像を重ね合わせたときの前記電子部品の画像を形成する画素エリアのうち重ならない画素エリアが許容範囲外であるとき、前記電子部品に異常が発生していることを認識することを特徴とする請求項1〜11の何れか1項に記載の電子部品実装装置。
【請求項14】
前記認識手段は、前記電子部品の異常として、前記電子部品の水平面からの吸着角度のずれ及び前記電子部品の端子の変形の少なくとも一方を認識することを特徴とする請求項12又は13に記載の電子部品実装装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【公開番号】特開2012−33734(P2012−33734A)
【公開日】平成24年2月16日(2012.2.16)
【国際特許分類】
【出願番号】特願2010−172424(P2010−172424)
【出願日】平成22年7月30日(2010.7.30)
【出願人】(000003399)JUKI株式会社 (1,557)
【Fターム(参考)】
【公開日】平成24年2月16日(2012.2.16)
【国際特許分類】
【出願日】平成22年7月30日(2010.7.30)
【出願人】(000003399)JUKI株式会社 (1,557)
【Fターム(参考)】
[ Back to top ]