物体認識方法およびこの方法を用いた基板外観検査装置
【課題】鏡面反射性の高い物体を、簡単かつ正確に認識できるようにする。
【解決手段】基板Ｓに対してそれぞれ仰角が異なる方向に配置された３個の照明部Ａ，Ｂ，Ｃに互いに異なる色彩光を点灯させて、カメラ１により基板Ｓを撮像する処理を、撮像対象領域を変更せずに２回実行する。このとき２回目の撮像では、照明部Ａおよび照明部Ｃに点灯させる色彩光が１回目の撮像と反対になるように制御する。２回の撮像が終了すると、生成された２枚のカラー画像を用いて、これらの画像間で色差が所定のしきい値を超える画素を白画素とする２値の色差画像を生成する。さらに、はんだ付け部位を表すモデルデータ（テンプレート）を用いてこの色差画像に対するテンプレートマッチングを実行し、テンプレートに対する一致度が最も高い場所をはんだ付け部位として特定する。
【解決手段】基板Ｓに対してそれぞれ仰角が異なる方向に配置された３個の照明部Ａ，Ｂ，Ｃに互いに異なる色彩光を点灯させて、カメラ１により基板Ｓを撮像する処理を、撮像対象領域を変更せずに２回実行する。このとき２回目の撮像では、照明部Ａおよび照明部Ｃに点灯させる色彩光が１回目の撮像と反対になるように制御する。２回の撮像が終了すると、生成された２枚のカラー画像を用いて、これらの画像間で色差が所定のしきい値を超える画素を白画素とする２値の色差画像を生成する。さらに、はんだ付け部位を表すモデルデータ（テンプレート）を用いてこの色差画像に対するテンプレートマッチングを実行し、テンプレートに対する一致度が最も高い場所をはんだ付け部位として特定する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、一部または全体の鏡面反射性が周囲より高い物体を認識対象として、画像処理により認識対象物の有無、位置、大きさなどを認識する技術分野に属する。特にこの発明は、「カラーハイライト方式」と呼ばれる光学系により生成されたカラー画像を用いて上記の認識を行う方法、およびその方法が適用された基板外観検査装置に関する。
【背景技術】
【０００２】
従来の「カラーハイライト方式」の基板外観検査装置（以下、単に「検査装置」という場合もある。）は、赤、緑、青の各色彩光をそれぞれ基板に対する仰角が異なる方向から照射する照明装置と２次元のカラーカメラとを具備するものである。基板には、仰角が最も大きい方向から赤色光が、仰角が最も小さい方向から青色光が、これらの中間にあたる方向から緑色光が、それぞれ照射される。カメラ１は、光軸を鉛直方向に向けて配置され、その光軸を取り囲む全方位から上記３種類の色彩光が照射される。このような照明下での撮像により、はんだフィレットのような鏡面反射性の高い物体について、平坦に近い面が赤色となり、傾斜が急な面が青色となり、これらの面の中間の傾斜状態の面が緑色となるようなカラー画像が生成される。よって、画像中のはんだ付け部位の色彩パターンを観測することによって、はんだの表面の傾斜の状態を認識することが可能になる。
【０００３】
また、この検査装置には、あらかじめ、自動検査を行うための検査基準データとして、検査領域の設定データ（領域の位置および大きさを示す。）、はんだの表面状態の判別に必要な色領域（主に青色が優勢な領域）を抽出するための２値化しきい値、色領域に対する計測値により得た特徴量の適否を判断するための判定基準値などが、部品毎に登録される。検査の際には、検査対象の基板を上記の照明装置やカメラを用いて撮像した後に、上記の検査基準データに基づき、生成されたカラー画像中のはんだ付け部位に検査領域を設定し、色領域の抽出および計測を実行する。そして、得られた計測値を判定基準値と比較することによって、各被検査部位の良否を判別する。
【０００４】
ただし、基板上のはんだ付け部位の位置は一定ではなく、ばらつきがあることが知られている。このばらつきは、マウンタにより部品が実装される際の部品のずれや、はんだ付け工程での熱による基板の収縮などによって生じる。このようなばらつきに対応するために、従来の検査装置では、部品毎に、その部品を包含するのに十分な大きさの検索用ウィンドウを設定し、このウィンドウ内で輝度の高い領域をはんだに付け部位として検出し、その検出結果に基づき、はんだ検査用の検査領域の設定位置を調整するようにしている（特許文献１ 段落０００６〜０００９、００７６参照。）
【０００５】
【特許文献１】特許第３５９９０２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示されているように、検査領域の設定前にはんだ付け部位を検出する処理では、Ｒ，Ｇ，Ｂ毎に設定された２値化しきい値を用いて、赤、緑、青のいずれかの色彩が強く、かつ輝度の高い画素を抽出する。しかし、画像中の各はんだ付け部位に現れる色合いや輝度には、それぞれの部位の傾斜状態や位置によってばらつきがあるため、これらのばらつきを考慮して、どの場所のはんだ付け部位も抽出できるようなしきい値を設定する必要がある。また、検査のための２値化しきい値が、良好な形状のはんだを検出することを目的とするのに対し、検査領域の設定前に使用されるしきい値は、良／不良を問わず、種々の形状のはんだを検出できるようにする必要があるので、検査で検出される範囲より広い範囲を検出対象とする必要がある。
これらの点を考慮して２値化しきい値を設定するには、経験が必要であるため、熟練した作業者でなければ作業を行うことはできない。しかし、熟練者にとっても、非常に困難な作業であり、多大な労力がかかる。
【０００７】
つぎに、部品実装基板には、「チップ飛び」と呼ばれる不良（部品実装時やはんだ付け時に、何らかの原因によって、チップ部品が実装されるべきでない場所に落ちてしまう不良）や、電極間のブリッジ不良（電極の間に付着したはんだが溶融し、電極間が短絡状態になる不良）などが生じることがある。これらの不良については、偶発的に生じる場合も多いため、発生する部位を予測するのが難しく、精度の良い検査を行うための設定が非常に困難である。
【０００８】
この発明は、上記の問題点に鑑み、鏡面反射性の高い物体を、カラーハイライト方式の光学系の特性を利用して、簡単かつ正確に認識できるようにすることを、課題とする。さらに、この課題の解決により、はんだ付け部位や基板にあるべきでない異物を簡単に検出できるようにすることによって、これらの検出のために複雑な設定を行う必要をなくすことを、第２の課題とする。
【課題を解決するための手段】
【０００９】
この発明による方法は、互いに異なる色彩光を発し、撮像対象領域に対してそれぞれ仰角が異なる方向に配置された複数の照明部を具備する照明装置と、撮像対象領域に位置合わせされたカラー画像用の撮像装置とを用いて撮像対象領域を撮像し、生成されたカラー画像を処理することによって、撮像対象領域に含まれる鏡面反射性の高い物体を認識するものである。
【００１０】
上記した構成の照明装置による照明下で撮像を行うと、撮像対象領域内の鏡面反射性の高い物体の表面について、その表面で正反射して撮像装置に入射した光の色彩が現れた画像を得ることができる。ここで、この画像に現れた色彩に対応する光を照射した照明部の発光色を切り替えて、再度撮像を行うと、この画像中の物体の色彩も、切り替え後の照明の色彩に対応するものに変化すると考えられる。
【００１１】
この発明による方法では、上記の現象に着目し、照明装置の複数の照明部のうちの少なくとも１つを、発光色の切り替えが可能に構成し、この照明装置による照明下での撮像を撮像対象領域を変更せずに２回実行するとともに、発光色の切り替えが可能な所定数の照明部が２回目の撮像時に１回目の撮像時とは異なる色彩で発光するように、２回の撮像における照明装置の動作を制御する。さらに、２回の撮像により生成された２枚のカラー画像の一部または全体を対象に、各画像間の色差が所定のしきい値を超えた領域を表す色差画像を生成し、この色差画像に現れた領域をあらかじめ登録されたモデルデータと照合し、その照合結果に基づき撮像対象領域内の物体を認識する。
なお、発光色の切り替えを行う照明部は、「モデルデータに適合する物体」の検出に適した照明部または全ての照明部とするのが望ましい。
【００１２】
上記の方法によれば、所定の照明部の発光色が撮像毎に異なるものになるように制御して、同じ撮像対象領域を２回撮像すると、鏡面反射性が高く、発光色が切り替えられた照明部からの光に対応する色彩が現れる箇所について、各撮像により生成された画像間の色彩に大きな差を生じさせることができる。さらに、この色彩に大きな差が生じた領域を色差画像に基づき特定した後に、モデルデータに適合する領域を検出するから、モデルデータに適合するか否かによって、認識対象の物体を容易に判別することが可能になる。
なお、「認識対象の物体」は、「モデルデータに適合する物体」に限らず、「モデルデータに適合しない物体」になる場合もある。
【００１３】
上記方法の一態様では、はんだ付け後の部品実装基板を対象に２回の撮像を実行し、各撮像により得たカラー画像から生成した色差画像を、はんだ付け部位を表すモデルデータと照合することにより、しきい値を超える色差が生じた領域の中からモデルデータに適合する領域を検出し、検出された領域をはんだ付け部位に対応するものとして認識する。
【００１４】
この方法によれば、２回の撮像、色差画像の生成、およびモデルデータによる照合処理によって、はんだ付け部位に対応する領域を、容易にかつ正確に認識することが可能になる。
【００１５】
上記の態様で用いられるモデルデータは、実物の基板または基板に関する情報を用いて作成することができる。たとえば、モデルの基板について、本処理と同様の方法による２回の撮像および色差画像の生成処理を行って、しきい値を超える色差が生じた領域を抽出し、この領域の分布パターンをモデルデータとすることができる。または、はんだ付け部位の検査のために設定される検査領域（ランドウィンドウ）のパターンを、モデルデータとしてもよい。あるいは、ＣＡＤデータなどの設計データから読み出したランドの情報を用いて、モデルデータを作成してもよい。
【００１６】
さらに好ましい態様では、色差画像中で色差が前記しきい値を超えた領域の中に、はんだ付け部位に対応する領域として特定された以外の領域が存在するとき、その領域を異物に対応するものとして認識する。
【００１７】
上記の態様によれば、正しく実装されたものではない部品やブリッジなどの異物を、容易に検出することが可能になる。
【００１８】
他の好ましい態様では、はんだ付け後の部品実装基板を対象に前記２回の撮像を実行し、各画像により得たカラー画像から生成した色差画像のうち複数の部品電極を含む範囲を、これらの電極の配置パターンを表すモデルデータと照合することにより、照合範囲内でしきい値を超える色差が生じた領域の中からモデルデータに適合しない領域を検出する。そして、当該領域が検出されたとき、その領域を異物に対応するものとして認識する。
【００１９】
上記の態様によれば、大きな色差が生じた領域の中から、部品電極の配置パターンに対応する領域以外の領域を特定することによって、電極間に生じたブリッジ等の微小な異物でも、容易に検出することが可能になる。
【００２０】
さらに、上記の物体認識方法は、互いに色彩が異なる光を発し、撮像対象領域に対してそれぞれ仰角が異なる方向に配置された複数の照明部を具備する照明装置と、カラー画像用の撮像装置とが、部品実装基板の上方に照明部からの照明光に対する基板からの正反射光を撮像装置に入射させることが可能な関係をもって配備され、撮像装置および照明装置により生成された基板の画像を処理することによって、部品の実装状態の適否を判別する基板外観検査装置に適用することができる。この検査装置は、照明装置の複数の照明部のうちの少なくとも１つが、発光色を切り替えることが可能に構成され、以下の登録手段、制御手段、色差画像生成手段、領域検出手段、はんだ検査手段を具備することを特徴とする。
【００２１】
登録手段は、検査対象の基板に実装される部品のはんだ付け部位の検査に用いられる検査基準データを登録するためのものである。制御手段は、照明装置による照明下で撮像対象領域を変更せずに撮像装置に２回の撮像を行わせるとともに、発光色の切り替えが可能な所定数の照明部が、２回目の撮像時に１回目の撮像時とは異なる色彩で発光するように、２回の撮像における照明装置の動作を制御する。
【００２２】
色差画像生成手段は、２回の撮像により生成された２枚のカラー画像の一部または全体を対象に、各画像間の色差が所定のしきい値を超えた領域を表す色差画像を生成する。領域検出手段は、上記の色差画像が生成される範囲に含まれるはんだ付け部位を表すモデルデータを用いて色差画像を照合することにより、色差が前記しきい値を超えた領域の中からモデルデータに適合する形状の領域をはんだ付け部位として検出する。
【００２３】
はんだ検査手段は、検出されたはんだ付け部位について、２枚のカラー画像のいずれか一方の当該はんだ付け部位の画像を処理対象として、登録手段に登録された検査基準データを用いて処理対象の画像を処理することによって、はんだ付け部位におけるはんだの表面状態を判別する。
【００２４】
上記構成の検査装置によれば、はんだ検査の対象となるはんだ付け部位を検出する処理に先の物体認識方法を適用するので、各はんだ付け部位を簡単かつ正確に検出することができる。また、はんだ付け部位を検出した後は、２回の撮像により得た２枚のカラー画像のいずれか一方を用いて検査に関する処理を進めるので、精度の高い自動検査を実行することができる。
【００２５】
好ましい実施態様の検査装置には、色差画像において、はんだ付け部位として検出された領域以外にしきい値を上回る色差が生じた領域があるか否かによって、検査対象の基板に異物が存在するか否かを判別する手段が、さらに設けられる。この構成によって、正しく実装されたものではない部品やブリッジなど、生じる場所や色彩を予測することが困難な不良を、容易に検出することができる。
【００２６】
さらに好ましい実施態様の検査装置には、基板上の複数の電極について、各電極の配置パターンを表すモデルデータを用いて、色差画像中の各電極が含まれる範囲をモデルデータと照合することによって、しきい値を超える色差が生じた領域の中から各電極に対応する領域を検出し、検出された領域以外にしきい値を超える色差が生じた領域があるか否かによって、検査対象の基板に異物が存在するか否かを判別する手段を、さらに具備する。
【００２７】
上記の構成によれば、電極間のブリッジなどの小さな異物についても、容易に検出することが可能になる。
【発明の効果】
【００２８】
上記の物体認識方法によれば、一部または全ての照明部の発光色を撮像毎に切り替えて、２回の撮像を実行し、生成された２枚のカラー画像間の色差を対象にした処理を行うことによって、鏡面反射性の高い物体を、簡単かつ正確に認識することが可能となる。
【００２９】
さらに、この方法を基板検査に適用することによって、画像中のはんだ付け部位や異物を、容易かつ精度良く検出することが可能になる。また、検査の前に、これらを検出するために複雑なパラメータを設定する必要がなくなるから、設定処理に要する労力を大幅に軽減することができる。
【発明を実施するための最良の形態】
【００３０】
図１は、この発明が適用された基板外観検査装置の電気的構成を示す。
この基板外観検査装置（以下、単に「検査装置」という。）は、はんだ付け後のプリント基板を対象に、各部品の接続状態の適否を検査するためのもので、カメラ１、照明装置２、Ｘステージ部３、Ｙステージ部４、およびコンピュータによる制御部５０を含む制御処理装置５などにより構成される。このほか、図１には示していないが、この検査装置には、検査対象の基板を支持するための基板支持テーブルや、基板の搬出入機構などが設けられる。
【００３１】
カメラ１は、検査対象の基板のカラー静止画像を生成する。照明装置２は、複数のＬＥＤを発光源とするものである。
Ｘステージ部３は、カメラ１および照明装置２を基板支持テーブルの上方で支持し、Ｙステージ部４は基板支持テーブルを支持する。いずれのステージ部３，４とも、その支持対象を、一軸に沿って移動させることが可能である。また一方のステージ部による移動の方向は、他方のステージ部による移動の方向に直交する関係にある。
【００３２】
制御処理装置５は、各ステージ部３，４やカメラ１および照明装置２の動作を制御して検査のためのカラー画像を生成し、各種検査を実行するもので、制御部５０のほか、画像入力部５１、撮像制御部５２、照明制御部５３、Ｘステージ駆動部５４，Ｙステージ駆動部５５、入力部５６、表示部５７、通信用インターフェース５８などが含まれる。
【００３３】
画像入力部５１には、カメラ１から出力されたＲ，Ｇ，Ｂの各画像信号を受け付けるインターフェース回路や、これらの画像信号をディジタル変換するＡ／Ｄ変換回路などが含まれる。撮像制御部５２は、カメラ１の撮像タイミングを制御し、照明制御部５３は、照明装置２の各ＬＥＤの光量、発光色、点灯タイミングなどを制御する。
【００３４】
入力部５６は、ティーチングの際の設定操作などを行うためのもので、専用の操作ボタン、またはマウスやキーボードにより構成される。表示部５７は、検査用の画像や検査結果などを表示するためのもので、液晶パネルなどにより構成される。通信用インターフェース５８は、検査結果を外部の装置に送信する目的に使用される。
【００３５】
制御部５０内の図示しないメモリには、制御および検査に関するプログラムのほか、検査に用いられる各種設定データを登録した検査データファイルが格納される。この検査データファイルには、基板に割り付けられた撮像対象領域にカメラ１の視野を合わせるのに必要なＸ、Ｙステージ部３，４の移動量、後記する検索用ウィンドウやランドウィンドウ等の検査領域の設定データ（各種領域の位置や大きさを示すデータ）、被検査部位の色彩を検出するための２値化しきい値、被検査部位を計測して得た特徴量の適否を判定するための判定基準値などが含まれる。
【００３６】
制御部５０は、これらのプログラムや設定データを用いて、カメラ１と基板との位置関係を定めてカメラ１に撮像を行わせ、生成されたカラー画像を画像入力部５１を介して取り込む。ここで入力される画像データは、Ｒ，Ｇ，Ｂの各色彩の階調データ（たとえば８ビット構成であれば０〜２５５の数値範囲をとる。）の組み合わせにより色彩を表現するものである。制御部５０は、入力した画像を用いて、後記する各種の検査を実行し、最終的に、各検査結果をまとめて、基板が良品基板であるか不良基板であるかを判定する。各検査の結果は基板毎にまとめられて表示部５７に表示されるほか、通信用インターフェース５８を介して図示しない外部機器に出力される。
【００３７】
図２は、上記の検査装置で用いられる光学系の構成を示す。図中のＳは、検査対象の基板であり、１５は、基板Ｓ上に実装されたチップ部品である。なお、基板Ｓに実装されるのはチップ部品１５に限らず、後記するＩＣをはじめとする種々の部品が実装される。
【００３８】
この実施例のカメラ１および照明装置２は、いわゆる「カラーハイライト方式」の光学系を構成する。
照明装置２は、外形が円筒状または多角形状のケース体２０を本体部とする。ケース体２０の中心部にはカメラの覗き穴２２が形成され、内部には、所定の高さ位置に、複数のＬＥＤ２１が配線された基板２３が、面を水平にした状態で配備される。カメラ１は、その受光面を真下に向け、かつ光軸Ｌを覗き穴２２の中心に合わせた状態にして配備される。カメラ１と照明装置２との位置関係は常にこの状態に維持される。
【００３９】
照明装置２内の各ＬＥＤ２１は、覗き穴２２を取り囲むように、複数列にわたって同心円状に配列される。なお、ここには図示していないが、基板２３は複数枚あり、各基板２３を覗き穴２２の周辺に沿わせて配列することにより、ＬＥＤ２１の同心円状の配列パターンが完成する。
【００４０】
ＬＥＤ２１には、赤色光を発するもの（ＬＥＤ２１Ｒ）、緑色光を発するもの（ＬＥＤ２１Ｇ）、青色光を発するもの（ＬＥＤ２１Ｂ）の３種類がある。この図では、各ＬＥＤ２１Ｒ，２１Ｇ，２１Ｂの照明色を、それぞれ網点、横線、斜線の各パターンで示している（図３の模式図でも同様である。）。
ＬＥＤ２１の同心円の径方向では、３種類のＬＥＤ２１Ｒ，２１Ｇ，２１Ｂが、この順序で繰り返し配列される。さらに、ここには図示していないが、１つ１つの円の円周上でも、同様に、各ＬＥＤ２１Ｒ，２１Ｇ，２１Ｂが順番に配列されている。
【００４１】
ケース体２０内の基板２３より下方の空間は、覗き穴２２からの距離に応じて、３つの領域Ａ，Ｂ，Ｃに分割される。また各領域Ａ，Ｂ，Ｃ間の境界には、それぞれケース体２０の外周と同様の形状を具備する壁部２５，２６が設けられる。
【００４２】
さらにケース体２０の下端の開口部には、光拡散部材２４が設けられている。この光拡散部材２４は、各領域Ａ，Ｂ，Ｃに応じた大きさの３つの傾斜面２４Ａ，２４Ｂ，２４Ｃを連続させた構成のもので、各傾斜面２４Ａ，２４Ｂ，２４Ｃは、覗き穴２２から遠ざかるほど下方に変位し、また傾きが急峻になる。
【００４３】
さらに、この実施例では、各領域Ａ，Ｂ，Ｃとも、３種類のＬＥＤ２１Ｒ，２１Ｇ，２１Ｂのうちの一種類が点灯し、また領域間で発光色が重ならないように、各ＬＥＤ２１の点灯・消灯を制御する。
このように、領域Ａ，Ｂ，Ｃ毎に異なる種類のＬＥＤを点灯させる制御と、壁部２５，２６および光拡散部材２４の存在によって、各領域Ａ，Ｂ，Ｃは、「互いに異なる色彩光を発し、撮像対象領域に対してそれぞれ仰角が異なる方向に配置された複数の照明部」として機能するようになる。よって、以下の説明では、各領域Ａ，Ｂ，Ｃを「照明部Ａ，Ｂ，Ｃ」と言い換えることにする。
【００４４】
この実施例の検査装置では、上記の照明装置２の機能を利用して、撮像対象領域毎に、態様の異なる２とおりの照明を実行して照明毎に撮像を行い、生成された２枚のカラー画像を用いて、鏡面反射性の高い部位（はんだや電極）を検出するようにしている。
【００４５】
図３は、上記の撮像処理の具体例と、撮像により生成される各種画像を模式的に示す。
先にも述べたように、この実施例では、１つの撮像対象領域を２回撮像するようにしている。以下、１回目の撮像を「第１撮像」といい、２回目の撮像を「第２撮像」という。
【００４６】
第１撮像は、照明部Ａに赤色光を、照明部Ｂに緑色光を、照明部Ｃに青色光を、それぞれ点灯した状態で実行される。この照明状態は、先の特許文献１をはじめとする従来のカラーハイライト方式の照明と同様の態様のものである。
【００４７】
これに対し、第２撮像では、照明部Ａにおける発光色と照明部Ｃにおける発光色とを、第１撮像とは反対になるようにする。すなわち、照明部Ａに青色光を点灯させ、照明部Ｃに赤色光を点灯させる。
【００４８】
以下、第１撮像で生成されるカラー画像を「Ｒ−ＴＯＰ画像」と呼び、第２撮像で生成されるカラー画像を「Ｂ−ＴＯＰ画像」という。
図３では、上段に、基板Ｓ上のチップ部品１５を対象に、第１撮像および第２撮像を行う例を示すとともに、中段に、これらの撮像により生成されるＲ−ＴＯＰ画像およびＢ−ＴＯＰ画像を示している。ここでは、チップ部品１５のフィレットに符号１０を、部品電極に符号１１を、それぞれ付すとともに、対比の便宜のために、各カラー画像中のチップ部品、フィレット、および部品電極を、同様の符号１５，１０，１１で示す。また、これらのカラー画像では、背景部分（基板の地の色が現れている部分）を白として、フィレット１０および電極１１に現れる色彩を、赤、緑、青のうちの一番優勢になる色彩に対応するパターンにより示す。
【００４９】
この実施例の照明装置２の構成によれば、基板Ｓに対し仰角が最も大きい方向から照射される照明部Ａからの光は、平坦に近い面で正反射したときにカメラ１に入射する。よって、フィレット１０の下端部や電極１１などの平坦に近い面は、照明部Ａの発光色に近い色彩で表される。
これに対し、基板Ｓに対し仰角が最も小さい方向から照射される照明部Ｃからの光は、急峻な面で正反射したときにカメラ１に入射する。よって、フィレット１０中の急峻な面は、照明部Ｃの発光色に近い色彩で表される。
【００５０】
この実施例の場合、平坦な面の色彩を決める照明部Ａと急峻な面の色彩を決める照明部Ｃとの発光色が、第１撮像と第２撮像とで反対になるので、各カラー画像中のこれらの面と色彩との関係も逆になる。すなわち、平坦に近い面は、第１撮像では赤が優勢な領域（以下、「赤色領域」という。）となるが、第２撮像では青が優勢になる領域（以下、「青色領域」という。。）となる。一方、急峻な面は、第１撮像では青色領域となるが、第２撮像では赤色領域となる。なお、照明色が緑色に固定される照明部Ｂからの光に対応する領域（緑色が優勢になるので、以下、「緑色領域」という。）は、いずれの画像でも、赤領域と青領域との間に同様の状態で現れる。
【００５１】
Ｒ−ＴＯＰ画像とＢ−ＴＯＰ画像との色彩の違いを具体的に見分けるために、この実施例では、Ｒ−ＴＯＰ画像とＢ−ＴＯＰ画像との間で対応関係にある画素（座標が実質同一になる画素）の組毎に、色差を算出する。具体的には、カラー画像を構成するＲ，Ｇ，Ｂの各階調データ毎に画像間の階調差を求め、各差の自乗の総和を算出して色差とする。さらに、この色差が所定のしきい値を上回る画素を白画素とし、色差がしきい値以下の画素を黒画素とする２値画像（以下、これを「色差画像」という。）を生成する。
【００５２】
図３の例によれば、Ｒ−ＴＯＰ画像とＢ−ＴＯＰ画像とでは、緑色領域を除くフィレット１０の大半の部分および部品電極１１の色彩が大きく変化する。一方、部品Ｃの本体や基板Ｓの表面では拡散反射が優勢になるため、照明部Ａ，Ｃの照明色が逆転しても、色彩の大きな変化は生じない。よって、赤色と青色との間に生じる色差を抽出するのに適したしきい値を設定して２値化を行うことにより、図３の下段に示すように、赤色領域と青色領域とが入れ替わった箇所の画素が白画素となり、その他の画素が黒画素となる色差画像を生成することができる。
【００５３】
上記の色差画像によれば、はんだや電極などの鏡面反射性が高い部位を容易に特定することが可能になる。そこで、この実施例の検査装置では、基板Ｓ上の各部品のはんだ付け部位を対象にした検査（以下、「はんだ検査」という。）において、検査領域（ランドウィンドウ）の設定位置を決定する際に、図３に示した方法を適用するようにしている。さらに、チップ飛び不良を起こしたチップ部品やブリッジなどの異物を検出する検査（以下、「異物検査」という。）を行う場合にも、この方法を用いて異物を検出するようにしている。
【００５４】
図４は、はんだ検査で実行される処理の具体例を示す。なお、この例でも、チップ部品１５を処理対象とする。
この処理では、先の図３に示した方法で第１撮像および第２撮像を行うことによってＲ−ＴＯＰ画像およびＢ−ＴＯＰ画像を生成し（図４の（１）（２））、これらの画像間の色差画像を生成し（図４の（３））、この色差画像からはんだ付け部位に対応する領域（以下、「はんだ領域」という。）を特定する。なお、チップ部品１５のはんだ領域には、フィレット１０のほか、部品電極１１が含まれるものとする。
【００５５】
先に説明した方法によれば、この実施例の色差画像では、はんだ領域の大半が白画素領域として表される。そこでこの実施例では、ランドウィンドウの設定データに基づくテンプレートによる照合処理（以下、「テンプレートマッチング」という。）を行うことによって、はんだ領域に相当する白画素領域を特定するようにしている（図４の（４））。
【００５６】
上記のテンプレートは、画像中の部品に対するランドウィンドウの大きさや配置の関係を示すものである。たとえばチップ部品１５では、左右の各はんだ付け部位に設定される一対のランドウィンドウを模した矩形枠（図中、点線で示す。）が、設定データに示されるのと同様の位置関係をもって配置される。なお、このテンプレートの元になるランドウィンドウの設定データは、検査対象の画像に対するランドウィンドウの設定位置やウィンドウの大きさを表すもので、制御部５０のメモリ内の検査データファイルから読み出される。
【００５７】
テンプレートマッチングでは、テンプレート内の各矩形枠の位置関係を維持したまま、テンプレート全体を色差画像に対して１画素ずつ走査し、走査毎に、テンプレートの一致度を算出する。一致度は、各矩形枠内の白画素数により表される。具体的には、矩形枠毎にその枠内の白画素数を計数し、それぞれの計数値を加算した値を、一致度とする。
【００５８】
この実施例では、上記のテンプレートマッチングにおいて一致度が最大になったときに各矩形枠が合わせられた領域を、それぞれはんだ領域として特定する（図４の（５））。そして、このときの各矩形枠と同様の状態でランドウィンドウを設定する旨を決定する（以下、この処理を「ランドウィンドウの設定位置を決定する処理」という。）。
上記のような処理により、実装時の部品の位置ずれやはんだ付けの際の熱による基板の収縮等によって、各基板におけるはんだ付け部位の位置にばらつきが生じても、問題なく、正しい位置にランドウィンドウを設定することができる。
【００５９】
この実施例のはんだ検査では、上記のようにしてランドウィンドウの設定位置を決定した後に、第１撮像により生成されたＲ−ＴＯＰ画像を対象に、決定した位置にランドウィンドウを設定する。そして、設定されたランドウィンドウから青色領域を検出し、その面積を所定の判定基準値と比較することにより、フィレットの適否を判定する。
フィレットの検査に青色領域の面積を使用するのは、急峻な傾斜面が十分な大きさで形成されているかどうかによってフィレットの形状の良否が決まるからである。図４に示した処理によれば、フィレット１０に対応する範囲がすべて含まれるようにランドウィンドウを設定することができるので、フィレットの急峻な傾斜面の面積を正確に求めて、確度の高い判定を行うことができる。なお、フィレット検査以外の検査（たとえばぬれ不良の検出）を行う場合には、青色領域以外の色領域も検出する必要がある。
【００６０】
上記の図４では、図示の都合上、１つのチップ部品１５を対象に処理を行う例を示したが、実際の撮像対象領域には複数の部品の画像が含まれているから、色差画像についても撮像対象領域全体を対象にした画像（複数の部品のはんだ領域を含む画像）を作成することができる。ただし、テンプレートマッチングについては、はんだ付け部位のずれ量が部品によって異なる可能性があるので、後記する図７に示すように、部品毎に個別に検索範囲を定めて、照合処理を行うのが望ましい。
また、上記の処理に代えて、Ｒ−ＴＯＰ画像やＢ−ＴＯＰ画像から、それぞれの部品の検索範囲毎に画像を切り出して部品単位の色差画像を生成し、それぞれの色差画像をテンプレートマッチングの対象としてもよい。
【００６１】
さらに、上記の例では、テンプレートの元になる情報としてランドウィンドウの設定データを用いたが、これに代えて、ＣＡＤデータ中のランドに関する情報を用いてテンプレートを設定してもよい。または、良品の基板を用いて第１撮像および第２撮像、ならびに色差画像の作成処理を行い、得られた各白画素領域をテンプレートとして登録してもよい。または、良品の基板のカラー画像上で作業員に各はんだ付け部位を含むような領域を指定させ、この指定された領域をテンプレートとして登録してもよい。
【００６２】
つぎに、異物検査の方法について説明する。なお、この実施例では、正規の実装部品以外の部品およびブリッジを異物とするが、その他に鏡面反射性が高く、基板に存在すべきでない物体があれば、同様の方法で検出することができる。
【００６３】
図５は、トランジスタの実装領域に飛んだチップ部品を異物として検出する処理を示す。この例でも、図３に示した方法による第１撮像および第２撮像を行って、Ｒ−ＴＯＰ画像およびＢ−ＴＯＰ画像を生成した後に、両者間の色差画像を作成する（図５の（１）（２）（３））。各カラー画像では、トランジスタを１６とし、そのフィレットを１２とする。また図４と同様に、チップ部品を１５とし、その電極を１１とする（この例のチップ部品１５は、はんだ付けされたものではないので、フィレット１０は存在しない。）。
【００６４】
この例では、正規の部品（検査データ中に登録されている部品。この例ではトランジスタ１６である。）のランドウィンドウの設定データに基づきテンプレートを作成し、このテンプレートを用いたテンプレートマッチングにより、正規の部品１６のはんだ領域（この場合はフィレット１２のみが含まれる。）を特定する（図５の（４）（５））。
【００６５】
図５の（１）〜（５）の各処理は、処理対象の部品は異なるが、実質的には、図４の（１）〜（５）に示したのと同内容のものである。
さらに、この実施例では、特定されたはんだ領域内の各白画素を黒画素に変更することにより、はんだ領域を認識対象から除外する（図５の（６）（７））。そして、この処理後も色差画像に残っている白画素領域を、異物として検出する。
【００６６】
トランジスタ１６のフィレット１２でも、チップ部品１５のフィレット１０と同様の反射が生じるから、Ｒ−ＴＯＰ画像とＢ−ＴＯＰ画像とでは、青色領域と赤色領域との関係が反対になる。また、チップ部品１５の電極１１も鏡面反射性が高いので、同様に色彩の逆転現象が生じる。このため、この例の色差画像では、トランジスタ１６の各フィレット１２とチップ部品１５の電極１１とが、白画素領域として現れる。
【００６７】
上記の白画素領域のうちトランジスタ１６のフィレット１２に対応するものは、上記の（４）（５）の処理によって検出され、（６）の処理によって認識対象から除外される。よって、（６）の処理後も残る白画素領域は、チップ部品の電極１１に相当する部分となる。
【００６８】
このように、図５の方法では、Ｒ−ＴＯＰ画像とＢ−ＴＯＰ画像との色差画像を作成し、その色差画像により現れた白画素領域のうち、存在を肯定できる領域（正規の部品のはんだ領域）を消去することによって、イレギュラーに現れている白画素領域を異物として検出する。このような方法によれば、異物がどこに付着するかを予測するのが困難な場合でも、異物を容易に検出することが可能になる。
【００６９】
つぎに、図６は、ＩＣを対象に、電極間のブリッジ６２を異物として検出する方法を示す。なお、この図では、便宜上、ＩＣの一部を含む範囲を撮像したものとして、各画像を示す。カラー画像中の６０はＩＣの部品本体であり、６１は電極である。
【００７０】
図６の例の各カラー画像中の電極６１には、部品本体６０に近い付け根の部分と先端部分に、照明部Ａに対応する色彩（Ｒ−ＴＯＰ画像では赤、Ｂ−ＴＯＰ画像では青）が現れ、これらの間に、照明部Ｃに対応する色彩（Ｒ−ＴＯＰ画像では青、Ｂ−ＴＯＰ画像では赤）が現れている。また、この図では明記していないが、各電極６１の先端部には、はんだ付け部位も含まれる（細かい色彩の分布は省略する。）。また照明部Ｃに対応する色彩により表される急峻な部分に、ブリッジ６２が生じており、このブリッジ６２も、照明部Ｃに対応する色彩で表されている。
【００７１】
この例でも、先の２例と同様に、Ｒ−ＴＯＰ画像とＢ−ＴＯＰ画像とを生成し（図６の（１）（２））、これらの画像間の色差画像を求める（図６の（３））。さらにこの実施例では、処理対象のＩＣの部品情報（基板のＣＡＤデータから導き出されたもので、各電極の幅、長さ、ピッチなどを示す情報が含まれる。）に基づき、各電極６１の配置パターンを表すテンプレート（図６（４）（５）に示すように、各電極６１に対応する大きさの矩形枠（先端のはんだ付け部位も含まれる。）の集合として構成される。）を作成し、テンプレートマッチングを実行する。テンプレートマッチングの方法は、図４，５のランドウィンドウに基づくテンプレートによるものと同様である。
【００７２】
さらにこの実施例では、上記のテンプレートにより最大の一致度が得られたときに各矩形に対応づけられた領域を、電極に対応する領域（以下、「電極領域」という。）として特定する（図６の（５））。そして、各電極領域を、図５の例のはんだ領域と同様に、認識対象から除外し（図６の（６））、残された白画素領域を異物として検出する（図６の（７））。
【００７３】
ＩＣの電極は金属であるため、鏡面反射性が高く、その傾斜角度によって所定の照明部に対応する色彩が強調されて出現する。またブリッジは、はんだの溶融により生じるので、同様に、その傾斜状態を反映した色彩が優勢に現れる。
【００７４】
図６の例によれば、電極６１およびブリッジ６２では、Ｒ−ＴＯＰ画像とＢ−ＴＯＰ画像とで色領域の逆転現象が生じているため、色差画像でも、電極６１およびブリッジ６２の双方が白画素領域として現れる。しかし、電極６１に対応する白画素領域は、テンプレートマッチングにより電極領域として特定され、認識対象から除外されるので、最後に残るのは、ブリッジ６２に相当するイレギュラーな白画素領域となる。
【００７５】
図５，６に示した方法によれば、正規に実装されたものではないチップ部品１５やブリッジ６２のように、発生する場所や画像に現れる色彩を特定しにくい不良を、容易に検出することが可能になる。
ただし、正規の部位に対応する白画素領域でも、テンプレートとの不整合によって若干の白画素が残る可能性があるので、後記するように、残された白画素領域のうち、面積が所定のしきい値を上回るものを異物と認定するのが望ましい。
【００７６】
また、この種の異物検査を基板Ｓ全体に対して実行する場合には、検査対象の基板Ｓをいくつかの撮像対象領域に分割し、これらの領域毎に第１撮像および第２撮像を実行し、さらに色差画像を生成する。そして、撮像対象領域に含まれる正規の部品につき、その部品種に応じて図５または図６の方法を実行することによって、正規の部品のはんだ領域や電極領域を特定し、特定された領域以外の白画素領域があるか否かによって、異物の有無を判別することができる。また異物が存在すると判別した場合には、対応する白画素領域の面積や位置を計測することによって、その異物の大きさや位置を判別することも可能である。
このように、基板全体を対象にした異物検出を行えば、鏡面反射性の高い部位を含む異物を、その場所や形状を問わずに検出することが可能になる。
【００７７】
なお、上記の各実施例では、照明装置２の照明部Ａと照明部Ｃとの照明色を逆転させることによって、第１撮像と第２撮像との照明の態様を異なるものにしたが、照明部Ｂも含めたすべての照明部の色彩を入れ替えるようにしてもよい。このような照明によれば、ブリッジなど、傾斜角度の予測が困難な異物に対する検出の精度を向上することができる。
【００７８】
図７は、図５に示した方法を適用したはんだ検査のフローチャートである。
なお、この図７および以下の図８，９のフローチャートは、いずれも１枚の基板に対する処理の手順を示すもので、基板Ｓが搬入される毎に、同じ手順が繰り返し実行される。また、各図とも、流れが複雑になるのを防止するために、基板Ｓに設定される撮像対象領域を１つに限定しているが、複数の撮像対象領域が割り付けられる場合には、これらの領域毎に、図示された手順を実行する必要がある。
【００７９】
図７のはんだ検査では、最初のステップであるＳＴ１０１（ＳＴは「ステップ」の略である。以下も同じ。）で、第１撮像を実行することによってＲ−ＴＯＰ画像を生成する。また、つぎのＳＴ１０２で、第２撮像を実行することによってＢ−ＴＯＰ画像を生成する。さらに、ＳＴ１０３では、これら２枚のカラー画像を用いて、撮像対象領域全体を対象にした色差画像を生成する。
【００８０】
この後は、撮像対象領域に含まれる検査対象の部品（ランドウィンドウが設定されているもの）に対し、それぞれメモリに登録された検査データを用いて、ＳＴ１０４〜１１０のループを順に実行する。このループ内の実質的な処理について説明すると、まず、処理対象部品に検索用ウィンドウを設定する（ＳＴ１０５）。なお、この検索用ウィンドウは、処理対象部品の実装範囲を包含し、部品が多少位置ずれしても、検索用ウィンドウから逸脱することがない大きさに設定される。
【００８１】
つぎに、処理対象部品のランドウィンドウの設定データに基づいて、図４の（４）に示したようなテンプレートを設定し、テンプレートマッチングを実行する（ＳＴ１０６，１０７）。
【００８２】
テンプレートマッチングでは、上記のテンプレートにより検索用ウィンドウ内を走査して、このウィンドウ内でテンプレートに対する一致度が最も高くなる場所を特定し、その特定された場所に設定された各矩形枠に基づき、ランドウィンドウの設定位置を決定する。
【００８３】
この後は、第１撮像で生成されたＲ−ＴＯＰ画像を対象に、上記の決定に基づいてランドウィンドウを設定する（ＳＴ１０８）。そして、ランドウィンドウ毎に、そのウィンドウに対応する検査用データを用いて、ウィンドウ内の青色領域を抽出する処理、抽出した青色領域の面積を計測する処理、面積の計測値を判定基準値と比較する処理等を実行し、はんだの表面状態の適否を判別する（ＳＴ１０９）。なお、フィレットの状態を判別する検査以外の検査（たとえば、ぬれ不良の検出）には、青色領域以外の色領域も検出する。
【００８４】
このようにして、すべての部品に対する検査が終了すると、各部品に対する判定結果をまとめて、外部機器などに出力し（ＳＴ１１１）、検査を終了する。
【００８５】
つぎに、図８は、基板Ｓに対し、図５の方法による異物検査（以下、「異物検査（１）」という。）を行う場合の手順を示す。
この処理でも、第１撮像および第２撮像を実行した後に、これらの撮像により生成されたＲ−ＴＯＰ画像とＢ−ＴＯＰ画像との色差画像を生成する（ＳＴ２０１〜２０３）。
【００８６】
この後は、撮像対象領域内に含まれる部品のうち、チップ部品１５やトランジスタ１６のように、はんだ付け部位毎にランドウィンドウが設定されるものを対象に、ＳＴ２０４〜２１４のループを実行する。
【００８７】
このループ中の実質的な処理のうち、ＳＴ２０５，２０６，２０７では、それぞれ図７のＳＴ１０５，１０６，１０７と同様の処理を実行して、処理対象部品のはんだ領域を特定する。ＳＴ２０８では、特定されたはんだ領域内の画素を黒画素に変更する。この処理により、図５の（６）（７）に示したように、正規の部品に対応するはんだ領域が認識対象から除外される。
【００８８】
ＳＴ２０９では、残された白画素領域を対象にしたラベリングを実行する。具体的には、白画素の連結関係をたどることにより、連続する白画素群毎に切り分け、これらの画素群にそれぞれ個別のラベルを設定する。さらに、ＳＴ２１０では、ラベルが設定された領域毎に面積（領域の構成画素数）を計数し、面積が所定のしきい値Ｔ以上になる領域を抽出する。
【００８９】
上記ＳＴ２１０の処理により、面積がしきい値Ｔ以上になる領域が見つかった場合（ＳＴ２１１が「ＹＥＳ」）には、「異物あり」と判定する（ＳＴ２１２）。これに対し、上記の条件を満たす領域が見つからなかった場合（ＳＴ２１１が「ＮＯ」）には、「異物なし」と判定する（ＳＴ２１３）。
【００９０】
上記ＳＴ２０４〜２１４のループによれば、各部品の検索用ウィンドウ内に異物があるか否かを判別することができる。なお、ここで検出される異物の多くは、図５に示したチップ飛びによるものであるが、これに限らず、隣接する部品との間に生じたブリッジなどを検出することもできる。
すべての部品に対する処理が終了すると、上記の判定結果を出力し（ＳＴ２１５）、検査を終了する。
【００９１】
図９は、基板Ｓに対し、図６の方法を用いた異物検査（以下、「異物検査（２）」という。）を行う場合のフローチャートである。
【００９２】
この処理でも、第１撮像および第２撮像を行った後に、色差画像を生成する（ＳＴ３０１〜３０３）。さらに、撮像対象領域内の部品のうち、多数の電極を具備する部品（ＩＣ，ＬＳＩなど）を処理対象として、処理対象部品毎にＳＴ３０４〜３１４のループを実行する。
【００９３】
このループでも、まず処理対象部品を包含する範囲に検索用ウィンドウを設定する（ＳＴ３０５）。つぎに、処理対象部品の部品情報中の各電極の情報に基づいて、図６の（４）に示したようなテンプレートを作成し（ＳＴ３０６）、このテンプレートを用いて、検索対象ウィンドウに対するテンプレートマッチングを実行する（ＳＴ３０７）。この処理により、各電極に対応する電極領域が特定される。
【００９４】
ＳＴ３０８では、検索用ウィンドウ内の白画素領域のうち、ＳＴ３０７で特定された各電極領域内の画素を黒画素に変更することにより、これらの電極領域を認識対象から除外する。ＳＴ３０９では、残された白画素領域を対象に、図８のＳＴ２０９と同様のラベリング処理を実行する。ＳＴ３１０では、ラベルが設定された領域の中から面積がしきい値Ｕ以上になるものを抽出する。
【００９５】
ここで、面積がしきい値Ｕ以上になる領域があれば（ＳＴ３１１が「ＹＥＳ」）、「異物あり」と判定し（ＳＴ３１２）、上記の条件を満たす領域が抽出されなかった場合には（ＳＴ３１１が「ＮＯ」）、「異物なし」と判定する。ここで検出される異物の多くは、図６に示したような電極間のブリッジであるが、これに限らず、チップ飛びによる異物が検出される場合もある。
【００９６】
撮像対象領域に含まれる全ての処理対象部品について、ＳＴ３０４〜３１４のループが終了すると、これらの部品における検査の結果を出力し（ＳＴ３１５）、検査を終了する。
【００９７】
なお、図７〜９では、はんだ検査および２とおりの異物検査について、それぞれ個別のフローチャートを示したが、このように個別に検査を実行するのではなく、各検査を連続して実行してもよい。この場合には、１つの撮像対象領域に対し、第１撮像、第２撮像、および色差画像の生成処理を１回ずつ実行し、生成された色差画像を用いて３種類の検査を順に実行することができる。また、はんだ検査を実行した後に、この検査で特定されたはんだ領域に基づいて異物検査（１）を行うようにすれば、図８に示した各ステップのうちのＳＴ２０７までの処理を省略することができる。
【００９８】
さらに、各部品に対する検査用ウィンドウによって基板Ｓの全面がカバーされるように、各検査用ウィンドウの設定データを定め、これらのウィンドウにつき、部品の種類に応じて異物検査（１）または（２）を実行すれば、基板Ｓのどの場所に異物があっても、漏れなく検出することが可能になる。
【００９９】
上記のように、この実施例では、１つの撮像対象領域に対し、各照明部Ａ，Ｃの照明色をそれぞれ異なるものにして２回の撮像を行い、これらの撮像により得たカラー画像間の色差を求めることにより、鏡面反射が優勢な部位を精度良く検出することができる。よって、この方法をランドウィンドウの設定位置を決定する処理に用いることにより、２値化処理によってはんだ領域を特定する必要がなくなり、この２値化のためのしきい値を設定する必要もなくなるから、ティーチング時の作業員の負担が大幅に軽減される。
【０１００】
さらに、上記の方法を異物の検出に用いることにより、鏡面反射性の高い部位を含む異物であれば、その場所や形状に関わらず、精度良く検出することが可能になる。よって、異物の検出の対象とする領域の選定や、検出に用いるパラメータの設定のために労力をかける必要もなくなり、この点においても、ティーチングにかかる作業員の負担が大幅に軽減される。
【図面の簡単な説明】
【０１０１】
【図１】基板外観検査装置の構成を示すブロック図である。
【図２】光学系の構成を示す説明図である。
【図３】撮像方法および生成される画像の具体例を示す説明図である。
【図４】ランドウィンドウの設定位置を決定する処理の具体例を示す説明図である。
【図５】チップ飛び不良に係る部品を検出する処理の具体例を示す説明図である。
【図６】ブリッジ不良を検出する処理の具体例を示す説明図である。
【図７】はんだ検査の手順を示すフローチャートである。
【図８】異物検査の手順を示すフローチャートである。
【図９】異物検査の手順を示すフローチャートである。
【符号の説明】
【０１０２】
１ カメラ
２ 照明装置
５ 制御処理装置
５０ 制御部
１０，１２ フィレット
１１，６１ 部品電極
６２ ブリッジ
Ａ，Ｂ，Ｃ 照明部
Ｓ 基板
【技術分野】
【０００１】
この発明は、一部または全体の鏡面反射性が周囲より高い物体を認識対象として、画像処理により認識対象物の有無、位置、大きさなどを認識する技術分野に属する。特にこの発明は、「カラーハイライト方式」と呼ばれる光学系により生成されたカラー画像を用いて上記の認識を行う方法、およびその方法が適用された基板外観検査装置に関する。
【背景技術】
【０００２】
従来の「カラーハイライト方式」の基板外観検査装置（以下、単に「検査装置」という場合もある。）は、赤、緑、青の各色彩光をそれぞれ基板に対する仰角が異なる方向から照射する照明装置と２次元のカラーカメラとを具備するものである。基板には、仰角が最も大きい方向から赤色光が、仰角が最も小さい方向から青色光が、これらの中間にあたる方向から緑色光が、それぞれ照射される。カメラ１は、光軸を鉛直方向に向けて配置され、その光軸を取り囲む全方位から上記３種類の色彩光が照射される。このような照明下での撮像により、はんだフィレットのような鏡面反射性の高い物体について、平坦に近い面が赤色となり、傾斜が急な面が青色となり、これらの面の中間の傾斜状態の面が緑色となるようなカラー画像が生成される。よって、画像中のはんだ付け部位の色彩パターンを観測することによって、はんだの表面の傾斜の状態を認識することが可能になる。
【０００３】
また、この検査装置には、あらかじめ、自動検査を行うための検査基準データとして、検査領域の設定データ（領域の位置および大きさを示す。）、はんだの表面状態の判別に必要な色領域（主に青色が優勢な領域）を抽出するための２値化しきい値、色領域に対する計測値により得た特徴量の適否を判断するための判定基準値などが、部品毎に登録される。検査の際には、検査対象の基板を上記の照明装置やカメラを用いて撮像した後に、上記の検査基準データに基づき、生成されたカラー画像中のはんだ付け部位に検査領域を設定し、色領域の抽出および計測を実行する。そして、得られた計測値を判定基準値と比較することによって、各被検査部位の良否を判別する。
【０００４】
ただし、基板上のはんだ付け部位の位置は一定ではなく、ばらつきがあることが知られている。このばらつきは、マウンタにより部品が実装される際の部品のずれや、はんだ付け工程での熱による基板の収縮などによって生じる。このようなばらつきに対応するために、従来の検査装置では、部品毎に、その部品を包含するのに十分な大きさの検索用ウィンドウを設定し、このウィンドウ内で輝度の高い領域をはんだに付け部位として検出し、その検出結果に基づき、はんだ検査用の検査領域の設定位置を調整するようにしている（特許文献１ 段落０００６〜０００９、００７６参照。）
【０００５】
【特許文献１】特許第３５９９０２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示されているように、検査領域の設定前にはんだ付け部位を検出する処理では、Ｒ，Ｇ，Ｂ毎に設定された２値化しきい値を用いて、赤、緑、青のいずれかの色彩が強く、かつ輝度の高い画素を抽出する。しかし、画像中の各はんだ付け部位に現れる色合いや輝度には、それぞれの部位の傾斜状態や位置によってばらつきがあるため、これらのばらつきを考慮して、どの場所のはんだ付け部位も抽出できるようなしきい値を設定する必要がある。また、検査のための２値化しきい値が、良好な形状のはんだを検出することを目的とするのに対し、検査領域の設定前に使用されるしきい値は、良／不良を問わず、種々の形状のはんだを検出できるようにする必要があるので、検査で検出される範囲より広い範囲を検出対象とする必要がある。
これらの点を考慮して２値化しきい値を設定するには、経験が必要であるため、熟練した作業者でなければ作業を行うことはできない。しかし、熟練者にとっても、非常に困難な作業であり、多大な労力がかかる。
【０００７】
つぎに、部品実装基板には、「チップ飛び」と呼ばれる不良（部品実装時やはんだ付け時に、何らかの原因によって、チップ部品が実装されるべきでない場所に落ちてしまう不良）や、電極間のブリッジ不良（電極の間に付着したはんだが溶融し、電極間が短絡状態になる不良）などが生じることがある。これらの不良については、偶発的に生じる場合も多いため、発生する部位を予測するのが難しく、精度の良い検査を行うための設定が非常に困難である。
【０００８】
この発明は、上記の問題点に鑑み、鏡面反射性の高い物体を、カラーハイライト方式の光学系の特性を利用して、簡単かつ正確に認識できるようにすることを、課題とする。さらに、この課題の解決により、はんだ付け部位や基板にあるべきでない異物を簡単に検出できるようにすることによって、これらの検出のために複雑な設定を行う必要をなくすことを、第２の課題とする。
【課題を解決するための手段】
【０００９】
この発明による方法は、互いに異なる色彩光を発し、撮像対象領域に対してそれぞれ仰角が異なる方向に配置された複数の照明部を具備する照明装置と、撮像対象領域に位置合わせされたカラー画像用の撮像装置とを用いて撮像対象領域を撮像し、生成されたカラー画像を処理することによって、撮像対象領域に含まれる鏡面反射性の高い物体を認識するものである。
【００１０】
上記した構成の照明装置による照明下で撮像を行うと、撮像対象領域内の鏡面反射性の高い物体の表面について、その表面で正反射して撮像装置に入射した光の色彩が現れた画像を得ることができる。ここで、この画像に現れた色彩に対応する光を照射した照明部の発光色を切り替えて、再度撮像を行うと、この画像中の物体の色彩も、切り替え後の照明の色彩に対応するものに変化すると考えられる。
【００１１】
この発明による方法では、上記の現象に着目し、照明装置の複数の照明部のうちの少なくとも１つを、発光色の切り替えが可能に構成し、この照明装置による照明下での撮像を撮像対象領域を変更せずに２回実行するとともに、発光色の切り替えが可能な所定数の照明部が２回目の撮像時に１回目の撮像時とは異なる色彩で発光するように、２回の撮像における照明装置の動作を制御する。さらに、２回の撮像により生成された２枚のカラー画像の一部または全体を対象に、各画像間の色差が所定のしきい値を超えた領域を表す色差画像を生成し、この色差画像に現れた領域をあらかじめ登録されたモデルデータと照合し、その照合結果に基づき撮像対象領域内の物体を認識する。
なお、発光色の切り替えを行う照明部は、「モデルデータに適合する物体」の検出に適した照明部または全ての照明部とするのが望ましい。
【００１２】
上記の方法によれば、所定の照明部の発光色が撮像毎に異なるものになるように制御して、同じ撮像対象領域を２回撮像すると、鏡面反射性が高く、発光色が切り替えられた照明部からの光に対応する色彩が現れる箇所について、各撮像により生成された画像間の色彩に大きな差を生じさせることができる。さらに、この色彩に大きな差が生じた領域を色差画像に基づき特定した後に、モデルデータに適合する領域を検出するから、モデルデータに適合するか否かによって、認識対象の物体を容易に判別することが可能になる。
なお、「認識対象の物体」は、「モデルデータに適合する物体」に限らず、「モデルデータに適合しない物体」になる場合もある。
【００１３】
上記方法の一態様では、はんだ付け後の部品実装基板を対象に２回の撮像を実行し、各撮像により得たカラー画像から生成した色差画像を、はんだ付け部位を表すモデルデータと照合することにより、しきい値を超える色差が生じた領域の中からモデルデータに適合する領域を検出し、検出された領域をはんだ付け部位に対応するものとして認識する。
【００１４】
この方法によれば、２回の撮像、色差画像の生成、およびモデルデータによる照合処理によって、はんだ付け部位に対応する領域を、容易にかつ正確に認識することが可能になる。
【００１５】
上記の態様で用いられるモデルデータは、実物の基板または基板に関する情報を用いて作成することができる。たとえば、モデルの基板について、本処理と同様の方法による２回の撮像および色差画像の生成処理を行って、しきい値を超える色差が生じた領域を抽出し、この領域の分布パターンをモデルデータとすることができる。または、はんだ付け部位の検査のために設定される検査領域（ランドウィンドウ）のパターンを、モデルデータとしてもよい。あるいは、ＣＡＤデータなどの設計データから読み出したランドの情報を用いて、モデルデータを作成してもよい。
【００１６】
さらに好ましい態様では、色差画像中で色差が前記しきい値を超えた領域の中に、はんだ付け部位に対応する領域として特定された以外の領域が存在するとき、その領域を異物に対応するものとして認識する。
【００１７】
上記の態様によれば、正しく実装されたものではない部品やブリッジなどの異物を、容易に検出することが可能になる。
【００１８】
他の好ましい態様では、はんだ付け後の部品実装基板を対象に前記２回の撮像を実行し、各画像により得たカラー画像から生成した色差画像のうち複数の部品電極を含む範囲を、これらの電極の配置パターンを表すモデルデータと照合することにより、照合範囲内でしきい値を超える色差が生じた領域の中からモデルデータに適合しない領域を検出する。そして、当該領域が検出されたとき、その領域を異物に対応するものとして認識する。
【００１９】
上記の態様によれば、大きな色差が生じた領域の中から、部品電極の配置パターンに対応する領域以外の領域を特定することによって、電極間に生じたブリッジ等の微小な異物でも、容易に検出することが可能になる。
【００２０】
さらに、上記の物体認識方法は、互いに色彩が異なる光を発し、撮像対象領域に対してそれぞれ仰角が異なる方向に配置された複数の照明部を具備する照明装置と、カラー画像用の撮像装置とが、部品実装基板の上方に照明部からの照明光に対する基板からの正反射光を撮像装置に入射させることが可能な関係をもって配備され、撮像装置および照明装置により生成された基板の画像を処理することによって、部品の実装状態の適否を判別する基板外観検査装置に適用することができる。この検査装置は、照明装置の複数の照明部のうちの少なくとも１つが、発光色を切り替えることが可能に構成され、以下の登録手段、制御手段、色差画像生成手段、領域検出手段、はんだ検査手段を具備することを特徴とする。
【００２１】
登録手段は、検査対象の基板に実装される部品のはんだ付け部位の検査に用いられる検査基準データを登録するためのものである。制御手段は、照明装置による照明下で撮像対象領域を変更せずに撮像装置に２回の撮像を行わせるとともに、発光色の切り替えが可能な所定数の照明部が、２回目の撮像時に１回目の撮像時とは異なる色彩で発光するように、２回の撮像における照明装置の動作を制御する。
【００２２】
色差画像生成手段は、２回の撮像により生成された２枚のカラー画像の一部または全体を対象に、各画像間の色差が所定のしきい値を超えた領域を表す色差画像を生成する。領域検出手段は、上記の色差画像が生成される範囲に含まれるはんだ付け部位を表すモデルデータを用いて色差画像を照合することにより、色差が前記しきい値を超えた領域の中からモデルデータに適合する形状の領域をはんだ付け部位として検出する。
【００２３】
はんだ検査手段は、検出されたはんだ付け部位について、２枚のカラー画像のいずれか一方の当該はんだ付け部位の画像を処理対象として、登録手段に登録された検査基準データを用いて処理対象の画像を処理することによって、はんだ付け部位におけるはんだの表面状態を判別する。
【００２４】
上記構成の検査装置によれば、はんだ検査の対象となるはんだ付け部位を検出する処理に先の物体認識方法を適用するので、各はんだ付け部位を簡単かつ正確に検出することができる。また、はんだ付け部位を検出した後は、２回の撮像により得た２枚のカラー画像のいずれか一方を用いて検査に関する処理を進めるので、精度の高い自動検査を実行することができる。
【００２５】
好ましい実施態様の検査装置には、色差画像において、はんだ付け部位として検出された領域以外にしきい値を上回る色差が生じた領域があるか否かによって、検査対象の基板に異物が存在するか否かを判別する手段が、さらに設けられる。この構成によって、正しく実装されたものではない部品やブリッジなど、生じる場所や色彩を予測することが困難な不良を、容易に検出することができる。
【００２６】
さらに好ましい実施態様の検査装置には、基板上の複数の電極について、各電極の配置パターンを表すモデルデータを用いて、色差画像中の各電極が含まれる範囲をモデルデータと照合することによって、しきい値を超える色差が生じた領域の中から各電極に対応する領域を検出し、検出された領域以外にしきい値を超える色差が生じた領域があるか否かによって、検査対象の基板に異物が存在するか否かを判別する手段を、さらに具備する。
【００２７】
上記の構成によれば、電極間のブリッジなどの小さな異物についても、容易に検出することが可能になる。
【発明の効果】
【００２８】
上記の物体認識方法によれば、一部または全ての照明部の発光色を撮像毎に切り替えて、２回の撮像を実行し、生成された２枚のカラー画像間の色差を対象にした処理を行うことによって、鏡面反射性の高い物体を、簡単かつ正確に認識することが可能となる。
【００２９】
さらに、この方法を基板検査に適用することによって、画像中のはんだ付け部位や異物を、容易かつ精度良く検出することが可能になる。また、検査の前に、これらを検出するために複雑なパラメータを設定する必要がなくなるから、設定処理に要する労力を大幅に軽減することができる。
【発明を実施するための最良の形態】
【００３０】
図１は、この発明が適用された基板外観検査装置の電気的構成を示す。
この基板外観検査装置（以下、単に「検査装置」という。）は、はんだ付け後のプリント基板を対象に、各部品の接続状態の適否を検査するためのもので、カメラ１、照明装置２、Ｘステージ部３、Ｙステージ部４、およびコンピュータによる制御部５０を含む制御処理装置５などにより構成される。このほか、図１には示していないが、この検査装置には、検査対象の基板を支持するための基板支持テーブルや、基板の搬出入機構などが設けられる。
【００３１】
カメラ１は、検査対象の基板のカラー静止画像を生成する。照明装置２は、複数のＬＥＤを発光源とするものである。
Ｘステージ部３は、カメラ１および照明装置２を基板支持テーブルの上方で支持し、Ｙステージ部４は基板支持テーブルを支持する。いずれのステージ部３，４とも、その支持対象を、一軸に沿って移動させることが可能である。また一方のステージ部による移動の方向は、他方のステージ部による移動の方向に直交する関係にある。
【００３２】
制御処理装置５は、各ステージ部３，４やカメラ１および照明装置２の動作を制御して検査のためのカラー画像を生成し、各種検査を実行するもので、制御部５０のほか、画像入力部５１、撮像制御部５２、照明制御部５３、Ｘステージ駆動部５４，Ｙステージ駆動部５５、入力部５６、表示部５７、通信用インターフェース５８などが含まれる。
【００３３】
画像入力部５１には、カメラ１から出力されたＲ，Ｇ，Ｂの各画像信号を受け付けるインターフェース回路や、これらの画像信号をディジタル変換するＡ／Ｄ変換回路などが含まれる。撮像制御部５２は、カメラ１の撮像タイミングを制御し、照明制御部５３は、照明装置２の各ＬＥＤの光量、発光色、点灯タイミングなどを制御する。
【００３４】
入力部５６は、ティーチングの際の設定操作などを行うためのもので、専用の操作ボタン、またはマウスやキーボードにより構成される。表示部５７は、検査用の画像や検査結果などを表示するためのもので、液晶パネルなどにより構成される。通信用インターフェース５８は、検査結果を外部の装置に送信する目的に使用される。
【００３５】
制御部５０内の図示しないメモリには、制御および検査に関するプログラムのほか、検査に用いられる各種設定データを登録した検査データファイルが格納される。この検査データファイルには、基板に割り付けられた撮像対象領域にカメラ１の視野を合わせるのに必要なＸ、Ｙステージ部３，４の移動量、後記する検索用ウィンドウやランドウィンドウ等の検査領域の設定データ（各種領域の位置や大きさを示すデータ）、被検査部位の色彩を検出するための２値化しきい値、被検査部位を計測して得た特徴量の適否を判定するための判定基準値などが含まれる。
【００３６】
制御部５０は、これらのプログラムや設定データを用いて、カメラ１と基板との位置関係を定めてカメラ１に撮像を行わせ、生成されたカラー画像を画像入力部５１を介して取り込む。ここで入力される画像データは、Ｒ，Ｇ，Ｂの各色彩の階調データ（たとえば８ビット構成であれば０〜２５５の数値範囲をとる。）の組み合わせにより色彩を表現するものである。制御部５０は、入力した画像を用いて、後記する各種の検査を実行し、最終的に、各検査結果をまとめて、基板が良品基板であるか不良基板であるかを判定する。各検査の結果は基板毎にまとめられて表示部５７に表示されるほか、通信用インターフェース５８を介して図示しない外部機器に出力される。
【００３７】
図２は、上記の検査装置で用いられる光学系の構成を示す。図中のＳは、検査対象の基板であり、１５は、基板Ｓ上に実装されたチップ部品である。なお、基板Ｓに実装されるのはチップ部品１５に限らず、後記するＩＣをはじめとする種々の部品が実装される。
【００３８】
この実施例のカメラ１および照明装置２は、いわゆる「カラーハイライト方式」の光学系を構成する。
照明装置２は、外形が円筒状または多角形状のケース体２０を本体部とする。ケース体２０の中心部にはカメラの覗き穴２２が形成され、内部には、所定の高さ位置に、複数のＬＥＤ２１が配線された基板２３が、面を水平にした状態で配備される。カメラ１は、その受光面を真下に向け、かつ光軸Ｌを覗き穴２２の中心に合わせた状態にして配備される。カメラ１と照明装置２との位置関係は常にこの状態に維持される。
【００３９】
照明装置２内の各ＬＥＤ２１は、覗き穴２２を取り囲むように、複数列にわたって同心円状に配列される。なお、ここには図示していないが、基板２３は複数枚あり、各基板２３を覗き穴２２の周辺に沿わせて配列することにより、ＬＥＤ２１の同心円状の配列パターンが完成する。
【００４０】
ＬＥＤ２１には、赤色光を発するもの（ＬＥＤ２１Ｒ）、緑色光を発するもの（ＬＥＤ２１Ｇ）、青色光を発するもの（ＬＥＤ２１Ｂ）の３種類がある。この図では、各ＬＥＤ２１Ｒ，２１Ｇ，２１Ｂの照明色を、それぞれ網点、横線、斜線の各パターンで示している（図３の模式図でも同様である。）。
ＬＥＤ２１の同心円の径方向では、３種類のＬＥＤ２１Ｒ，２１Ｇ，２１Ｂが、この順序で繰り返し配列される。さらに、ここには図示していないが、１つ１つの円の円周上でも、同様に、各ＬＥＤ２１Ｒ，２１Ｇ，２１Ｂが順番に配列されている。
【００４１】
ケース体２０内の基板２３より下方の空間は、覗き穴２２からの距離に応じて、３つの領域Ａ，Ｂ，Ｃに分割される。また各領域Ａ，Ｂ，Ｃ間の境界には、それぞれケース体２０の外周と同様の形状を具備する壁部２５，２６が設けられる。
【００４２】
さらにケース体２０の下端の開口部には、光拡散部材２４が設けられている。この光拡散部材２４は、各領域Ａ，Ｂ，Ｃに応じた大きさの３つの傾斜面２４Ａ，２４Ｂ，２４Ｃを連続させた構成のもので、各傾斜面２４Ａ，２４Ｂ，２４Ｃは、覗き穴２２から遠ざかるほど下方に変位し、また傾きが急峻になる。
【００４３】
さらに、この実施例では、各領域Ａ，Ｂ，Ｃとも、３種類のＬＥＤ２１Ｒ，２１Ｇ，２１Ｂのうちの一種類が点灯し、また領域間で発光色が重ならないように、各ＬＥＤ２１の点灯・消灯を制御する。
このように、領域Ａ，Ｂ，Ｃ毎に異なる種類のＬＥＤを点灯させる制御と、壁部２５，２６および光拡散部材２４の存在によって、各領域Ａ，Ｂ，Ｃは、「互いに異なる色彩光を発し、撮像対象領域に対してそれぞれ仰角が異なる方向に配置された複数の照明部」として機能するようになる。よって、以下の説明では、各領域Ａ，Ｂ，Ｃを「照明部Ａ，Ｂ，Ｃ」と言い換えることにする。
【００４４】
この実施例の検査装置では、上記の照明装置２の機能を利用して、撮像対象領域毎に、態様の異なる２とおりの照明を実行して照明毎に撮像を行い、生成された２枚のカラー画像を用いて、鏡面反射性の高い部位（はんだや電極）を検出するようにしている。
【００４５】
図３は、上記の撮像処理の具体例と、撮像により生成される各種画像を模式的に示す。
先にも述べたように、この実施例では、１つの撮像対象領域を２回撮像するようにしている。以下、１回目の撮像を「第１撮像」といい、２回目の撮像を「第２撮像」という。
【００４６】
第１撮像は、照明部Ａに赤色光を、照明部Ｂに緑色光を、照明部Ｃに青色光を、それぞれ点灯した状態で実行される。この照明状態は、先の特許文献１をはじめとする従来のカラーハイライト方式の照明と同様の態様のものである。
【００４７】
これに対し、第２撮像では、照明部Ａにおける発光色と照明部Ｃにおける発光色とを、第１撮像とは反対になるようにする。すなわち、照明部Ａに青色光を点灯させ、照明部Ｃに赤色光を点灯させる。
【００４８】
以下、第１撮像で生成されるカラー画像を「Ｒ−ＴＯＰ画像」と呼び、第２撮像で生成されるカラー画像を「Ｂ−ＴＯＰ画像」という。
図３では、上段に、基板Ｓ上のチップ部品１５を対象に、第１撮像および第２撮像を行う例を示すとともに、中段に、これらの撮像により生成されるＲ−ＴＯＰ画像およびＢ−ＴＯＰ画像を示している。ここでは、チップ部品１５のフィレットに符号１０を、部品電極に符号１１を、それぞれ付すとともに、対比の便宜のために、各カラー画像中のチップ部品、フィレット、および部品電極を、同様の符号１５，１０，１１で示す。また、これらのカラー画像では、背景部分（基板の地の色が現れている部分）を白として、フィレット１０および電極１１に現れる色彩を、赤、緑、青のうちの一番優勢になる色彩に対応するパターンにより示す。
【００４９】
この実施例の照明装置２の構成によれば、基板Ｓに対し仰角が最も大きい方向から照射される照明部Ａからの光は、平坦に近い面で正反射したときにカメラ１に入射する。よって、フィレット１０の下端部や電極１１などの平坦に近い面は、照明部Ａの発光色に近い色彩で表される。
これに対し、基板Ｓに対し仰角が最も小さい方向から照射される照明部Ｃからの光は、急峻な面で正反射したときにカメラ１に入射する。よって、フィレット１０中の急峻な面は、照明部Ｃの発光色に近い色彩で表される。
【００５０】
この実施例の場合、平坦な面の色彩を決める照明部Ａと急峻な面の色彩を決める照明部Ｃとの発光色が、第１撮像と第２撮像とで反対になるので、各カラー画像中のこれらの面と色彩との関係も逆になる。すなわち、平坦に近い面は、第１撮像では赤が優勢な領域（以下、「赤色領域」という。）となるが、第２撮像では青が優勢になる領域（以下、「青色領域」という。。）となる。一方、急峻な面は、第１撮像では青色領域となるが、第２撮像では赤色領域となる。なお、照明色が緑色に固定される照明部Ｂからの光に対応する領域（緑色が優勢になるので、以下、「緑色領域」という。）は、いずれの画像でも、赤領域と青領域との間に同様の状態で現れる。
【００５１】
Ｒ−ＴＯＰ画像とＢ−ＴＯＰ画像との色彩の違いを具体的に見分けるために、この実施例では、Ｒ−ＴＯＰ画像とＢ−ＴＯＰ画像との間で対応関係にある画素（座標が実質同一になる画素）の組毎に、色差を算出する。具体的には、カラー画像を構成するＲ，Ｇ，Ｂの各階調データ毎に画像間の階調差を求め、各差の自乗の総和を算出して色差とする。さらに、この色差が所定のしきい値を上回る画素を白画素とし、色差がしきい値以下の画素を黒画素とする２値画像（以下、これを「色差画像」という。）を生成する。
【００５２】
図３の例によれば、Ｒ−ＴＯＰ画像とＢ−ＴＯＰ画像とでは、緑色領域を除くフィレット１０の大半の部分および部品電極１１の色彩が大きく変化する。一方、部品Ｃの本体や基板Ｓの表面では拡散反射が優勢になるため、照明部Ａ，Ｃの照明色が逆転しても、色彩の大きな変化は生じない。よって、赤色と青色との間に生じる色差を抽出するのに適したしきい値を設定して２値化を行うことにより、図３の下段に示すように、赤色領域と青色領域とが入れ替わった箇所の画素が白画素となり、その他の画素が黒画素となる色差画像を生成することができる。
【００５３】
上記の色差画像によれば、はんだや電極などの鏡面反射性が高い部位を容易に特定することが可能になる。そこで、この実施例の検査装置では、基板Ｓ上の各部品のはんだ付け部位を対象にした検査（以下、「はんだ検査」という。）において、検査領域（ランドウィンドウ）の設定位置を決定する際に、図３に示した方法を適用するようにしている。さらに、チップ飛び不良を起こしたチップ部品やブリッジなどの異物を検出する検査（以下、「異物検査」という。）を行う場合にも、この方法を用いて異物を検出するようにしている。
【００５４】
図４は、はんだ検査で実行される処理の具体例を示す。なお、この例でも、チップ部品１５を処理対象とする。
この処理では、先の図３に示した方法で第１撮像および第２撮像を行うことによってＲ−ＴＯＰ画像およびＢ−ＴＯＰ画像を生成し（図４の（１）（２））、これらの画像間の色差画像を生成し（図４の（３））、この色差画像からはんだ付け部位に対応する領域（以下、「はんだ領域」という。）を特定する。なお、チップ部品１５のはんだ領域には、フィレット１０のほか、部品電極１１が含まれるものとする。
【００５５】
先に説明した方法によれば、この実施例の色差画像では、はんだ領域の大半が白画素領域として表される。そこでこの実施例では、ランドウィンドウの設定データに基づくテンプレートによる照合処理（以下、「テンプレートマッチング」という。）を行うことによって、はんだ領域に相当する白画素領域を特定するようにしている（図４の（４））。
【００５６】
上記のテンプレートは、画像中の部品に対するランドウィンドウの大きさや配置の関係を示すものである。たとえばチップ部品１５では、左右の各はんだ付け部位に設定される一対のランドウィンドウを模した矩形枠（図中、点線で示す。）が、設定データに示されるのと同様の位置関係をもって配置される。なお、このテンプレートの元になるランドウィンドウの設定データは、検査対象の画像に対するランドウィンドウの設定位置やウィンドウの大きさを表すもので、制御部５０のメモリ内の検査データファイルから読み出される。
【００５７】
テンプレートマッチングでは、テンプレート内の各矩形枠の位置関係を維持したまま、テンプレート全体を色差画像に対して１画素ずつ走査し、走査毎に、テンプレートの一致度を算出する。一致度は、各矩形枠内の白画素数により表される。具体的には、矩形枠毎にその枠内の白画素数を計数し、それぞれの計数値を加算した値を、一致度とする。
【００５８】
この実施例では、上記のテンプレートマッチングにおいて一致度が最大になったときに各矩形枠が合わせられた領域を、それぞれはんだ領域として特定する（図４の（５））。そして、このときの各矩形枠と同様の状態でランドウィンドウを設定する旨を決定する（以下、この処理を「ランドウィンドウの設定位置を決定する処理」という。）。
上記のような処理により、実装時の部品の位置ずれやはんだ付けの際の熱による基板の収縮等によって、各基板におけるはんだ付け部位の位置にばらつきが生じても、問題なく、正しい位置にランドウィンドウを設定することができる。
【００５９】
この実施例のはんだ検査では、上記のようにしてランドウィンドウの設定位置を決定した後に、第１撮像により生成されたＲ−ＴＯＰ画像を対象に、決定した位置にランドウィンドウを設定する。そして、設定されたランドウィンドウから青色領域を検出し、その面積を所定の判定基準値と比較することにより、フィレットの適否を判定する。
フィレットの検査に青色領域の面積を使用するのは、急峻な傾斜面が十分な大きさで形成されているかどうかによってフィレットの形状の良否が決まるからである。図４に示した処理によれば、フィレット１０に対応する範囲がすべて含まれるようにランドウィンドウを設定することができるので、フィレットの急峻な傾斜面の面積を正確に求めて、確度の高い判定を行うことができる。なお、フィレット検査以外の検査（たとえばぬれ不良の検出）を行う場合には、青色領域以外の色領域も検出する必要がある。
【００６０】
上記の図４では、図示の都合上、１つのチップ部品１５を対象に処理を行う例を示したが、実際の撮像対象領域には複数の部品の画像が含まれているから、色差画像についても撮像対象領域全体を対象にした画像（複数の部品のはんだ領域を含む画像）を作成することができる。ただし、テンプレートマッチングについては、はんだ付け部位のずれ量が部品によって異なる可能性があるので、後記する図７に示すように、部品毎に個別に検索範囲を定めて、照合処理を行うのが望ましい。
また、上記の処理に代えて、Ｒ−ＴＯＰ画像やＢ−ＴＯＰ画像から、それぞれの部品の検索範囲毎に画像を切り出して部品単位の色差画像を生成し、それぞれの色差画像をテンプレートマッチングの対象としてもよい。
【００６１】
さらに、上記の例では、テンプレートの元になる情報としてランドウィンドウの設定データを用いたが、これに代えて、ＣＡＤデータ中のランドに関する情報を用いてテンプレートを設定してもよい。または、良品の基板を用いて第１撮像および第２撮像、ならびに色差画像の作成処理を行い、得られた各白画素領域をテンプレートとして登録してもよい。または、良品の基板のカラー画像上で作業員に各はんだ付け部位を含むような領域を指定させ、この指定された領域をテンプレートとして登録してもよい。
【００６２】
つぎに、異物検査の方法について説明する。なお、この実施例では、正規の実装部品以外の部品およびブリッジを異物とするが、その他に鏡面反射性が高く、基板に存在すべきでない物体があれば、同様の方法で検出することができる。
【００６３】
図５は、トランジスタの実装領域に飛んだチップ部品を異物として検出する処理を示す。この例でも、図３に示した方法による第１撮像および第２撮像を行って、Ｒ−ＴＯＰ画像およびＢ−ＴＯＰ画像を生成した後に、両者間の色差画像を作成する（図５の（１）（２）（３））。各カラー画像では、トランジスタを１６とし、そのフィレットを１２とする。また図４と同様に、チップ部品を１５とし、その電極を１１とする（この例のチップ部品１５は、はんだ付けされたものではないので、フィレット１０は存在しない。）。
【００６４】
この例では、正規の部品（検査データ中に登録されている部品。この例ではトランジスタ１６である。）のランドウィンドウの設定データに基づきテンプレートを作成し、このテンプレートを用いたテンプレートマッチングにより、正規の部品１６のはんだ領域（この場合はフィレット１２のみが含まれる。）を特定する（図５の（４）（５））。
【００６５】
図５の（１）〜（５）の各処理は、処理対象の部品は異なるが、実質的には、図４の（１）〜（５）に示したのと同内容のものである。
さらに、この実施例では、特定されたはんだ領域内の各白画素を黒画素に変更することにより、はんだ領域を認識対象から除外する（図５の（６）（７））。そして、この処理後も色差画像に残っている白画素領域を、異物として検出する。
【００６６】
トランジスタ１６のフィレット１２でも、チップ部品１５のフィレット１０と同様の反射が生じるから、Ｒ−ＴＯＰ画像とＢ−ＴＯＰ画像とでは、青色領域と赤色領域との関係が反対になる。また、チップ部品１５の電極１１も鏡面反射性が高いので、同様に色彩の逆転現象が生じる。このため、この例の色差画像では、トランジスタ１６の各フィレット１２とチップ部品１５の電極１１とが、白画素領域として現れる。
【００６７】
上記の白画素領域のうちトランジスタ１６のフィレット１２に対応するものは、上記の（４）（５）の処理によって検出され、（６）の処理によって認識対象から除外される。よって、（６）の処理後も残る白画素領域は、チップ部品の電極１１に相当する部分となる。
【００６８】
このように、図５の方法では、Ｒ−ＴＯＰ画像とＢ−ＴＯＰ画像との色差画像を作成し、その色差画像により現れた白画素領域のうち、存在を肯定できる領域（正規の部品のはんだ領域）を消去することによって、イレギュラーに現れている白画素領域を異物として検出する。このような方法によれば、異物がどこに付着するかを予測するのが困難な場合でも、異物を容易に検出することが可能になる。
【００６９】
つぎに、図６は、ＩＣを対象に、電極間のブリッジ６２を異物として検出する方法を示す。なお、この図では、便宜上、ＩＣの一部を含む範囲を撮像したものとして、各画像を示す。カラー画像中の６０はＩＣの部品本体であり、６１は電極である。
【００７０】
図６の例の各カラー画像中の電極６１には、部品本体６０に近い付け根の部分と先端部分に、照明部Ａに対応する色彩（Ｒ−ＴＯＰ画像では赤、Ｂ−ＴＯＰ画像では青）が現れ、これらの間に、照明部Ｃに対応する色彩（Ｒ−ＴＯＰ画像では青、Ｂ−ＴＯＰ画像では赤）が現れている。また、この図では明記していないが、各電極６１の先端部には、はんだ付け部位も含まれる（細かい色彩の分布は省略する。）。また照明部Ｃに対応する色彩により表される急峻な部分に、ブリッジ６２が生じており、このブリッジ６２も、照明部Ｃに対応する色彩で表されている。
【００７１】
この例でも、先の２例と同様に、Ｒ−ＴＯＰ画像とＢ−ＴＯＰ画像とを生成し（図６の（１）（２））、これらの画像間の色差画像を求める（図６の（３））。さらにこの実施例では、処理対象のＩＣの部品情報（基板のＣＡＤデータから導き出されたもので、各電極の幅、長さ、ピッチなどを示す情報が含まれる。）に基づき、各電極６１の配置パターンを表すテンプレート（図６（４）（５）に示すように、各電極６１に対応する大きさの矩形枠（先端のはんだ付け部位も含まれる。）の集合として構成される。）を作成し、テンプレートマッチングを実行する。テンプレートマッチングの方法は、図４，５のランドウィンドウに基づくテンプレートによるものと同様である。
【００７２】
さらにこの実施例では、上記のテンプレートにより最大の一致度が得られたときに各矩形に対応づけられた領域を、電極に対応する領域（以下、「電極領域」という。）として特定する（図６の（５））。そして、各電極領域を、図５の例のはんだ領域と同様に、認識対象から除外し（図６の（６））、残された白画素領域を異物として検出する（図６の（７））。
【００７３】
ＩＣの電極は金属であるため、鏡面反射性が高く、その傾斜角度によって所定の照明部に対応する色彩が強調されて出現する。またブリッジは、はんだの溶融により生じるので、同様に、その傾斜状態を反映した色彩が優勢に現れる。
【００７４】
図６の例によれば、電極６１およびブリッジ６２では、Ｒ−ＴＯＰ画像とＢ−ＴＯＰ画像とで色領域の逆転現象が生じているため、色差画像でも、電極６１およびブリッジ６２の双方が白画素領域として現れる。しかし、電極６１に対応する白画素領域は、テンプレートマッチングにより電極領域として特定され、認識対象から除外されるので、最後に残るのは、ブリッジ６２に相当するイレギュラーな白画素領域となる。
【００７５】
図５，６に示した方法によれば、正規に実装されたものではないチップ部品１５やブリッジ６２のように、発生する場所や画像に現れる色彩を特定しにくい不良を、容易に検出することが可能になる。
ただし、正規の部位に対応する白画素領域でも、テンプレートとの不整合によって若干の白画素が残る可能性があるので、後記するように、残された白画素領域のうち、面積が所定のしきい値を上回るものを異物と認定するのが望ましい。
【００７６】
また、この種の異物検査を基板Ｓ全体に対して実行する場合には、検査対象の基板Ｓをいくつかの撮像対象領域に分割し、これらの領域毎に第１撮像および第２撮像を実行し、さらに色差画像を生成する。そして、撮像対象領域に含まれる正規の部品につき、その部品種に応じて図５または図６の方法を実行することによって、正規の部品のはんだ領域や電極領域を特定し、特定された領域以外の白画素領域があるか否かによって、異物の有無を判別することができる。また異物が存在すると判別した場合には、対応する白画素領域の面積や位置を計測することによって、その異物の大きさや位置を判別することも可能である。
このように、基板全体を対象にした異物検出を行えば、鏡面反射性の高い部位を含む異物を、その場所や形状を問わずに検出することが可能になる。
【００７７】
なお、上記の各実施例では、照明装置２の照明部Ａと照明部Ｃとの照明色を逆転させることによって、第１撮像と第２撮像との照明の態様を異なるものにしたが、照明部Ｂも含めたすべての照明部の色彩を入れ替えるようにしてもよい。このような照明によれば、ブリッジなど、傾斜角度の予測が困難な異物に対する検出の精度を向上することができる。
【００７８】
図７は、図５に示した方法を適用したはんだ検査のフローチャートである。
なお、この図７および以下の図８，９のフローチャートは、いずれも１枚の基板に対する処理の手順を示すもので、基板Ｓが搬入される毎に、同じ手順が繰り返し実行される。また、各図とも、流れが複雑になるのを防止するために、基板Ｓに設定される撮像対象領域を１つに限定しているが、複数の撮像対象領域が割り付けられる場合には、これらの領域毎に、図示された手順を実行する必要がある。
【００７９】
図７のはんだ検査では、最初のステップであるＳＴ１０１（ＳＴは「ステップ」の略である。以下も同じ。）で、第１撮像を実行することによってＲ−ＴＯＰ画像を生成する。また、つぎのＳＴ１０２で、第２撮像を実行することによってＢ−ＴＯＰ画像を生成する。さらに、ＳＴ１０３では、これら２枚のカラー画像を用いて、撮像対象領域全体を対象にした色差画像を生成する。
【００８０】
この後は、撮像対象領域に含まれる検査対象の部品（ランドウィンドウが設定されているもの）に対し、それぞれメモリに登録された検査データを用いて、ＳＴ１０４〜１１０のループを順に実行する。このループ内の実質的な処理について説明すると、まず、処理対象部品に検索用ウィンドウを設定する（ＳＴ１０５）。なお、この検索用ウィンドウは、処理対象部品の実装範囲を包含し、部品が多少位置ずれしても、検索用ウィンドウから逸脱することがない大きさに設定される。
【００８１】
つぎに、処理対象部品のランドウィンドウの設定データに基づいて、図４の（４）に示したようなテンプレートを設定し、テンプレートマッチングを実行する（ＳＴ１０６，１０７）。
【００８２】
テンプレートマッチングでは、上記のテンプレートにより検索用ウィンドウ内を走査して、このウィンドウ内でテンプレートに対する一致度が最も高くなる場所を特定し、その特定された場所に設定された各矩形枠に基づき、ランドウィンドウの設定位置を決定する。
【００８３】
この後は、第１撮像で生成されたＲ−ＴＯＰ画像を対象に、上記の決定に基づいてランドウィンドウを設定する（ＳＴ１０８）。そして、ランドウィンドウ毎に、そのウィンドウに対応する検査用データを用いて、ウィンドウ内の青色領域を抽出する処理、抽出した青色領域の面積を計測する処理、面積の計測値を判定基準値と比較する処理等を実行し、はんだの表面状態の適否を判別する（ＳＴ１０９）。なお、フィレットの状態を判別する検査以外の検査（たとえば、ぬれ不良の検出）には、青色領域以外の色領域も検出する。
【００８４】
このようにして、すべての部品に対する検査が終了すると、各部品に対する判定結果をまとめて、外部機器などに出力し（ＳＴ１１１）、検査を終了する。
【００８５】
つぎに、図８は、基板Ｓに対し、図５の方法による異物検査（以下、「異物検査（１）」という。）を行う場合の手順を示す。
この処理でも、第１撮像および第２撮像を実行した後に、これらの撮像により生成されたＲ−ＴＯＰ画像とＢ−ＴＯＰ画像との色差画像を生成する（ＳＴ２０１〜２０３）。
【００８６】
この後は、撮像対象領域内に含まれる部品のうち、チップ部品１５やトランジスタ１６のように、はんだ付け部位毎にランドウィンドウが設定されるものを対象に、ＳＴ２０４〜２１４のループを実行する。
【００８７】
このループ中の実質的な処理のうち、ＳＴ２０５，２０６，２０７では、それぞれ図７のＳＴ１０５，１０６，１０７と同様の処理を実行して、処理対象部品のはんだ領域を特定する。ＳＴ２０８では、特定されたはんだ領域内の画素を黒画素に変更する。この処理により、図５の（６）（７）に示したように、正規の部品に対応するはんだ領域が認識対象から除外される。
【００８８】
ＳＴ２０９では、残された白画素領域を対象にしたラベリングを実行する。具体的には、白画素の連結関係をたどることにより、連続する白画素群毎に切り分け、これらの画素群にそれぞれ個別のラベルを設定する。さらに、ＳＴ２１０では、ラベルが設定された領域毎に面積（領域の構成画素数）を計数し、面積が所定のしきい値Ｔ以上になる領域を抽出する。
【００８９】
上記ＳＴ２１０の処理により、面積がしきい値Ｔ以上になる領域が見つかった場合（ＳＴ２１１が「ＹＥＳ」）には、「異物あり」と判定する（ＳＴ２１２）。これに対し、上記の条件を満たす領域が見つからなかった場合（ＳＴ２１１が「ＮＯ」）には、「異物なし」と判定する（ＳＴ２１３）。
【００９０】
上記ＳＴ２０４〜２１４のループによれば、各部品の検索用ウィンドウ内に異物があるか否かを判別することができる。なお、ここで検出される異物の多くは、図５に示したチップ飛びによるものであるが、これに限らず、隣接する部品との間に生じたブリッジなどを検出することもできる。
すべての部品に対する処理が終了すると、上記の判定結果を出力し（ＳＴ２１５）、検査を終了する。
【００９１】
図９は、基板Ｓに対し、図６の方法を用いた異物検査（以下、「異物検査（２）」という。）を行う場合のフローチャートである。
【００９２】
この処理でも、第１撮像および第２撮像を行った後に、色差画像を生成する（ＳＴ３０１〜３０３）。さらに、撮像対象領域内の部品のうち、多数の電極を具備する部品（ＩＣ，ＬＳＩなど）を処理対象として、処理対象部品毎にＳＴ３０４〜３１４のループを実行する。
【００９３】
このループでも、まず処理対象部品を包含する範囲に検索用ウィンドウを設定する（ＳＴ３０５）。つぎに、処理対象部品の部品情報中の各電極の情報に基づいて、図６の（４）に示したようなテンプレートを作成し（ＳＴ３０６）、このテンプレートを用いて、検索対象ウィンドウに対するテンプレートマッチングを実行する（ＳＴ３０７）。この処理により、各電極に対応する電極領域が特定される。
【００９４】
ＳＴ３０８では、検索用ウィンドウ内の白画素領域のうち、ＳＴ３０７で特定された各電極領域内の画素を黒画素に変更することにより、これらの電極領域を認識対象から除外する。ＳＴ３０９では、残された白画素領域を対象に、図８のＳＴ２０９と同様のラベリング処理を実行する。ＳＴ３１０では、ラベルが設定された領域の中から面積がしきい値Ｕ以上になるものを抽出する。
【００９５】
ここで、面積がしきい値Ｕ以上になる領域があれば（ＳＴ３１１が「ＹＥＳ」）、「異物あり」と判定し（ＳＴ３１２）、上記の条件を満たす領域が抽出されなかった場合には（ＳＴ３１１が「ＮＯ」）、「異物なし」と判定する。ここで検出される異物の多くは、図６に示したような電極間のブリッジであるが、これに限らず、チップ飛びによる異物が検出される場合もある。
【００９６】
撮像対象領域に含まれる全ての処理対象部品について、ＳＴ３０４〜３１４のループが終了すると、これらの部品における検査の結果を出力し（ＳＴ３１５）、検査を終了する。
【００９７】
なお、図７〜９では、はんだ検査および２とおりの異物検査について、それぞれ個別のフローチャートを示したが、このように個別に検査を実行するのではなく、各検査を連続して実行してもよい。この場合には、１つの撮像対象領域に対し、第１撮像、第２撮像、および色差画像の生成処理を１回ずつ実行し、生成された色差画像を用いて３種類の検査を順に実行することができる。また、はんだ検査を実行した後に、この検査で特定されたはんだ領域に基づいて異物検査（１）を行うようにすれば、図８に示した各ステップのうちのＳＴ２０７までの処理を省略することができる。
【００９８】
さらに、各部品に対する検査用ウィンドウによって基板Ｓの全面がカバーされるように、各検査用ウィンドウの設定データを定め、これらのウィンドウにつき、部品の種類に応じて異物検査（１）または（２）を実行すれば、基板Ｓのどの場所に異物があっても、漏れなく検出することが可能になる。
【００９９】
上記のように、この実施例では、１つの撮像対象領域に対し、各照明部Ａ，Ｃの照明色をそれぞれ異なるものにして２回の撮像を行い、これらの撮像により得たカラー画像間の色差を求めることにより、鏡面反射が優勢な部位を精度良く検出することができる。よって、この方法をランドウィンドウの設定位置を決定する処理に用いることにより、２値化処理によってはんだ領域を特定する必要がなくなり、この２値化のためのしきい値を設定する必要もなくなるから、ティーチング時の作業員の負担が大幅に軽減される。
【０１００】
さらに、上記の方法を異物の検出に用いることにより、鏡面反射性の高い部位を含む異物であれば、その場所や形状に関わらず、精度良く検出することが可能になる。よって、異物の検出の対象とする領域の選定や、検出に用いるパラメータの設定のために労力をかける必要もなくなり、この点においても、ティーチングにかかる作業員の負担が大幅に軽減される。
【図面の簡単な説明】
【０１０１】
【図１】基板外観検査装置の構成を示すブロック図である。
【図２】光学系の構成を示す説明図である。
【図３】撮像方法および生成される画像の具体例を示す説明図である。
【図４】ランドウィンドウの設定位置を決定する処理の具体例を示す説明図である。
【図５】チップ飛び不良に係る部品を検出する処理の具体例を示す説明図である。
【図６】ブリッジ不良を検出する処理の具体例を示す説明図である。
【図７】はんだ検査の手順を示すフローチャートである。
【図８】異物検査の手順を示すフローチャートである。
【図９】異物検査の手順を示すフローチャートである。
【符号の説明】
【０１０２】
１ カメラ
２ 照明装置
５ 制御処理装置
５０ 制御部
１０，１２ フィレット
１１，６１ 部品電極
６２ ブリッジ
Ａ，Ｂ，Ｃ 照明部
Ｓ 基板
【特許請求の範囲】
【請求項１】
互いに色彩が異なる光を発し、撮像対象領域に対してそれぞれ仰角が異なる方向に配置された複数の照明部を具備する照明装置と、前記撮像対象領域に位置合わせされたカラー画像用の撮像装置とを用いて前記撮像対象領域を撮像し、生成されたカラー画像を処理することによって、前記撮像対象領域に含まれる鏡面反射性の高い物体を認識する方法であって、
前記照明装置の複数の照明部のうちの少なくとも１つを、発光色の切り替えが可能に構成し、
前記照明装置による照明下での撮像を撮像対象領域を変更せずに２回実行するとともに、前記発光色の切り替えが可能な所定数の照明部が２回目の撮像時に１回目の撮像時と異なる色彩で発光するように、前記２回の撮像における照明装置の動作を制御し、
前記２回の撮像により生成された２枚のカラー画像の一部または全体を対象に、各画像間の色差が所定のしきい値を超えた領域を表す色差画像を生成し、この色差画像に現れた領域をあらかじめ登録されたモデルデータと照合し、その照合結果に基づき前記撮像対象領域内の物体を認識する、
ことを特徴とする物体認識方法。
【請求項２】
請求項１に記載された方法において、
はんだ付け後の部品実装基板を対象に前記２回の撮像を実行し、各撮像により得たカラー画像から生成した色差画像を、はんだ付け部位を表すモデルデータと照合することにより、前記しきい値を超える色差が生じた領域の中から前記モデルデータに適合する領域を検出し、検出された領域をはんだ付け部位に対応するものとして認識する、物体認識方法。
【請求項３】
請求項２に記載された方法において、
前記色差画像中で前記しきい値を超える色差が生じた領域の中に、はんだ付け部位に対応する領域として特定された以外の領域が存在するとき、その領域を異物に対応するものとして認識する、物体認識方法。
【請求項４】
請求項１に記載された方法において、
はんだ付け後の部品実装基板を対象に前記２回の撮像を実行し、各撮像により得たカラー画像から生成した色差画像のうち複数の部品電極を含む範囲を、これらの電極の配置パターンを表すモデルデータと照合することにより、照合範囲内で前記しきい値を超える色差が生じた領域の中から前記モデルデータに適合しない領域を検出し、当該領域が検出されたとき、その領域を異物に対応するものとして認識する、物体認識方法。
【請求項５】
互いに色彩が異なる光を発し、撮像対象領域に対してそれぞれ仰角が異なる方向に配置された複数の照明部を具備する照明装置と、カラー画像用の撮像装置とが、部品実装基板の上方に前記照明部からの照明光に対する基板からの正反射光を撮像装置に入射させることが可能な関係をもって配備され、前記撮像装置および照明装置により生成された基板の画像を処理することによって、部品の実装状態の適否を判別する装置であって、
前記照明装置の複数の照明部のうちの少なくとも１つは、発光色を切り替えることが可能に構成されており、
検査対象の基板に実装される部品のはんだ付け部位の検査に用いられる検査基準データを登録するための登録手段、
前記照明装置による照明下で撮像対象領域を変更せずに前記撮像装置に２回の撮像を行わせるとともに、前記発光色の切り替えが可能な所定数の照明部が、２回目の撮像時に１回目の撮像時とは異なる色彩で発光するように、前記２回の撮像における照明装置の動作を制御する制御手段、
前記２回の撮像により生成された２枚のカラー画像の一部または全体を対象に、各画像間の色差が所定のしきい値を超えた領域を表す色差画像を生成する色差画像生成手段、
前記色差画像が生成される範囲に含まれるはんだ付け部位を表すモデルデータを用いて前記色差画像を照合することにより、色差が前記しきい値を超えた領域の中から前記モデルデータに適合する領域をはんだ付け部位として検出する領域検出手段、
検出されたはんだ付け部位について、前記２枚のカラー画像のいずれか一方の当該はんだ付け部位の画像を処理対象として、前記登録手段に登録された検査基準データを用いて前記処理対象の画像を処理することによって、前記はんだ付け部位におけるはんだの表面状態を判別するはんだ検査手段、の各手段を具備する、
基板外観検査装置。
【請求項６】
前記色差画像において、前記はんだ付け部位として検出された領域以外に前記しきい値を超える色差が生じた領域があるか否かによって、検査対象の基板に異物が存在するか否かを判別する手段を、さらに具備する、請求項５に記載された基板外観検査装置。
【請求項７】
前記基板上の複数の電極について、各電極の配置パターンを表すモデルデータを用いて、色差画像中の各電極が含まれる範囲を前記モデルデータと照合することによって、前記しきい値を超える色差が生じた領域の中から各電極に対応する領域を検出し、検出された領域以外に前記しきい値を超える色差が生じた領域があるか否かによって、検査対象の基板に異物が存在するか否かを判別する手段を、さらに具備する、請求項５または６に記載された基板外観検査装置。
【請求項１】
互いに色彩が異なる光を発し、撮像対象領域に対してそれぞれ仰角が異なる方向に配置された複数の照明部を具備する照明装置と、前記撮像対象領域に位置合わせされたカラー画像用の撮像装置とを用いて前記撮像対象領域を撮像し、生成されたカラー画像を処理することによって、前記撮像対象領域に含まれる鏡面反射性の高い物体を認識する方法であって、
前記照明装置の複数の照明部のうちの少なくとも１つを、発光色の切り替えが可能に構成し、
前記照明装置による照明下での撮像を撮像対象領域を変更せずに２回実行するとともに、前記発光色の切り替えが可能な所定数の照明部が２回目の撮像時に１回目の撮像時と異なる色彩で発光するように、前記２回の撮像における照明装置の動作を制御し、
前記２回の撮像により生成された２枚のカラー画像の一部または全体を対象に、各画像間の色差が所定のしきい値を超えた領域を表す色差画像を生成し、この色差画像に現れた領域をあらかじめ登録されたモデルデータと照合し、その照合結果に基づき前記撮像対象領域内の物体を認識する、
ことを特徴とする物体認識方法。
【請求項２】
請求項１に記載された方法において、
はんだ付け後の部品実装基板を対象に前記２回の撮像を実行し、各撮像により得たカラー画像から生成した色差画像を、はんだ付け部位を表すモデルデータと照合することにより、前記しきい値を超える色差が生じた領域の中から前記モデルデータに適合する領域を検出し、検出された領域をはんだ付け部位に対応するものとして認識する、物体認識方法。
【請求項３】
請求項２に記載された方法において、
前記色差画像中で前記しきい値を超える色差が生じた領域の中に、はんだ付け部位に対応する領域として特定された以外の領域が存在するとき、その領域を異物に対応するものとして認識する、物体認識方法。
【請求項４】
請求項１に記載された方法において、
はんだ付け後の部品実装基板を対象に前記２回の撮像を実行し、各撮像により得たカラー画像から生成した色差画像のうち複数の部品電極を含む範囲を、これらの電極の配置パターンを表すモデルデータと照合することにより、照合範囲内で前記しきい値を超える色差が生じた領域の中から前記モデルデータに適合しない領域を検出し、当該領域が検出されたとき、その領域を異物に対応するものとして認識する、物体認識方法。
【請求項５】
互いに色彩が異なる光を発し、撮像対象領域に対してそれぞれ仰角が異なる方向に配置された複数の照明部を具備する照明装置と、カラー画像用の撮像装置とが、部品実装基板の上方に前記照明部からの照明光に対する基板からの正反射光を撮像装置に入射させることが可能な関係をもって配備され、前記撮像装置および照明装置により生成された基板の画像を処理することによって、部品の実装状態の適否を判別する装置であって、
前記照明装置の複数の照明部のうちの少なくとも１つは、発光色を切り替えることが可能に構成されており、
検査対象の基板に実装される部品のはんだ付け部位の検査に用いられる検査基準データを登録するための登録手段、
前記照明装置による照明下で撮像対象領域を変更せずに前記撮像装置に２回の撮像を行わせるとともに、前記発光色の切り替えが可能な所定数の照明部が、２回目の撮像時に１回目の撮像時とは異なる色彩で発光するように、前記２回の撮像における照明装置の動作を制御する制御手段、
前記２回の撮像により生成された２枚のカラー画像の一部または全体を対象に、各画像間の色差が所定のしきい値を超えた領域を表す色差画像を生成する色差画像生成手段、
前記色差画像が生成される範囲に含まれるはんだ付け部位を表すモデルデータを用いて前記色差画像を照合することにより、色差が前記しきい値を超えた領域の中から前記モデルデータに適合する領域をはんだ付け部位として検出する領域検出手段、
検出されたはんだ付け部位について、前記２枚のカラー画像のいずれか一方の当該はんだ付け部位の画像を処理対象として、前記登録手段に登録された検査基準データを用いて前記処理対象の画像を処理することによって、前記はんだ付け部位におけるはんだの表面状態を判別するはんだ検査手段、の各手段を具備する、
基板外観検査装置。
【請求項６】
前記色差画像において、前記はんだ付け部位として検出された領域以外に前記しきい値を超える色差が生じた領域があるか否かによって、検査対象の基板に異物が存在するか否かを判別する手段を、さらに具備する、請求項５に記載された基板外観検査装置。
【請求項７】
前記基板上の複数の電極について、各電極の配置パターンを表すモデルデータを用いて、色差画像中の各電極が含まれる範囲を前記モデルデータと照合することによって、前記しきい値を超える色差が生じた領域の中から各電極に対応する領域を検出し、検出された領域以外に前記しきい値を超える色差が生じた領域があるか否かによって、検査対象の基板に異物が存在するか否かを判別する手段を、さらに具備する、請求項５または６に記載された基板外観検査装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００９−１２８３４５（Ｐ２００９−１２８３４５Ａ）
【公開日】平成２１年６月１１日（２００９．６．１１）
【国際特許分類】
【出願番号】特願２００７−３０７３４６（Ｐ２００７−３０７３４６）
【出願日】平成１９年１１月２８日（２００７．１１．２８）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２１年６月１１日（２００９．６．１１）
【国際特許分類】
【出願日】平成１９年１１月２８日（２００７．１１．２８）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]