はんだフィレットの検査方法および基板外観検査装置
【課題】二次反射による誤判別のない検査を実行できるようにする。
【解決手段】カラーハイライト方式の基板検査装置において、赤、緑、青の光源をすべて点灯して撮像を行うことにより生成されたＲ−ＯＮ画像と、赤色光源を消灯し、その他の光源を点灯して撮像を行うことにより生成されたＲ−ＯＦＦ画像との間で、対応する画素毎に色差を求める。この色差が所定のしきい値Ａを上回る画素の組のうちＲ−ＯＦＦ画像における明度が所定のしきい値Ｂを上回るものを、二次反射によるノイズ領域５０として特定する。そして、ノイズ領域５０内の画素についてはＲ−ＯＦＦ画像のデータを、その他の画素についてはＲ−ＯＮ画像のデータを、それぞれ選択し、選択されたデータを集合させた処理対象画像を生成する。さらに、この処理対象画像中の各色彩領域の検出や計測を行い、得られた計測値に基づきフィレットの良否を判定する。
【解決手段】カラーハイライト方式の基板検査装置において、赤、緑、青の光源をすべて点灯して撮像を行うことにより生成されたＲ−ＯＮ画像と、赤色光源を消灯し、その他の光源を点灯して撮像を行うことにより生成されたＲ−ＯＦＦ画像との間で、対応する画素毎に色差を求める。この色差が所定のしきい値Ａを上回る画素の組のうちＲ−ＯＦＦ画像における明度が所定のしきい値Ｂを上回るものを、二次反射によるノイズ領域５０として特定する。そして、ノイズ領域５０内の画素についてはＲ−ＯＦＦ画像のデータを、その他の画素についてはＲ−ＯＮ画像のデータを、それぞれ選択し、選択されたデータを集合させた処理対象画像を生成する。さらに、この処理対象画像中の各色彩領域の検出や計測を行い、得られた計測値に基づきフィレットの良否を判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、部品が搭載されたプリント基板（以下、「部品実装基板」または単に「基板」という。）のうちはんだ付け処理が完了した基板を検査対象として、基板上のはんだフィレット（以下、単に「フィレット」という場合もある。）の形状を検査する方法、およびこの方法を用いた基板外観検査装置に関する。
【背景技術】
【０００２】
出願人は、従前より、「カラーハイライト方式」と呼ばれる基板外観検査装置を数多く開発している。このカラーハイライト方式の検査装置は、２次元のカラーカメラ（以下、単に「カメラ」という。）と、赤、緑、青の３種類の色彩光を基板に対して異なる仰角の方向から照射する照明装置とを具備するもので、照明装置による照明下で撮像を行うことにより、はんだフィレットの傾斜状態が赤、緑、青の３色の分布パターンにより表現されたカラー画像を生成する（特許文献１参照。）。
【０００３】
【特許文献１】特公平６−１１７３号公報
【０００４】
上記の検査装置では、基板面から見た仰角が最も大きい方向から赤色光が、仰角が最も小さい方向から青色光が、これらの中間にあたる方向から緑色光が、それぞれ照射される。よって、図７に示すように、各色彩光がチップ部品６のフィレット７に照射された場合、フィレット７の傾斜面のうち、基板面に近い平坦な部位では赤色の反射光が、部品に近い傾斜が急な部位では青色の反射光が、これらの部位の間の傾斜面では緑色の反射光が、それぞれカメラに入射する。よって、カラー画像中のフィレット（各色彩をそれぞれ異なるパターンにより示す。）にも、上記の反射状態を反映した色彩分布が現れる。
【０００５】
カラーハイライト方式の検査装置では、上記の原理を利用して、カラー画像中の赤、緑、青の各色彩が現れている領域を２値化により抽出し、抽出された各色彩領域の面積や位置などを計測する。そして、各計測値をあらかじめ登録された判定基準値と比較することによって、フィレットが正しく形成されているかどうかを判断する。
【０００６】
ところが、近年、部品の実装密度が高くなったり、フィレットの傾斜が急峻になったことに伴って、あるフィレットに照射されて反射した光が他のフィレットに照射され、その照射光に対する反射光（二次反射光）がカメラに入射する現象が生じることが指摘されている。カメラに入射した二次反射光によって、カラー画像中のフィレットに本来の傾斜状態を反映しない色彩が出現すると、これがノイズとなって、検査に誤りが生じてしまう。
【０００７】
図８は、二次反射の例とこの二次反射が生じたときに生成されるカラー画像を、対応づけて示す。
この図に示すように、検査対象の部品６のフィレット７の近傍に他の部品６ａのフィレット８が存在する場合、フィレット８で反射した光の一部が部品６のフィレット７に向かって進行し、反射した光がフィレット７で二次反射することがある。特に仰角が大きな方向から照射される赤色光による二次反射光は、カメラに向かって進行する可能性が高い。また近年のフィレットでは傾斜が急な面の割合が大きくなっているので、上記の赤色の二次反射光によって、カラー画像中の青色が現れるはずの箇所に二次反射光による赤色のノイズ領域５０が生じる現象が目立つようになっている。
【０００８】
一方で、ぬれ不良や部品の欠落時のはんだは、図９に示すような球状の不良はんだ７Ｅとなる。このような不良はんだ７Ｅでは、中央部が平坦に近く、周縁に向かうほど傾斜が急になるため、カラーハイライト方式の光学系で処理すると、中央部に赤色が、その外側に緑色が、さらにその外側に青色が現れた画像が生成される。
【０００９】
従来の検査装置では、このような不良を検出するために、検査領域の中央部に赤色領域が現れていないかどうかを判別するようにしている。上記の二次反射によるノイズは、この判別対象の位置に対応するため、不良はんだ７Ｅ用の判定基準が適用されて、フィレット７が正しく形成されているのに不良と判断されるおそれがある。
【００１０】
このような問題に鑑み、出願人は、先般、色彩光毎に、検査領域内の特定方向に沿う強度分布のヒストグラムを求め、これらのヒストグラム間の関係を分析することによって、二次反射によるノイズが発生しているかどうかを判別する方法を提案した（特許文献２参照）。
【００１１】
このほか、カラーハイライト方式の検査装置ではないが、照明装置の下方および照明装置とカメラとの間にそれぞれ偏光板を設けることによって、二次反射光がカメラに入射するのを回避するようにしたものもある（特許文献３参照）。
【００１２】
【特許文献２】特開２００６−１４０２７９号公報
【特許文献３】特開平１０−１２２８２９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
特許文献２に記載された発明は、色成分毎の強度分布の関係が、二次反射を反映した画像および不良を反映した画像のどちらに相当するものかを分析するものである。しかし、この分析は、従来のフィレット検査で用いた２値化処理による処理とは全く異なるアルゴリズムにより行われるので、これまでに蓄積した画像処理用のプログラムや判定基準を使用することができなくなる。
【００１４】
一方、特許文献３に記載の発明は、カラーハイライト方式の検査装置にも適用可能なものであり、また従来と同様のアルゴリズムや判定基準を使用することも可能であるが、偏光板やその支持機構等を設ける必要があり、コスト高になる。
【００１５】
この発明は、上記の問題点を考慮してなされたもので、照明状態を切り替えながら複数回の撮像を行い、これらの画像を用いて二次反射の影響を除去した画像を作成することによって、二次反射による誤判別のない検査を実行できるようにすることを、課題とするものである。
【課題を解決するための手段】
【００１６】
上記の課題を解決するために、この明細書で提案する方法では、はんだ付け後の部品実装基板に対する仰角が異なる方向からそれぞれ色彩の異なる光を照射し、これらの色彩光に対する基板からの正反射光を撮像装置により撮像して生成されたカラー画像を用いて基板上のはんだフィレットの形状を検査する場合に、複数の色彩光のうち、フィレットに照射されて正反射した後に他のフィレットで二次反射して撮像装置に入射する可能性のある色彩光を、あらかじめ特定しておく。そして、複数の色彩光のすべてを照射した状態で基板を撮像する第１撮像と、上記のあらかじめ特定した色彩光を照射せずにその他の色彩光を照射した状態で基板を撮像する第２撮像とを、撮像対象領域を変更せずに順に実行する。さらに、第１撮像によるカラー画像の構成画素の中に、第２撮像によるカラー画像に対する色差が所定のしきい値Ａを超え、かつ第２撮像によるカラー画像中の対応画素の明度が所定のしきい値Ｂを超える画素があるとき、この画素のデータを、第２撮像によるカラー画像中の対応画素のデータに置き換え、この置き換え処理後のカラー画像に対して検査のための画像処理を実行する。
【００１７】
上記において、第１撮像は、すべての色彩光による照明下で行われるので、すべての色彩光に対応する色彩が分布するカラー画像を生成することができる。一方、第２撮像では、特定の色彩光が照射されない状態になるので、この光に対応する色彩のないカラー画像が生成される。したがって、第１撮像によるカラー画像と第２撮像によるカラー画像との間で色差を求めると、第２撮像で照射されなかった色彩光に対応する色彩が生じていた部位で大きな色差が抽出されると考えられる。
【００１８】
上記の大きな色差が生じるのは、第２撮像時に照射されなかった色彩光に対応する傾斜角度を持つ部位になるほか、二次反射によるノイズが生じていた部位になる。これらのうちノイズが生じていた部位では、第２撮像においても、その部位の傾斜に応じた色彩光の反射光が撮像装置に入射するため、カラー画像においても相応の明度が確保される。しかし、ノイズ以外の部位については、第２撮像では撮像装置に入射する反射光がなくなるため、カラー画像中には周囲よりも暗い領域として現れると考えられる。
【００１９】
上記の方法では、第１撮像によるカラー画像中に、第２撮像によるカラー画像に対する色差が所定のしきい値Ａを超える画素がある場合に、その画素の第２撮像によるカラー画像中の対応画素の明度が所定のしきい値Ｂを超えていれば、第１撮像により得た画像データを第２撮像により得た画像データに置き換えるので、二次反射によるノイズが生じている部位を本来の傾斜角度を反映した色彩で表された画像に置き換えることができる。一方、ノイズ以外の部位については、第２撮像による暗い画像データではなく、第１撮像により得た画像データが採用されるので、この部位についても傾斜角度を反映した画像を確保することができる。
【００２０】
このようにいずれの部位についても、その傾斜角度を反映した色彩が現れた画像を生成することができるので、この画像に従来と同様の画像処理用のプログラムや判定基準値を適用して検査を行うことが可能になる。
【００２１】
さらに、上記の方法が適用された基板外観検査装置は、検査対象の基板に対する仰角が異なる複数方向からそれぞれ色彩の異なる光を照射する照明装置と、この照明装置からの照明光に対する基板からの正反射光を入射可能な位置に配置されたカラー画像用の撮像装置と、照明装置による照明下で撮像装置に撮像を行わせ、生成されたカラー画像を用いて前記基板上のはんだフィレットの形状を検査する制御処理装置とを具備するもので、制御処理装置には、以下の撮像制御手段、色差抽出手段、画像合成手段、画像処理手段の各手段が設けられる。
【００２２】
撮像制御手段は、照明装置に複数の色彩光のすべてを点灯させた状態下で撮像装置に撮像を行わせる第１撮像と、複数の色彩光のうちはんだフィレットに照射されて正反射した後に他のはんだフィレットで二次反射して撮像装置に入射する可能性のある色彩光が消され、その他の色彩光が点灯するように照明装置を制御して撮像装置に撮像を行わせる第２撮像とを、撮像対象領域を変更せずに順に実行する。色差抽出手段は、第１撮像により生成されたカラー画像と第２撮像により生成されたカラー画像との間で対応関係にある画素毎に色差を抽出する。画像合成手段は、第１および第２の各撮像により生成されたカラー画像間で対応する画素の組毎にいずれかの画像におけるデータを選択し、選択された各データの集合による画像を作成する。画像処理手段は、画像合成手段により作成された画像に対して検査のための画像処理を実行する。
【００２３】
さらに画像合成手段は、前記色差抽出手段により抽出された色差が所定のしきい値Ａを超える画素の組のうち第２撮像によるカラー画像中の対応画素の明度が所定のしきい値Ｂを超える組については前記第２撮像によるカラー画像中の対応画素のデータを選択し、色差がしきい値Ａ以下になる画素の組、および色差はしきい値Ａを超えるが第２撮像によるカラー画像中の明度が前記しきい値Ｂ以下になる画素の組については前記第１撮像によるカラー画像中の対応画素のデータを選択するように、構成される。
【００２４】
上記の検査装置の好ましい態様では、照明装置として、赤、緑、青の色彩光を含む複数種の色彩光をそれぞれ発する複数の発光領域が、それぞれ基板に対する仰角が異なる位置に配備された構成のものを使用する。また制御処理装置の撮像制御手段は、第１撮像においてはすべての発光領域を点灯し、第２撮像においては、所定位置を境界として隣り合う一対の発光領域間の前記境界位置を基準に、この基準の位置よりも基板に対する仰角が大きい発光領域を消灯し、基準の位置より基板に対する仰角が小さい発光領域を点灯する。
【００２５】
他の好ましい態様では、照明装置は、赤、緑、青の色彩光をそれぞれ発する３種類の発光領域を具備するとともに、赤色光の発光領域の基板に対する仰角が他の発光領域より大きくなるように構成される。また制御処理装置の撮像制御手段は、第１撮像においては３種類の発光領域をすべて点灯し、第２撮像においては赤色光の発光領域を消灯し、緑色光および青色光の各発光領域を点灯する。
【００２６】
上記の各態様を含む基板外観検査装置によれば、二次反射によるノイズが生じているか否かに関わらず、被検査部位について常に正しい傾斜状態を反映する色彩分布をとる画像を自動生成して、検査を実行することが可能になる。よって、従来から蓄積した判定基準をベースに、より精度の高い検査を効率良く実行することが可能になる。
【発明の効果】
【００２７】
この発明によれば、二次反射によるノイズの影響を受けることなく、はんだフィレットの形状を精度良く検査することが可能になる。また、照明状態を切り替えて２回の撮像を行うことでノイズの影響が除去されたカラー画像を生成できるから、ハード構成を変更する必要がなく、従来のカラーハイライト方式の検査で蓄積した判定基準を適用した処理が可能になる。
【発明を実施するための最良の形態】
【００２８】
図１は、この発明が適用された基板検査装置の光学系の構成、および主要な電気的構成を示す。
この基板検査装置は、はんだ付け処理後のプリント基板Ｓを対象に、各はんだ付け部位に対するはんだ検査などを実行するもので、検査に関する一連の処理を実行する制御処理装置１に、カメラ２、照明装置３、基板ステージ４などが接続された構成のものである。
【００２９】
基板ステージ４には、検査対象の基板を支持するためのテーブル部４１や、Ｘ軸ステージおよびＹ軸ステージ（いずれも図示せず。）を含む移動機構４２などが含まれる。
【００３０】
カメラ２および照明装置３は、「カラーハイライト方式」と呼ばれる光学系を構成する。カメラ２は、検査対象の基板のカラー静止画像を生成するもので、基板ステージ４の上方に撮像面を下方に向け、かつ光軸を鉛直方向に合わせた状態で配備される。
【００３１】
照明装置３は、基板ステージ４とカメラ２との間に配置された３個の円環状光源３１，３２，３３により構成される。これらの光源３１，３２，３３は、それぞれ、赤色、緑色、青色の各色彩光を発するもので、各中心部をカメラ２の光軸に位置合わせした状態で配備されている。また各光源３１，３２，３３は、基板から見た仰角がそれぞれ異なる方向から光を照射できるように、互いに異なる大きさの径を有するように設定される。具体的には、赤色光源３１の径が最も小さく、最も高い位置に配備される。以下、緑色光源３２、青色光源３３の順に径が大きくなるとともに、径が大きな光源ほど下方位置に配置される。
【００３２】
上記構成の光学系によれば、基板上の各はんだ付け部位について、そのはんだ面の傾斜状態が赤、緑、青の各色彩領域の分布状態に反映されたカラー画像を生成することができる。なお、照明装置３の構成は上記に限らず、ＬＥＤ等の発光素子をリング状に配列した構成の装置によって、赤、緑、青の各色彩光が光源３１〜３３と同様の関係をもって照射されるようにしてもよい。
【００３３】
制御処理装置１は、上記の基板ステージ４やカメラ２の動作を制御しつつ、生成されたカラー画像を処理して各種検査を行うもので、コンピュータによる制御部１０に、画像入力部１１、撮像制御部１２、照明制御部１３、ＸＹステージ制御部１４、メモリ１５、検査結果出力部１６，操作部１７、モニタ１８などが接続された構成のものである。
【００３４】
画像入力部１１には、カメラ２から三原色の画像信号を受け付けるインターフェース回路や、これらの画像信号をディジタル変換するＡ／Ｄ変換回路などが含まれる。このディジタル変換によって、各画素の色彩は、それぞれＲ，Ｇ，Ｂの各階調データ（たとえば８ビット構成であれば０〜２５５の数値範囲をとる。）の組み合わせにより表される。
この明細書では、この色彩毎の階調データの値を、ｒ，ｇ，ｂ値といい、画素単位でのｒ，ｇ，ｂ値の組み合わせを「色彩データ」という。各画素の色彩データは、それぞれ当該画素のアドレスに対応づけられて、メモリ１５の画像格納領域に保存される。
【００３５】
撮像制御部１２は、カメラ２の撮像タイミングを制御し、照明制御部１３は、照明装置３の各光源３１〜３３の点灯、消灯のタイミングや光量調整などを行う。ＸＹステージ制御部１４は、基板ステージ４の移動タイミングや移動量を制御する。
【００３６】
メモリ１５には、画像データのほか、各被検査部位の検査に用いられるプログラムや検査基準データなどが格納される。制御部１０は、これらのプログラムや検査基準データを用いて、検査に関する一連の処理を実行する。大まかに説明すると、基板ステージ４の移動を制御することにより、カメラ２の視野を基板の複数位置に順に合わせながらカメラ２に撮像を行わせる。さらに撮像の都度、画像入力部１１により処理されたカラー画像に検査領域を設定して、被検査部位の検出、計測、計測値の適否判定などの処理を実行する。判定の結果は、検査結果出力部１６を介して、図示しない外部機器などに出力される。
【００３７】
この実施例の基板検査装置では、カラー画像中の各はんだ付け部位（大半はフィレットが形成されている。）に検査領域を設定して、順次はんだ検査を実行する。このはんだ検査では、検査領域内の各画素の色彩データを、それぞれｒ，ｇ，ｂ毎に設定された２値化しきい値を用いて２値化することによって、視認される色彩が赤色の領域（赤領域）、視認される色彩が緑色の領域（緑領域）、および視認される色彩が青色の領域（青領域）の３種類の色彩領域を抽出する。さらに、これらの色彩領域の面積を個別に計測して、各計測値を判定基準値と照合することにより、はんだ面の傾斜状態の適否を判別する。
【００３８】
さらにこの実施例の基板検査装置では、二次反射によるノイズを除去して検査の精度を確保するために、照明状態を切り替えて同じ領域を２回撮像し、各撮像により生成されたカラー画像を合成して、検査のための処理対象画像を生成するようにしている。以下、この処理について詳細に説明する。
【００３９】
図２は、この実施例で実施する撮像処理を模式的に示す。なおここでは、チップ部品６の一対のフィレット７，８のうちの右側のフィレット７に、二次反射が生じるものとして、このフィレット７の画像を処理する例を示す。ただし実際の検査では、右側に限らず、ノイズの影響を受けない左側のフィレット８に対しても同様の処理が実行される。
【００４０】
この実施例では、１回目の撮像（以下「第１撮像」という。）は、３つの光源３１，３２，３３をすべて点灯した状態で行うが、２回目の撮像（以下「第２撮像」という。）の際には、二次反射光がカメラ２に入射する可能性のある光を発する赤色光源３１を消灯し、その他の光源３２，３３を点灯する。
【００４１】
第１撮像では、赤、緑、青の各反射光がカメラ２に入射するため、これらの反射光に対応する赤、緑、青の各色領域を含むカラー画像が生成される（以下、この画像を「Ｒ−ＯＮ画像」という。）。
一方、第２撮像では、赤色光源３１の消灯によって赤色の反射光がカメラ２に入射しない状態になるため、赤色を含まないカラー画像が生成される（以下、この画像を「Ｒ−ＯＦＦ画像」という。）。
【００４２】
Ｒ−ＯＮ画像では、フィレット７の基板面に近い部位が赤色領域として表されるほか、二次反射による赤色のノイズ領域５０が現れる。
フィレット７のノイズ領域５０に対応する部位では、第２撮像の際には、カメラ２に入射する二次反射光が消失するため、Ｒ−ＯＦＦ画像では、本来の傾斜角度に対応する青色が現れる。一方、フィレット７の基板面に近い部位では、カメラ２に入射する反射光がなくなるため、Ｒ−ＯＦＦ画像においては、明度の低い領域（以下、「暗領域」という。）として表される。
【００４３】
そこでこの実施例では、Ｒ−ＯＮ画像中の赤色領域のうち、フィレット７の本来の傾斜面を表す部位の赤色をそのまま維持する一方で、二次反射によるノイズ領域５０を消失させるために、この領域５０内の画素の色彩データを、Ｒ−ＯＦＦ画像側のデータに置き換えるようにしている。このような置き換えを行うには、ノイズ領域５０を正確に見分ける必要がある。
【００４４】
ノイズ領域５０を見分けるために、この実施例では、Ｒ−ＯＮ画像とＲ−ＯＦＦ画像との間で対応関係にある画素（座標が実質同一になる画素）の組毎に色差（Ｒ，Ｇ，Ｂの色パラメータ毎の差分値の自乗の和またはその平方根）を算出し、その算出値が所定のしきい値Ａを上回る画素を抽出する。図２では、この色差の算出およびしきい値との比較の結果を、しきい値Ａを上回る画素を白画素、それ以外を黒画素とする２値画像（以下「色差画像」という。）として表している。
【００４５】
図３は、色差の算出後に行われる処理を模式的に示す。
この処理では、色差がしきい値Ａを上回った画素（色差画像中の白画素）をＲ−ＯＦＦ画像の対応画素と照合し、Ｒ−ＯＦＦ画像における明度が所定のしきい値Ｂを上回る画素による領域をノイズ領域５０として特定する。そして、Ｒ−ＯＮ画像に対してはノイズ領域５０に対応するマスクを設定し、Ｒ−ＯＦＦ画像に対してはノイズ領域５０以外の部分に対応するマスクを設定し、各画像のマスクがかけられていない部分を合成することによって処理対象画像を生成する。この結果、処理対象画像は、二次反射が生じていないときの画像（図７に示したもの）と同様になる。
【００４６】
上記のように、３つの光源３１〜３３をすべて点灯したときに二次反射によるノイズが発生する場合でも、第２撮像と画像合成処理とを実行することによって、ノイズのない、各色彩によりフィレットの傾斜状態が正しく表された処理対象画像を得ることができる。よって、このカラー画像に対し、従来と同様の検査プログラムや判定基準を適用して精度の高い判別処理を行うことができる。
【００４７】
また図２，３に示した処理では、ノイズ領域５０の赤色は消去されても、本来の傾斜状態を反映した赤領域が誤って消去されることはないので、ノイズのない画像を処理しても、なんら問題が生じるおそれがない。
【００４８】
図４は、形状が良好で二次反射が生じていないフィレット７（図４の（１））、形状は良好であるが二次反射が生じているフィレット７（図４の（２））、およびぬれ不良のはんだ７Ｅ（図４の（３）について、Ｒ−ＯＮ画像、Ｒ−ＯＦＦ画像、色差画像の各画像を対比して示す。また、色差画像中の白領域のうち、Ｒ−ＯＦＦ画像中での明度がしきい値Ｂを超える部分を、斜線で示している。
【００４９】
図４の（１）（３）の例では、Ｒ−ＯＮ画像中に出現する赤色領域は、すべて本来の傾斜角度を反映するものであるから、Ｒ−ＯＦＦ画像では暗領域となる。したがって、これらの暗領域は、Ｒ−ＯＦＦ画像に対する色差がしきい値Ａを上回る領域となるが、Ｒ−ＯＦＦ画像における明度はしきい値Ｂ以下になるため、二次反射によるノイズではないと判断され、Ｒ−ＯＮ画像のデータが採用される。
【００５０】
このように、ノイズが生じていない場合には、Ｒ−ＯＮ画像の赤色領域はすべて維持され、検査に誤判別が生じるおそれがない。よって、二次反射が生じているか否かに関わらず、フィレット検査の際に常に図２，３に示した処理を行うことによって、突発的なノイズの発生にも対応することができ、検査の精度を確保することができる。
【００５１】
つぎに、図５は、先の図３に示した画像合成を実現するために制御部１０が実行する処理手順を示す。この図に示すように、実際の処理では、Ｒ−ＯＮ画像とＲ−ＯＦＦ画像との間で求めた色差やＲ−ＯＦＦ画像における明度に基づき、両画像間で対応関係にある画素の組毎にいずれか一方の画像の色彩データを選択する処理を実行し、選択された各色彩データの集合体を処理対象のカラー画像とする。
【００５２】
具体的には、図５の処理は、Ｒ−ＯＮ画像およびＲ−ＯＦＦ画像の同一の範囲の画像を対象に実行される。この処理対象範囲は、１つの部品およびその部品に対応するすべてのフィレットを含むように設定される。ただし、フィレット単位で処理対象範囲を定めるようにしてもよい。
【００５３】
最初のステップであるＳＴ１０１では、両画像間の対応画素毎に色差を算出する。この場合、フィレットや部品本体など正反射光が優勢になる部位のうち、緑色や青色の反射光がカメラ２に入射する部位については、顕著な色差は算出されない。色差が顕著になるのは、赤色の反射光がカメラ２に入射する部位になると考えられる。
【００５４】
つぎのＳＴ１０２では、現在の処理対象範囲の画素毎に「判定用フラグ」を設定する。この判定用フラグは、対応する画素について、Ｒ−ＯＮ画像およびＲ−ＯＦＦ画像のいずれの色彩データを選択するかを示すもので、このフラグがオフであれば、Ｒ−ＯＮ画像のデータが選択される。ＳＴ１０２の段階では、すべての画素の判定用フラグが「オフ」に設定される。
【００５５】
ＳＴ１０３では、各画素の中から、ＳＴ１０１で算出された色差がしきい値Ａを上回るものを抽出し、抽出した各画素に対し、ＳＴ１０４〜１０９のループを実行する。
このループでは、Ｒ−ＯＦＦ画像中の対応画素のｒ，ｇ，ｂ値を抽出し、これらの値から当該画素の明度Ｌを算出する（ＳＴ１０５，１０６）。さらに、この明度Ｌをしきい値Ｂと比較し、Ｌ＞Ｂであれば、当該画素に対応する判定用フラグをオフからオンに切り替える（ＳＴ１０７，１０８）。
【００５６】
上記のループによれば、色差がしきい値Ａを上回り、かつＲ−ＯＦＦ画像における明度がしきい値Ｂを上回る画素（すなわち二次反射によるノイズ領域５０に含まれる画素）では、判定用フラグがオンに設定される。それ以外の画素については、判定用フラグはオフのままとなる。
【００５７】
ＳＴ１１０では、合成画素として、各画素のｒ，ｇ，ｂ値がすべてゼロの画像を初期設定する。以下、この画像中の各画素を対象にＳＴ１１１〜１１６のループを実行することにより、合成画像を完成させる。
【００５８】
このループでは、まず着目中の画素に対応する判定用フラグを読み出し（ＳＴ１１２）、この判定用フラグがオンであれば、着目中の画素のｒ，ｇ，ｂ値をＲ−ＯＦＦ画像の対応画素の値に変更する（ＳＴ１１４）。一方、判定用フラグがオフであれば、着目中の画素のｒ，ｇ，ｂ値をＲ−ＯＮ画像の対応画素の値に書き換える（ＳＴ１１５）。
【００５９】
図６は検査に関する処理手順を示す。ただし、ここでは、説明を簡単にするため、基板に対する撮像対象領域を１つとし、検査もフィレット検査に限定する。
【００６０】
まずＳＴ１では、検査対象の基板Ｓを基板ステージ４に搬入し、カメラ２および照明装置３を基板Ｓに対して位置決めする。位置決めが終了すると、ＳＴ２において、すべての光源３１，３２，３３を点灯した状態で撮像（第１撮像）を行う。これによりＲ−ＯＮ画像が生成される。
【００６１】
つぎのＳＴ３では、赤色光源３１を消灯し、その他の光源３２，３３を点灯した状態下で撮像（第２撮像）を行う。これによりＲ−ＯＦＦ画像が生成される。
【００６２】
２つのカラー画像が生成されると、この後は、フィレット検査の対象となる部品毎にＳＴ４〜８のループを実行する。このループ中のＳＴ５は、図５に詳細に示した画像合成処理（ＳＴ１０１〜１１６）にあたる。この処理により部品単位の合成画像が生成されると、ＳＴ６では、この画像中の各ランド部に検査領域を設定する。さらにＳＴ７では、設定した検査領域毎に、各色彩領域を２値化により検出し、各色彩領域の位置や面積を計測し、得られた計測値を判定基準値と比較することにより、フィレットの良否を判定する。毎時の判定結果は、メモリ１５内に一時保存される。
【００６３】
なお、ランド単位での画像合成処理を行う場合には、まずＲ−ＯＮ画像に基づいて各ランド部に検査領域を設定し、検査領域毎に画像合成処理を行えばよい。
【００６４】
検査対象の部品に対する処理がすべて実行されると、ＳＴ９では、各検査領域毎の判定結果を基板単位の検査結果データに編集し、これをメモリ１５に保存するとともに、外部機器などに出力する。この後は、ＳＴ１０で基板Ｓを搬出し、処理を終了する。
【００６５】
なお、図６の例では、第１撮像を実行した後に第２撮像を実行したが、撮像の順序はこれに限らず、第２撮像を先に行い、その後に第１撮像を行ってもよい。
【００６６】
また上記の実施例では、赤、緑、青の３種類の光源３１〜３３を具備する照明装置３を使用したが、光源の数はこれに限らず、それぞれ異なる色彩光を発する４種類以上の光源（赤、緑、青の各色彩光を含むのが望ましい。）を基板Ｓに対する仰角が異なる位置に配置した構成のものを使用してもよい。また、この構成において、基板Ｓに対する仰角が大きい方向にある複数の光源からの色彩光により二次反射によるノイズが生じる可能性がある場合には、第２撮像では、これら複数の光源を消灯対象とすればよい。
【図面の簡単な説明】
【００６７】
【図１】基板検査装置の電気的構成を光学系の構成とともに示すブロック図である。
【図２】フィレット検査の際の処理の概要を示す説明図である。
【図３】フィレット検査の際の処理の概要を示す説明図である。
【図４】二次反射の有無およびぬれ不良について、Ｒ−ＯＮ画像、Ｒ−ＯＦＦ画像、色差画像を対比して示す説明図である。
【図５】画像合成処理の手順を示すフローチャートである。
【図６】検査の手順を示すフローチャートである。
【図７】良品フィレットにおける反射状態および生成されるカラー画像を示す説明図である。
【図８】二次反射が生じている場合の反射状態および生成されるカラー画像を示す説明図である。
【図９】不良はんだにおける反射状態および生成されるカラー画像を示す説明図である。
【符号の説明】
【００６８】
Ｓ 基板
１ 制御処理装置
２ カメラ
３ 照明装置
７ フィレット
１０ 制御部
３１，３２，３３ 光源
【技術分野】
【０００１】
この発明は、部品が搭載されたプリント基板（以下、「部品実装基板」または単に「基板」という。）のうちはんだ付け処理が完了した基板を検査対象として、基板上のはんだフィレット（以下、単に「フィレット」という場合もある。）の形状を検査する方法、およびこの方法を用いた基板外観検査装置に関する。
【背景技術】
【０００２】
出願人は、従前より、「カラーハイライト方式」と呼ばれる基板外観検査装置を数多く開発している。このカラーハイライト方式の検査装置は、２次元のカラーカメラ（以下、単に「カメラ」という。）と、赤、緑、青の３種類の色彩光を基板に対して異なる仰角の方向から照射する照明装置とを具備するもので、照明装置による照明下で撮像を行うことにより、はんだフィレットの傾斜状態が赤、緑、青の３色の分布パターンにより表現されたカラー画像を生成する（特許文献１参照。）。
【０００３】
【特許文献１】特公平６−１１７３号公報
【０００４】
上記の検査装置では、基板面から見た仰角が最も大きい方向から赤色光が、仰角が最も小さい方向から青色光が、これらの中間にあたる方向から緑色光が、それぞれ照射される。よって、図７に示すように、各色彩光がチップ部品６のフィレット７に照射された場合、フィレット７の傾斜面のうち、基板面に近い平坦な部位では赤色の反射光が、部品に近い傾斜が急な部位では青色の反射光が、これらの部位の間の傾斜面では緑色の反射光が、それぞれカメラに入射する。よって、カラー画像中のフィレット（各色彩をそれぞれ異なるパターンにより示す。）にも、上記の反射状態を反映した色彩分布が現れる。
【０００５】
カラーハイライト方式の検査装置では、上記の原理を利用して、カラー画像中の赤、緑、青の各色彩が現れている領域を２値化により抽出し、抽出された各色彩領域の面積や位置などを計測する。そして、各計測値をあらかじめ登録された判定基準値と比較することによって、フィレットが正しく形成されているかどうかを判断する。
【０００６】
ところが、近年、部品の実装密度が高くなったり、フィレットの傾斜が急峻になったことに伴って、あるフィレットに照射されて反射した光が他のフィレットに照射され、その照射光に対する反射光（二次反射光）がカメラに入射する現象が生じることが指摘されている。カメラに入射した二次反射光によって、カラー画像中のフィレットに本来の傾斜状態を反映しない色彩が出現すると、これがノイズとなって、検査に誤りが生じてしまう。
【０００７】
図８は、二次反射の例とこの二次反射が生じたときに生成されるカラー画像を、対応づけて示す。
この図に示すように、検査対象の部品６のフィレット７の近傍に他の部品６ａのフィレット８が存在する場合、フィレット８で反射した光の一部が部品６のフィレット７に向かって進行し、反射した光がフィレット７で二次反射することがある。特に仰角が大きな方向から照射される赤色光による二次反射光は、カメラに向かって進行する可能性が高い。また近年のフィレットでは傾斜が急な面の割合が大きくなっているので、上記の赤色の二次反射光によって、カラー画像中の青色が現れるはずの箇所に二次反射光による赤色のノイズ領域５０が生じる現象が目立つようになっている。
【０００８】
一方で、ぬれ不良や部品の欠落時のはんだは、図９に示すような球状の不良はんだ７Ｅとなる。このような不良はんだ７Ｅでは、中央部が平坦に近く、周縁に向かうほど傾斜が急になるため、カラーハイライト方式の光学系で処理すると、中央部に赤色が、その外側に緑色が、さらにその外側に青色が現れた画像が生成される。
【０００９】
従来の検査装置では、このような不良を検出するために、検査領域の中央部に赤色領域が現れていないかどうかを判別するようにしている。上記の二次反射によるノイズは、この判別対象の位置に対応するため、不良はんだ７Ｅ用の判定基準が適用されて、フィレット７が正しく形成されているのに不良と判断されるおそれがある。
【００１０】
このような問題に鑑み、出願人は、先般、色彩光毎に、検査領域内の特定方向に沿う強度分布のヒストグラムを求め、これらのヒストグラム間の関係を分析することによって、二次反射によるノイズが発生しているかどうかを判別する方法を提案した（特許文献２参照）。
【００１１】
このほか、カラーハイライト方式の検査装置ではないが、照明装置の下方および照明装置とカメラとの間にそれぞれ偏光板を設けることによって、二次反射光がカメラに入射するのを回避するようにしたものもある（特許文献３参照）。
【００１２】
【特許文献２】特開２００６−１４０２７９号公報
【特許文献３】特開平１０−１２２８２９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
特許文献２に記載された発明は、色成分毎の強度分布の関係が、二次反射を反映した画像および不良を反映した画像のどちらに相当するものかを分析するものである。しかし、この分析は、従来のフィレット検査で用いた２値化処理による処理とは全く異なるアルゴリズムにより行われるので、これまでに蓄積した画像処理用のプログラムや判定基準を使用することができなくなる。
【００１４】
一方、特許文献３に記載の発明は、カラーハイライト方式の検査装置にも適用可能なものであり、また従来と同様のアルゴリズムや判定基準を使用することも可能であるが、偏光板やその支持機構等を設ける必要があり、コスト高になる。
【００１５】
この発明は、上記の問題点を考慮してなされたもので、照明状態を切り替えながら複数回の撮像を行い、これらの画像を用いて二次反射の影響を除去した画像を作成することによって、二次反射による誤判別のない検査を実行できるようにすることを、課題とするものである。
【課題を解決するための手段】
【００１６】
上記の課題を解決するために、この明細書で提案する方法では、はんだ付け後の部品実装基板に対する仰角が異なる方向からそれぞれ色彩の異なる光を照射し、これらの色彩光に対する基板からの正反射光を撮像装置により撮像して生成されたカラー画像を用いて基板上のはんだフィレットの形状を検査する場合に、複数の色彩光のうち、フィレットに照射されて正反射した後に他のフィレットで二次反射して撮像装置に入射する可能性のある色彩光を、あらかじめ特定しておく。そして、複数の色彩光のすべてを照射した状態で基板を撮像する第１撮像と、上記のあらかじめ特定した色彩光を照射せずにその他の色彩光を照射した状態で基板を撮像する第２撮像とを、撮像対象領域を変更せずに順に実行する。さらに、第１撮像によるカラー画像の構成画素の中に、第２撮像によるカラー画像に対する色差が所定のしきい値Ａを超え、かつ第２撮像によるカラー画像中の対応画素の明度が所定のしきい値Ｂを超える画素があるとき、この画素のデータを、第２撮像によるカラー画像中の対応画素のデータに置き換え、この置き換え処理後のカラー画像に対して検査のための画像処理を実行する。
【００１７】
上記において、第１撮像は、すべての色彩光による照明下で行われるので、すべての色彩光に対応する色彩が分布するカラー画像を生成することができる。一方、第２撮像では、特定の色彩光が照射されない状態になるので、この光に対応する色彩のないカラー画像が生成される。したがって、第１撮像によるカラー画像と第２撮像によるカラー画像との間で色差を求めると、第２撮像で照射されなかった色彩光に対応する色彩が生じていた部位で大きな色差が抽出されると考えられる。
【００１８】
上記の大きな色差が生じるのは、第２撮像時に照射されなかった色彩光に対応する傾斜角度を持つ部位になるほか、二次反射によるノイズが生じていた部位になる。これらのうちノイズが生じていた部位では、第２撮像においても、その部位の傾斜に応じた色彩光の反射光が撮像装置に入射するため、カラー画像においても相応の明度が確保される。しかし、ノイズ以外の部位については、第２撮像では撮像装置に入射する反射光がなくなるため、カラー画像中には周囲よりも暗い領域として現れると考えられる。
【００１９】
上記の方法では、第１撮像によるカラー画像中に、第２撮像によるカラー画像に対する色差が所定のしきい値Ａを超える画素がある場合に、その画素の第２撮像によるカラー画像中の対応画素の明度が所定のしきい値Ｂを超えていれば、第１撮像により得た画像データを第２撮像により得た画像データに置き換えるので、二次反射によるノイズが生じている部位を本来の傾斜角度を反映した色彩で表された画像に置き換えることができる。一方、ノイズ以外の部位については、第２撮像による暗い画像データではなく、第１撮像により得た画像データが採用されるので、この部位についても傾斜角度を反映した画像を確保することができる。
【００２０】
このようにいずれの部位についても、その傾斜角度を反映した色彩が現れた画像を生成することができるので、この画像に従来と同様の画像処理用のプログラムや判定基準値を適用して検査を行うことが可能になる。
【００２１】
さらに、上記の方法が適用された基板外観検査装置は、検査対象の基板に対する仰角が異なる複数方向からそれぞれ色彩の異なる光を照射する照明装置と、この照明装置からの照明光に対する基板からの正反射光を入射可能な位置に配置されたカラー画像用の撮像装置と、照明装置による照明下で撮像装置に撮像を行わせ、生成されたカラー画像を用いて前記基板上のはんだフィレットの形状を検査する制御処理装置とを具備するもので、制御処理装置には、以下の撮像制御手段、色差抽出手段、画像合成手段、画像処理手段の各手段が設けられる。
【００２２】
撮像制御手段は、照明装置に複数の色彩光のすべてを点灯させた状態下で撮像装置に撮像を行わせる第１撮像と、複数の色彩光のうちはんだフィレットに照射されて正反射した後に他のはんだフィレットで二次反射して撮像装置に入射する可能性のある色彩光が消され、その他の色彩光が点灯するように照明装置を制御して撮像装置に撮像を行わせる第２撮像とを、撮像対象領域を変更せずに順に実行する。色差抽出手段は、第１撮像により生成されたカラー画像と第２撮像により生成されたカラー画像との間で対応関係にある画素毎に色差を抽出する。画像合成手段は、第１および第２の各撮像により生成されたカラー画像間で対応する画素の組毎にいずれかの画像におけるデータを選択し、選択された各データの集合による画像を作成する。画像処理手段は、画像合成手段により作成された画像に対して検査のための画像処理を実行する。
【００２３】
さらに画像合成手段は、前記色差抽出手段により抽出された色差が所定のしきい値Ａを超える画素の組のうち第２撮像によるカラー画像中の対応画素の明度が所定のしきい値Ｂを超える組については前記第２撮像によるカラー画像中の対応画素のデータを選択し、色差がしきい値Ａ以下になる画素の組、および色差はしきい値Ａを超えるが第２撮像によるカラー画像中の明度が前記しきい値Ｂ以下になる画素の組については前記第１撮像によるカラー画像中の対応画素のデータを選択するように、構成される。
【００２４】
上記の検査装置の好ましい態様では、照明装置として、赤、緑、青の色彩光を含む複数種の色彩光をそれぞれ発する複数の発光領域が、それぞれ基板に対する仰角が異なる位置に配備された構成のものを使用する。また制御処理装置の撮像制御手段は、第１撮像においてはすべての発光領域を点灯し、第２撮像においては、所定位置を境界として隣り合う一対の発光領域間の前記境界位置を基準に、この基準の位置よりも基板に対する仰角が大きい発光領域を消灯し、基準の位置より基板に対する仰角が小さい発光領域を点灯する。
【００２５】
他の好ましい態様では、照明装置は、赤、緑、青の色彩光をそれぞれ発する３種類の発光領域を具備するとともに、赤色光の発光領域の基板に対する仰角が他の発光領域より大きくなるように構成される。また制御処理装置の撮像制御手段は、第１撮像においては３種類の発光領域をすべて点灯し、第２撮像においては赤色光の発光領域を消灯し、緑色光および青色光の各発光領域を点灯する。
【００２６】
上記の各態様を含む基板外観検査装置によれば、二次反射によるノイズが生じているか否かに関わらず、被検査部位について常に正しい傾斜状態を反映する色彩分布をとる画像を自動生成して、検査を実行することが可能になる。よって、従来から蓄積した判定基準をベースに、より精度の高い検査を効率良く実行することが可能になる。
【発明の効果】
【００２７】
この発明によれば、二次反射によるノイズの影響を受けることなく、はんだフィレットの形状を精度良く検査することが可能になる。また、照明状態を切り替えて２回の撮像を行うことでノイズの影響が除去されたカラー画像を生成できるから、ハード構成を変更する必要がなく、従来のカラーハイライト方式の検査で蓄積した判定基準を適用した処理が可能になる。
【発明を実施するための最良の形態】
【００２８】
図１は、この発明が適用された基板検査装置の光学系の構成、および主要な電気的構成を示す。
この基板検査装置は、はんだ付け処理後のプリント基板Ｓを対象に、各はんだ付け部位に対するはんだ検査などを実行するもので、検査に関する一連の処理を実行する制御処理装置１に、カメラ２、照明装置３、基板ステージ４などが接続された構成のものである。
【００２９】
基板ステージ４には、検査対象の基板を支持するためのテーブル部４１や、Ｘ軸ステージおよびＹ軸ステージ（いずれも図示せず。）を含む移動機構４２などが含まれる。
【００３０】
カメラ２および照明装置３は、「カラーハイライト方式」と呼ばれる光学系を構成する。カメラ２は、検査対象の基板のカラー静止画像を生成するもので、基板ステージ４の上方に撮像面を下方に向け、かつ光軸を鉛直方向に合わせた状態で配備される。
【００３１】
照明装置３は、基板ステージ４とカメラ２との間に配置された３個の円環状光源３１，３２，３３により構成される。これらの光源３１，３２，３３は、それぞれ、赤色、緑色、青色の各色彩光を発するもので、各中心部をカメラ２の光軸に位置合わせした状態で配備されている。また各光源３１，３２，３３は、基板から見た仰角がそれぞれ異なる方向から光を照射できるように、互いに異なる大きさの径を有するように設定される。具体的には、赤色光源３１の径が最も小さく、最も高い位置に配備される。以下、緑色光源３２、青色光源３３の順に径が大きくなるとともに、径が大きな光源ほど下方位置に配置される。
【００３２】
上記構成の光学系によれば、基板上の各はんだ付け部位について、そのはんだ面の傾斜状態が赤、緑、青の各色彩領域の分布状態に反映されたカラー画像を生成することができる。なお、照明装置３の構成は上記に限らず、ＬＥＤ等の発光素子をリング状に配列した構成の装置によって、赤、緑、青の各色彩光が光源３１〜３３と同様の関係をもって照射されるようにしてもよい。
【００３３】
制御処理装置１は、上記の基板ステージ４やカメラ２の動作を制御しつつ、生成されたカラー画像を処理して各種検査を行うもので、コンピュータによる制御部１０に、画像入力部１１、撮像制御部１２、照明制御部１３、ＸＹステージ制御部１４、メモリ１５、検査結果出力部１６，操作部１７、モニタ１８などが接続された構成のものである。
【００３４】
画像入力部１１には、カメラ２から三原色の画像信号を受け付けるインターフェース回路や、これらの画像信号をディジタル変換するＡ／Ｄ変換回路などが含まれる。このディジタル変換によって、各画素の色彩は、それぞれＲ，Ｇ，Ｂの各階調データ（たとえば８ビット構成であれば０〜２５５の数値範囲をとる。）の組み合わせにより表される。
この明細書では、この色彩毎の階調データの値を、ｒ，ｇ，ｂ値といい、画素単位でのｒ，ｇ，ｂ値の組み合わせを「色彩データ」という。各画素の色彩データは、それぞれ当該画素のアドレスに対応づけられて、メモリ１５の画像格納領域に保存される。
【００３５】
撮像制御部１２は、カメラ２の撮像タイミングを制御し、照明制御部１３は、照明装置３の各光源３１〜３３の点灯、消灯のタイミングや光量調整などを行う。ＸＹステージ制御部１４は、基板ステージ４の移動タイミングや移動量を制御する。
【００３６】
メモリ１５には、画像データのほか、各被検査部位の検査に用いられるプログラムや検査基準データなどが格納される。制御部１０は、これらのプログラムや検査基準データを用いて、検査に関する一連の処理を実行する。大まかに説明すると、基板ステージ４の移動を制御することにより、カメラ２の視野を基板の複数位置に順に合わせながらカメラ２に撮像を行わせる。さらに撮像の都度、画像入力部１１により処理されたカラー画像に検査領域を設定して、被検査部位の検出、計測、計測値の適否判定などの処理を実行する。判定の結果は、検査結果出力部１６を介して、図示しない外部機器などに出力される。
【００３７】
この実施例の基板検査装置では、カラー画像中の各はんだ付け部位（大半はフィレットが形成されている。）に検査領域を設定して、順次はんだ検査を実行する。このはんだ検査では、検査領域内の各画素の色彩データを、それぞれｒ，ｇ，ｂ毎に設定された２値化しきい値を用いて２値化することによって、視認される色彩が赤色の領域（赤領域）、視認される色彩が緑色の領域（緑領域）、および視認される色彩が青色の領域（青領域）の３種類の色彩領域を抽出する。さらに、これらの色彩領域の面積を個別に計測して、各計測値を判定基準値と照合することにより、はんだ面の傾斜状態の適否を判別する。
【００３８】
さらにこの実施例の基板検査装置では、二次反射によるノイズを除去して検査の精度を確保するために、照明状態を切り替えて同じ領域を２回撮像し、各撮像により生成されたカラー画像を合成して、検査のための処理対象画像を生成するようにしている。以下、この処理について詳細に説明する。
【００３９】
図２は、この実施例で実施する撮像処理を模式的に示す。なおここでは、チップ部品６の一対のフィレット７，８のうちの右側のフィレット７に、二次反射が生じるものとして、このフィレット７の画像を処理する例を示す。ただし実際の検査では、右側に限らず、ノイズの影響を受けない左側のフィレット８に対しても同様の処理が実行される。
【００４０】
この実施例では、１回目の撮像（以下「第１撮像」という。）は、３つの光源３１，３２，３３をすべて点灯した状態で行うが、２回目の撮像（以下「第２撮像」という。）の際には、二次反射光がカメラ２に入射する可能性のある光を発する赤色光源３１を消灯し、その他の光源３２，３３を点灯する。
【００４１】
第１撮像では、赤、緑、青の各反射光がカメラ２に入射するため、これらの反射光に対応する赤、緑、青の各色領域を含むカラー画像が生成される（以下、この画像を「Ｒ−ＯＮ画像」という。）。
一方、第２撮像では、赤色光源３１の消灯によって赤色の反射光がカメラ２に入射しない状態になるため、赤色を含まないカラー画像が生成される（以下、この画像を「Ｒ−ＯＦＦ画像」という。）。
【００４２】
Ｒ−ＯＮ画像では、フィレット７の基板面に近い部位が赤色領域として表されるほか、二次反射による赤色のノイズ領域５０が現れる。
フィレット７のノイズ領域５０に対応する部位では、第２撮像の際には、カメラ２に入射する二次反射光が消失するため、Ｒ−ＯＦＦ画像では、本来の傾斜角度に対応する青色が現れる。一方、フィレット７の基板面に近い部位では、カメラ２に入射する反射光がなくなるため、Ｒ−ＯＦＦ画像においては、明度の低い領域（以下、「暗領域」という。）として表される。
【００４３】
そこでこの実施例では、Ｒ−ＯＮ画像中の赤色領域のうち、フィレット７の本来の傾斜面を表す部位の赤色をそのまま維持する一方で、二次反射によるノイズ領域５０を消失させるために、この領域５０内の画素の色彩データを、Ｒ−ＯＦＦ画像側のデータに置き換えるようにしている。このような置き換えを行うには、ノイズ領域５０を正確に見分ける必要がある。
【００４４】
ノイズ領域５０を見分けるために、この実施例では、Ｒ−ＯＮ画像とＲ−ＯＦＦ画像との間で対応関係にある画素（座標が実質同一になる画素）の組毎に色差（Ｒ，Ｇ，Ｂの色パラメータ毎の差分値の自乗の和またはその平方根）を算出し、その算出値が所定のしきい値Ａを上回る画素を抽出する。図２では、この色差の算出およびしきい値との比較の結果を、しきい値Ａを上回る画素を白画素、それ以外を黒画素とする２値画像（以下「色差画像」という。）として表している。
【００４５】
図３は、色差の算出後に行われる処理を模式的に示す。
この処理では、色差がしきい値Ａを上回った画素（色差画像中の白画素）をＲ−ＯＦＦ画像の対応画素と照合し、Ｒ−ＯＦＦ画像における明度が所定のしきい値Ｂを上回る画素による領域をノイズ領域５０として特定する。そして、Ｒ−ＯＮ画像に対してはノイズ領域５０に対応するマスクを設定し、Ｒ−ＯＦＦ画像に対してはノイズ領域５０以外の部分に対応するマスクを設定し、各画像のマスクがかけられていない部分を合成することによって処理対象画像を生成する。この結果、処理対象画像は、二次反射が生じていないときの画像（図７に示したもの）と同様になる。
【００４６】
上記のように、３つの光源３１〜３３をすべて点灯したときに二次反射によるノイズが発生する場合でも、第２撮像と画像合成処理とを実行することによって、ノイズのない、各色彩によりフィレットの傾斜状態が正しく表された処理対象画像を得ることができる。よって、このカラー画像に対し、従来と同様の検査プログラムや判定基準を適用して精度の高い判別処理を行うことができる。
【００４７】
また図２，３に示した処理では、ノイズ領域５０の赤色は消去されても、本来の傾斜状態を反映した赤領域が誤って消去されることはないので、ノイズのない画像を処理しても、なんら問題が生じるおそれがない。
【００４８】
図４は、形状が良好で二次反射が生じていないフィレット７（図４の（１））、形状は良好であるが二次反射が生じているフィレット７（図４の（２））、およびぬれ不良のはんだ７Ｅ（図４の（３）について、Ｒ−ＯＮ画像、Ｒ−ＯＦＦ画像、色差画像の各画像を対比して示す。また、色差画像中の白領域のうち、Ｒ−ＯＦＦ画像中での明度がしきい値Ｂを超える部分を、斜線で示している。
【００４９】
図４の（１）（３）の例では、Ｒ−ＯＮ画像中に出現する赤色領域は、すべて本来の傾斜角度を反映するものであるから、Ｒ−ＯＦＦ画像では暗領域となる。したがって、これらの暗領域は、Ｒ−ＯＦＦ画像に対する色差がしきい値Ａを上回る領域となるが、Ｒ−ＯＦＦ画像における明度はしきい値Ｂ以下になるため、二次反射によるノイズではないと判断され、Ｒ−ＯＮ画像のデータが採用される。
【００５０】
このように、ノイズが生じていない場合には、Ｒ−ＯＮ画像の赤色領域はすべて維持され、検査に誤判別が生じるおそれがない。よって、二次反射が生じているか否かに関わらず、フィレット検査の際に常に図２，３に示した処理を行うことによって、突発的なノイズの発生にも対応することができ、検査の精度を確保することができる。
【００５１】
つぎに、図５は、先の図３に示した画像合成を実現するために制御部１０が実行する処理手順を示す。この図に示すように、実際の処理では、Ｒ−ＯＮ画像とＲ−ＯＦＦ画像との間で求めた色差やＲ−ＯＦＦ画像における明度に基づき、両画像間で対応関係にある画素の組毎にいずれか一方の画像の色彩データを選択する処理を実行し、選択された各色彩データの集合体を処理対象のカラー画像とする。
【００５２】
具体的には、図５の処理は、Ｒ−ＯＮ画像およびＲ−ＯＦＦ画像の同一の範囲の画像を対象に実行される。この処理対象範囲は、１つの部品およびその部品に対応するすべてのフィレットを含むように設定される。ただし、フィレット単位で処理対象範囲を定めるようにしてもよい。
【００５３】
最初のステップであるＳＴ１０１では、両画像間の対応画素毎に色差を算出する。この場合、フィレットや部品本体など正反射光が優勢になる部位のうち、緑色や青色の反射光がカメラ２に入射する部位については、顕著な色差は算出されない。色差が顕著になるのは、赤色の反射光がカメラ２に入射する部位になると考えられる。
【００５４】
つぎのＳＴ１０２では、現在の処理対象範囲の画素毎に「判定用フラグ」を設定する。この判定用フラグは、対応する画素について、Ｒ−ＯＮ画像およびＲ−ＯＦＦ画像のいずれの色彩データを選択するかを示すもので、このフラグがオフであれば、Ｒ−ＯＮ画像のデータが選択される。ＳＴ１０２の段階では、すべての画素の判定用フラグが「オフ」に設定される。
【００５５】
ＳＴ１０３では、各画素の中から、ＳＴ１０１で算出された色差がしきい値Ａを上回るものを抽出し、抽出した各画素に対し、ＳＴ１０４〜１０９のループを実行する。
このループでは、Ｒ−ＯＦＦ画像中の対応画素のｒ，ｇ，ｂ値を抽出し、これらの値から当該画素の明度Ｌを算出する（ＳＴ１０５，１０６）。さらに、この明度Ｌをしきい値Ｂと比較し、Ｌ＞Ｂであれば、当該画素に対応する判定用フラグをオフからオンに切り替える（ＳＴ１０７，１０８）。
【００５６】
上記のループによれば、色差がしきい値Ａを上回り、かつＲ−ＯＦＦ画像における明度がしきい値Ｂを上回る画素（すなわち二次反射によるノイズ領域５０に含まれる画素）では、判定用フラグがオンに設定される。それ以外の画素については、判定用フラグはオフのままとなる。
【００５７】
ＳＴ１１０では、合成画素として、各画素のｒ，ｇ，ｂ値がすべてゼロの画像を初期設定する。以下、この画像中の各画素を対象にＳＴ１１１〜１１６のループを実行することにより、合成画像を完成させる。
【００５８】
このループでは、まず着目中の画素に対応する判定用フラグを読み出し（ＳＴ１１２）、この判定用フラグがオンであれば、着目中の画素のｒ，ｇ，ｂ値をＲ−ＯＦＦ画像の対応画素の値に変更する（ＳＴ１１４）。一方、判定用フラグがオフであれば、着目中の画素のｒ，ｇ，ｂ値をＲ−ＯＮ画像の対応画素の値に書き換える（ＳＴ１１５）。
【００５９】
図６は検査に関する処理手順を示す。ただし、ここでは、説明を簡単にするため、基板に対する撮像対象領域を１つとし、検査もフィレット検査に限定する。
【００６０】
まずＳＴ１では、検査対象の基板Ｓを基板ステージ４に搬入し、カメラ２および照明装置３を基板Ｓに対して位置決めする。位置決めが終了すると、ＳＴ２において、すべての光源３１，３２，３３を点灯した状態で撮像（第１撮像）を行う。これによりＲ−ＯＮ画像が生成される。
【００６１】
つぎのＳＴ３では、赤色光源３１を消灯し、その他の光源３２，３３を点灯した状態下で撮像（第２撮像）を行う。これによりＲ−ＯＦＦ画像が生成される。
【００６２】
２つのカラー画像が生成されると、この後は、フィレット検査の対象となる部品毎にＳＴ４〜８のループを実行する。このループ中のＳＴ５は、図５に詳細に示した画像合成処理（ＳＴ１０１〜１１６）にあたる。この処理により部品単位の合成画像が生成されると、ＳＴ６では、この画像中の各ランド部に検査領域を設定する。さらにＳＴ７では、設定した検査領域毎に、各色彩領域を２値化により検出し、各色彩領域の位置や面積を計測し、得られた計測値を判定基準値と比較することにより、フィレットの良否を判定する。毎時の判定結果は、メモリ１５内に一時保存される。
【００６３】
なお、ランド単位での画像合成処理を行う場合には、まずＲ−ＯＮ画像に基づいて各ランド部に検査領域を設定し、検査領域毎に画像合成処理を行えばよい。
【００６４】
検査対象の部品に対する処理がすべて実行されると、ＳＴ９では、各検査領域毎の判定結果を基板単位の検査結果データに編集し、これをメモリ１５に保存するとともに、外部機器などに出力する。この後は、ＳＴ１０で基板Ｓを搬出し、処理を終了する。
【００６５】
なお、図６の例では、第１撮像を実行した後に第２撮像を実行したが、撮像の順序はこれに限らず、第２撮像を先に行い、その後に第１撮像を行ってもよい。
【００６６】
また上記の実施例では、赤、緑、青の３種類の光源３１〜３３を具備する照明装置３を使用したが、光源の数はこれに限らず、それぞれ異なる色彩光を発する４種類以上の光源（赤、緑、青の各色彩光を含むのが望ましい。）を基板Ｓに対する仰角が異なる位置に配置した構成のものを使用してもよい。また、この構成において、基板Ｓに対する仰角が大きい方向にある複数の光源からの色彩光により二次反射によるノイズが生じる可能性がある場合には、第２撮像では、これら複数の光源を消灯対象とすればよい。
【図面の簡単な説明】
【００６７】
【図１】基板検査装置の電気的構成を光学系の構成とともに示すブロック図である。
【図２】フィレット検査の際の処理の概要を示す説明図である。
【図３】フィレット検査の際の処理の概要を示す説明図である。
【図４】二次反射の有無およびぬれ不良について、Ｒ−ＯＮ画像、Ｒ−ＯＦＦ画像、色差画像を対比して示す説明図である。
【図５】画像合成処理の手順を示すフローチャートである。
【図６】検査の手順を示すフローチャートである。
【図７】良品フィレットにおける反射状態および生成されるカラー画像を示す説明図である。
【図８】二次反射が生じている場合の反射状態および生成されるカラー画像を示す説明図である。
【図９】不良はんだにおける反射状態および生成されるカラー画像を示す説明図である。
【符号の説明】
【００６８】
Ｓ 基板
１ 制御処理装置
２ カメラ
３ 照明装置
７ フィレット
１０ 制御部
３１，３２，３３ 光源
【特許請求の範囲】
【請求項１】
はんだ付け後の部品実装基板を検査対象として、この基板に対する仰角が異なる方向からそれぞれ色彩の異なる光を照射し、これらの色彩光に対する基板からの正反射光を撮像装置により撮像して生成されたカラー画像を用いて前記基板上のはんだフィレットの形状を検査する方法において、
前記複数の色彩光のうち、はんだフィレットに照射されて正反射した後に他のはんだフィレットで二次反射して前記撮像装置に入射する可能性のある色彩光を、あらかじめ特定しておき、
前記複数の色彩光のすべてを照射した状態で前記基板を撮像する第１撮像と、前記あらかじめ特定した色彩光を照射せずにその他の色彩光を照射した状態で前記基板を撮像する第２撮像とを、撮像対象領域を変更せずに順に実行し、
前記第１撮像によるカラー画像の構成画素の中に、前記第２撮像によるカラー画像に対する色差が所定のしきい値Ａを超え、かつ第２撮像によるカラー画像中の対応画素の明度が所定のしきい値Ｂを超える画素があるとき、この画素のデータを、第２撮像によるカラー画像中の対応画素のデータに置き換え、この置き換え処理後のカラー画像に対して検査のための画像処理を実行する、
ことを特徴とする、はんだフィレットの検査方法。
【請求項２】
検査対象の基板に対する仰角が異なる複数方向からそれぞれ色彩の異なる光を照射する照明装置と、この照明装置からの照明光に対する基板からの正反射光を入射可能な位置に配置されたカラー画像用の撮像装置と、前記照明装置による照明下で撮像装置に撮像を行わせ、生成されたカラー画像を用いて前記基板上のはんだフィレットの形状を検査する制御処理装置とを具備する装置であって、
前記制御装置には、
前記照明装置に複数の色彩光のすべてを点灯させた状態下で前記撮像装置に撮像を行わせる第１撮像と、前記複数の色彩光のうちはんだフィレットに照射されて正反射した後に他のはんだフィレットで二次反射して撮像装置に入射する可能性のある色彩光が消され、その他の色彩光が点灯するように前記照明装置を制御して前記撮像装置に撮像を行わせる第２撮像とを、撮像対象領域を変更せずに順に実行する撮像制御手段、
前記第１撮像により生成されたカラー画像と第２撮像により生成されたカラー画像との間で対応関係にある画素毎に色差を抽出する色差抽出手段、
前記第１および第２の各撮像により生成されたカラー画像間で対応する画素の組毎にいずれか一方の画素のデータを選択し、選択された各データの集合による画像を作成する画像合成手段、
前記画像合成手段により作成された画像に対して検査のための画像処理を実行する画像処理手段、
の各手段を具備し、
前記画像合成手段は、前記色差抽出手段により抽出された色差が所定のしきい値Ａを超える画素の組のうち、第２撮像によるカラー画像の明度が所定のしきい値Ｂを超える組については前記第２撮像によるカラー画像のデータを選択し、前記色差がしきい値Ａ以下になる画素の組、および色差はしきい値Ａを超えるが第２撮像によるカラー画像の明度が前記しきい値Ｂ以下になる画素の組については前記第１撮像によるカラー画像のデータを選択する、
ことを特徴とする基板外観検査装置。
【請求項３】
前記照明装置は、赤、緑、青の色彩光を含む複数種の色彩光をそれぞれ発する複数の発光領域が、それぞれ基板に対する仰角が異なる位置に配備されて成り、
前記制御処理装置の撮像制御手段は、第１撮像においてはすべての発光領域を点灯し、第２撮像においては、所定位置を境界として隣り合う一対の発光領域間の前記境界位置を基準に、この基準の位置よりも基板に対する仰角が大きい発光領域を消灯し、前記基準の位置より基板に対する仰角が小さい発光領域を点灯する、請求項２に記載された基板外観検査装置。
【請求項４】
前記照明装置は、赤、緑、青の色彩光をそれぞれ発する３種類の発光領域を具備するとともに、赤色光の発光領域の基板に対する仰角が他の発光領域より大きくなるように構成され、
前記制御処理装置の撮像制御手段は、第１撮像においては３種類の発光領域をすべて点灯し、第２撮像においては赤色光の発光領域を消灯し、緑色光および青色光の各発光領域を点灯する、請求項２に記載された基板外観検査装置。
【請求項１】
はんだ付け後の部品実装基板を検査対象として、この基板に対する仰角が異なる方向からそれぞれ色彩の異なる光を照射し、これらの色彩光に対する基板からの正反射光を撮像装置により撮像して生成されたカラー画像を用いて前記基板上のはんだフィレットの形状を検査する方法において、
前記複数の色彩光のうち、はんだフィレットに照射されて正反射した後に他のはんだフィレットで二次反射して前記撮像装置に入射する可能性のある色彩光を、あらかじめ特定しておき、
前記複数の色彩光のすべてを照射した状態で前記基板を撮像する第１撮像と、前記あらかじめ特定した色彩光を照射せずにその他の色彩光を照射した状態で前記基板を撮像する第２撮像とを、撮像対象領域を変更せずに順に実行し、
前記第１撮像によるカラー画像の構成画素の中に、前記第２撮像によるカラー画像に対する色差が所定のしきい値Ａを超え、かつ第２撮像によるカラー画像中の対応画素の明度が所定のしきい値Ｂを超える画素があるとき、この画素のデータを、第２撮像によるカラー画像中の対応画素のデータに置き換え、この置き換え処理後のカラー画像に対して検査のための画像処理を実行する、
ことを特徴とする、はんだフィレットの検査方法。
【請求項２】
検査対象の基板に対する仰角が異なる複数方向からそれぞれ色彩の異なる光を照射する照明装置と、この照明装置からの照明光に対する基板からの正反射光を入射可能な位置に配置されたカラー画像用の撮像装置と、前記照明装置による照明下で撮像装置に撮像を行わせ、生成されたカラー画像を用いて前記基板上のはんだフィレットの形状を検査する制御処理装置とを具備する装置であって、
前記制御装置には、
前記照明装置に複数の色彩光のすべてを点灯させた状態下で前記撮像装置に撮像を行わせる第１撮像と、前記複数の色彩光のうちはんだフィレットに照射されて正反射した後に他のはんだフィレットで二次反射して撮像装置に入射する可能性のある色彩光が消され、その他の色彩光が点灯するように前記照明装置を制御して前記撮像装置に撮像を行わせる第２撮像とを、撮像対象領域を変更せずに順に実行する撮像制御手段、
前記第１撮像により生成されたカラー画像と第２撮像により生成されたカラー画像との間で対応関係にある画素毎に色差を抽出する色差抽出手段、
前記第１および第２の各撮像により生成されたカラー画像間で対応する画素の組毎にいずれか一方の画素のデータを選択し、選択された各データの集合による画像を作成する画像合成手段、
前記画像合成手段により作成された画像に対して検査のための画像処理を実行する画像処理手段、
の各手段を具備し、
前記画像合成手段は、前記色差抽出手段により抽出された色差が所定のしきい値Ａを超える画素の組のうち、第２撮像によるカラー画像の明度が所定のしきい値Ｂを超える組については前記第２撮像によるカラー画像のデータを選択し、前記色差がしきい値Ａ以下になる画素の組、および色差はしきい値Ａを超えるが第２撮像によるカラー画像の明度が前記しきい値Ｂ以下になる画素の組については前記第１撮像によるカラー画像のデータを選択する、
ことを特徴とする基板外観検査装置。
【請求項３】
前記照明装置は、赤、緑、青の色彩光を含む複数種の色彩光をそれぞれ発する複数の発光領域が、それぞれ基板に対する仰角が異なる位置に配備されて成り、
前記制御処理装置の撮像制御手段は、第１撮像においてはすべての発光領域を点灯し、第２撮像においては、所定位置を境界として隣り合う一対の発光領域間の前記境界位置を基準に、この基準の位置よりも基板に対する仰角が大きい発光領域を消灯し、前記基準の位置より基板に対する仰角が小さい発光領域を点灯する、請求項２に記載された基板外観検査装置。
【請求項４】
前記照明装置は、赤、緑、青の色彩光をそれぞれ発する３種類の発光領域を具備するとともに、赤色光の発光領域の基板に対する仰角が他の発光領域より大きくなるように構成され、
前記制御処理装置の撮像制御手段は、第１撮像においては３種類の発光領域をすべて点灯し、第２撮像においては赤色光の発光領域を消灯し、緑色光および青色光の各発光領域を点灯する、請求項２に記載された基板外観検査装置。
【図１】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【公開番号】特開２００８−３０９５８０（Ｐ２００８−３０９５８０Ａ）
【公開日】平成２０年１２月２５日（２００８．１２．２５）
【国際特許分類】
【出願番号】特願２００７−１５６５１５（Ｐ２００７−１５６５１５）
【出願日】平成１９年６月１３日（２００７．６．１３）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２０年１２月２５日（２００８．１２．２５）
【国際特許分類】
【出願日】平成１９年６月１３日（２００７．６．１３）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]