実装部品の検査結果確定方法および検査結果確定システム
【課題】自動外観検査で不良と判定される部品の良否を確認する作業を効率良く行うとともに、その作業の精度を確保できるようにする。
【解決手段】自動外観検査で不良と判定された同一部品種の部品を、それぞれの画像から抽出された特徴量による特徴空間に配置してクラスタリング処理を実行し、設定された集合C1,C2毎に良・不良を確定する。この確定処理では、処理対象の集合全体を含むように確認対象範囲を設定し、この範囲の境界部に対応する部品の画像を表示して、作業者による良否判定の入力を受け付ける。ここで表示された全ての部品が良品と判定されると、確認対象範囲内の全ての部品を良品として確定する。一方、表示された部品の中に不良品と判定されたものがある場合には、確認対象範囲を縮小し、更新された確認対象範囲の境界部に対応する部品の画像を表示して、同様に判定入力を受け付ける。
【解決手段】自動外観検査で不良と判定された同一部品種の部品を、それぞれの画像から抽出された特徴量による特徴空間に配置してクラスタリング処理を実行し、設定された集合C1,C2毎に良・不良を確定する。この確定処理では、処理対象の集合全体を含むように確認対象範囲を設定し、この範囲の境界部に対応する部品の画像を表示して、作業者による良否判定の入力を受け付ける。ここで表示された全ての部品が良品と判定されると、確認対象範囲内の全ての部品を良品として確定する。一方、表示された部品の中に不良品と判定されたものがある場合には、確認対象範囲を縮小し、更新された確認対象範囲の境界部に対応する部品の画像を表示して、同様に判定入力を受け付ける。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自動外観検査により不良と判定された部品を対象に、各対象部品を良品または不良品として確定する方法、およびこの方法に用いる検査結果確定システムに関する。
【背景技術】
【0002】
部品実装検査用の自動外観検査装置では、検査対象の基板を撮像し、生成された画像において部品毎に検査領域を設定し、各検査領域の画像をあらかじめ登録された判定基準に基づき処理することによって、所定の特徴量(部品やはんだを表す色彩、その面積、座標など)を抽出する。さらに抽出された特徴量を所定のしきい値と比較するなどして、部品の実装状態が良好であるか否かを判定する。
【0003】
上記の検査に用いられる判定基準は、部品やその周囲の外観に基づいて設定されるが、基板の製造現場では、実装される部品が機能は同一であるが外観が異なる部品(一般に別のメーカの部品)に変更される場合がある。また、部品以外にも、はんだのぬれ性を向上するためにランド部分の形状やメッキの種類が変更されて、その結果、はんだ付け部位の形状や輝度などが変化することがある。
【0004】
このように部品またはその周囲の外観が変わり、変更後の外観が登録されている判定基準に適合しない状態になると、実装状態が良好な部品であっても不良品として判別される可能性がある。
【0005】
上記の問題に関して、下記の特許文献1,2には、実装される可能性がある部品毎に、その部品に適合する判定基準と部品の外観の特徴とを対応づけて登録しておき、検査時に画像から抽出された特徴を登録された特徴群と照合することによって、処理対象の画像に適した判定基準を選択することが記載されている。
【0006】
また、特許文献3には、同様のパターンが得られる複数のはんだ付け部の中の1つを選択し、選択されたはんだ付け部のパターン形状を示す情報と、他のはんだ付け部のパターン形状を示す情報とのマッチング度合を求めることにより、各はんだ付け部位の良否を判定することが記載されている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開平10−206128号公報
【特許文献2】特開2002−299900号公報
【特許文献3】特開2008−191106号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
部品等の変更に伴う誤判別を防止するには、外観の変化に応じて検査装置の登録情報を切り替える必要があるが、実際には、現場間での連絡がとれなかったり、新たな登録情報を検査装置に教示するだけの時間的余裕が得られないなどの理由により、対応が遅れることが多い。現場では、不良と判定された部品の画像を人の目で確認して、本当に不良であるか否かを最終判断しているが、確認点数が多くなると、作業員に多大な負担がかかり、また作業時間が長引く、という問題が生じる。
【0009】
特許文献1,2に記載された方法を実施するには、同一の機能を具備する複数の部品について、その部品が実際に実装された状態を表す画像を取得し、その特徴から判定基準を導出する必要がある。しかし、実際にどの部品が実装されるかを想定するのは困難であるし、仮に想定できとしても、各部品の現物を入手し、これらを実際に実装した基板を製作しなければ、画像や判定基準を得ることはできない。よって、この方法は現実的とは言えず、実施は困難である。
【0010】
特許文献3に記載された方法では、事前に実装される部品を想定する必要はないが、基準として選択されたはんだ付け部のパターンによって照合結果が変動するため、安定した検査を行うのが困難である。たとえば、不良の生じたはんだ付け部が選択された場合には、その他のはんだ付け部が良好であっても、不良のパターンとの照合によって全てが不良と判定されてしまう。また、この方法は、IC部品のように、特徴が類似する複数のはんだ付け部が得られる部品でなければ適用できない、という問題もある。
【0011】
また、不良品と誤判別された良品に限らず、製造工程に何らかの不備があって、同様の不良が多数発生した場合も同様に、作業者の負担が増大することになる。
【0012】
本発明は上記の各問題点を考慮してなされたもので、自動外観検査で不良と判定される部品が多数発生した場合でも、これらの良否を確認する作業を効率良く行うとともに、その作業の精度を確保できるようにすることを課題とする。
【課題を解決するための手段】
【0013】
本発明による実装部品の検査方法では、部品実装基板に対する自動外観検査を実行した後に、この自動外観検査で不良と判定された部品を対象に、その良否を作業者による判定に基づき確定するもので、以下の第1〜第4のステップを実行することを特徴とする。
【0014】
第1ステップでは、自動外観検査により不良と判定された同一部品種の複数の部品を対象に、これらの部品をそれぞれの自動外観検査に用いた画像から抽出した特徴量の大小関係に基づき仮想配置する。
【0015】
つぎに第2ステップでは、処理対象の部品が分布する範囲に所定大きさの確認対象範囲を設定して、この確認対象範囲の境界部に対応する部品を抽出する。第3ステップでは、第2ステップで抽出された部品につき、それぞれ自動外観検査に使用された画像を表示して、表示された各部品に対する作業者の良否判定の入力を受け付ける。
【0016】
第4ステップでは、同一の確認対象範囲につき抽出された部品の全てに対し、第3ステップにおいて同内容の判定を受け付けたとき、この判定内容を当該判定がなされた部品群より内側に分布する全ての部品に適用して、各部品に対する判定を確定する。
【0017】
部品またはその周囲の外観が変わったために自動外観検査で不良と判定された部品が複数出現した場合、これらの部品の実装状態が良好であれば、それぞれの画像から抽出される特徴量は比較的限定された範囲に分布すると考えられる。同種の不良が生じた部品についても同様に、それぞれの画像から抽出される特徴量は比較的限定された範囲に分布する可能性が高い。
【0018】
本発明では上記の点に着目し、まず、不良と判定された部品を、それぞれの画像から抽出された特徴量の大小関係に基づき仮想配置して、各部品の分布する範囲内に設定した確認対象範囲の境界部に対応する部品の画像を表示して、作業者による良否判定の入力を受け付ける。ここで表示された部品が全て良品であると判定された場合には、これらの部品のほか、これらより内側に分布する全ての部品を良品として確定する。一方、表示された部品が全て不良品であると判定された場合には、これらの部品のほか、これらより内側に分布する全ての部品を不良品として確定する。
【0019】
したがって、確認対象の部品が多数存在しても、これらの部品の外観が似通っており、特徴量に基づき分布される範囲が所定範囲内に収まる場合には、全ての部品の画像を確認しなくとも、各部品の良・不良を確定することができる。
【0020】
また、実際は良品である部品の集合の中に若干の不良品が混じっている場合でも、不良品と良品との間の特徴量の差異は良品間における特徴量の差異より大きくなると考えられるから、不良品は良品の分布する範囲より外側に位置する可能性が高い。よって、同一の確認対象範囲に対応する全ての部品が良と判定されたときに、これらの部品より内側に分布する全ての部品に良判定を適用する方法をとっても、不良品に良判定が適用されることはなく、精度の良い処理を行うことができる。
【0021】
第1ステップでは、たとえば、部品の色彩、はんだ部の輝度、部品の面積や重心位置など、自動外観検査の際に抽出した特徴量の中の所定数を選択して、これらの特徴量による仮想平面または仮想空間に各部品を配置することができる。ただし、各部品の画像から新たな特徴量を抽出して、各部品の仮想配置に使用してもよい。
【0022】
上記方法の好ましい一態様では、第2ステップおよびこの第2ステップにより抽出された部品を対象にした第3ステップを、確認対象範囲を次第に縮小しながら所定サイクル実行する。そして、表示された各部品に対する判定の内容が一致していないサイクルから各部品に対する判定の内容が一致したサイクルに移行したときより後に、第4ステップを実行する。
【0023】
上記の態様によれば、たとえば、確認対象の部品が分布する範囲全体を最初の確認対象範囲として設定した後に、徐々に確認対象範囲を絞り込み、良品のみが分布する範囲、または不良品のみが分布する範囲が確認対象範囲に設定されたとき以降に、未確認の部品に良または不良の判定を適用することができる。
【0024】
他の好ましい態様では、最初に設定された確認対象範囲につき抽出された各部品に対する判定の内容が一致することを条件として、第2ステップおよびこの第2ステップにより抽出された部品を対象にした第3ステップを、確認対象範囲を次第に拡大しながら所定サイクル実行した後に、第4ステップを実行する。
【0025】
上記の態様によれば、たとえば、確実に良品のみが分布する範囲を最初の確認対象範囲として、徐々に確認対象範囲を広げながら第2ステップおよび第3ステップを繰り返し実行し、部品が分布する範囲全体を確認対象範囲として第2ステップおよび第3ステップを実行し終えた後に、最初の確認対象範囲に含まれる全ての部品に良または不良の判定を適用することが可能になる。
【0026】
なお、確認対象範囲の拡大や縮小は、部品の仮想配置に用いた特徴量毎に行うのが望ましいが、これに限らず、一部の特徴量の境界位置を固定して、他の特徴量の境界位置を変更するにとどめてもよい。また、確認対象範囲の境界部に対応する部品を抽出する処理において、現在の確認対象範囲と1つ前または1つ後の確認対象範囲との間に位置づけられる部品を抽出するなどの方法により、確認もれの部品が生じないようにするのが望ましい。
【0027】
他の好ましい態様では、大きさの異なる複数の確認対象範囲につきそれぞれ第2ステップで抽出された部品の画像を、同じ確認対象範囲毎にグループ分けして一覧表示して、表示された各部品の良否判定の入力を受け付ける。そして表示されたいずれかのグループに所属する全ての部品に対して同内容の判定を受け付けたときより後に第4ステップを実行する。
【0028】
上記の態様によれば、複数の確認対象範囲に対応する部品の画像を見比べながら、良品のみが分布する範囲または不良品のみが分布する範囲を特定して、この範囲に含まれる部品に同内容の判定を適用することが可能になる。
【0029】
つぎに、上記方法の他の好ましい態様では、第4ステップでは、同内容の判定結果を受け付けた部品群より外側に分布する部品について、それぞれ当該部品が表示されたときの当該部品に対する良否判定の内容を確定する。
【0030】
上記のようにすれば、たとえば良品の分布する範囲内に不良品が混入している場合には、良品のみが分布する範囲より外側にある部品については、それぞれの画像を直接確認して行った良否判定が適用される。よって、良品と不良品とを精度良く判別することができる。
【0031】
さらに、他の好ましい態様による方法では、第1ステップにおいて、不良と判定された同一部品種の複数の部品を仮想配置した後に、この仮想配置に用いた特徴量に基づくクラスタリング処理を実行し、このクラスタリング処理により設定された集合毎に、第2,第3,第4の各ステップを実行する。
【0032】
上記の態様によれば、確認対象の部品の画像の特徴量の組み合わせがいくつかのパターンに分類できる場合や、各部品の画像の特徴量のばらつきが所定の基準値を上回るような場合には、クラスタリング処理により複数の集合を設定して、集合毎に第2〜第4のステップを実行することができる。したがって、外観の異なる複数種の部品が確認対象となる場合には、これらの部品種毎に集合を設定し、良品であるのに不良と誤判定された部品と明らかな不良品との双方が確認対象に含まれる場合には、これらを別々の集合に分類するなど、確認対象の部品を複数の集合に分類して、集合毎に良または不良の判定を一括適用できる範囲を絞り込むことができる。よって、確定処理の精度を確保することができる。
【0033】
つぎに、本発明による実装部品の検査結果確定システムは、部品実装基板に対する自動外観検査の対象となった各部品について、その検査の過程で得た情報を当該部品の画像を含めて蓄積する記憶手段と、記憶手段に蓄積された情報に基づき自動外観検査により不良と判定された部品の画像を表示して、作業者による良否判定の入力を受け付ける判定入力受付手段と、判定入力受付手段が受け付けた判定に基づき不良と判定された各部品の良否を確定する検査結果確定手段とを具備する。
【0034】
上記の判定入力受付手段は、自動外観検査で不良と判定された同一部品種の複数の部品を、それぞれの自動外観検査に用いた画像から抽出された特徴量の大小関係に基づき仮想配置する手段と、仮想配置された部品が分布する範囲に所定大きさの確認対象範囲を設定して、この確認対象範囲の境界部に位置する部品を抽出する手段とを具備し、これらの手段により抽出された部品を対象にして、画像の表示および良否判定の入力の受付処理を実行する。また、検査結果確定手段は、同一の確認対象範囲につき抽出された部品の全てに対して、判定入力受付手段が同内容の判定結果を受け付けたとき、この判定内容を当該判定がなされた部品群より内側に分布する全ての部品に適用する手段を具備する。
【0035】
上記の検査結果確認システムは、たとえば、自動外観検査装置とは別体の1台または複数台のコンピュータによるコンピュータシステムとして構成される。ただし、たとえば記憶手段を自動外観検査装置に設けるなど、自動外観検査装置を含むシステムとして構成することもできる。
【発明の効果】
【0036】
上記の検査結果確定方法および検査結果確定システムによれば、部品またはその周囲の外観が変わったために、実装状態が良好な多数の部品が自動外観検査で不良と判定された場合や、同種の不良が多発した場合でも、不良と判定された部品群の一部の画像を確認することにより、その他の部品の良否を特定することができる。よって、確認作業の効率を大幅に向上して、作業員の負担や作業時間を削減することができる。
【図面の簡単な説明】
【0037】
【図1】基板検査システムの構成例を示す図である。
【図2】上記の基板検査システムの機能ブロック図である。
【図3】自動外観検査で不良と判定された部品の良否を確定するための処理手順を示すフローチャートである。
【図4】特徴空間の設定に用いる特徴量の例をテーブル形式にして示す図である。
【図5】クラスタリング処理の内容を説明する図である。
【図6】検査結果確定処理の詳細な手順を示すフローチャートである。
【図7】確認作業の具体例1における作業画面を示す図である。
【図8】確認作業の具体例1における作業画面を示す図である。
【図9】確認作業の具体例1における作業画面を示す図である。
【図10】確認作業の具体例1における作業画面を示す図である。
【図11】確認作業の具体例2における作業画面を示す図である。
【図12】確認作業の具体例2における作業画面を示す図である。
【図13】確認作業の具体例2における作業画面を示す図である。
【図14】確認作業の具体例2における作業画面を示す図である。
【図15】確認作業の具体例2における作業画面を示す図である。
【図16】確認作業の具体例2における作業画面を示す図である。
【図17】確認作業の具体例3における作業画面を示す図である。
【図18】確認作業の具体例3における作業画面を示す図である。
【図19】確認作業の具体例3における作業画面を示す図である。
【図20】確認作業の具体例3における作業画面を示す図である。
【図21】確認作業の具体例3における作業画面を示す図である。
【発明を実施するための形態】
【0038】
図1は、部品実装基板の検査を実行するためのシステム構成例を示す。
この例の基板検査システムは、自動外観検査装置1(以下、「検査装置1」と略す。)、管理サーバ2、および確認作業用の端末装置3(以下、「確認端末3」と略す。)を通信回線4を介して接続した構成のものである。確認端末3は、パーソナルコンピュータにより構成されるもので、表示手段としてのモニタ装置31や入力手段としてのキーボード32,マウス33などが接続されている。
【0039】
検査装置1では、はんだ印刷、部品実装、はんだ付けの各工程を経た完成体の基板を撮像し、生成された画像を用いて各部品の位置ずれやはんだ付け状態などを検査する。管理サーバ2は、検査装置1から検査に用いられた画像や検査結果などの送信を受け付けて、これらを内部のメモリに蓄積するほか、確認端末3と協働して、検査装置1で不良と判定された部品の良・不良を確定する処理を実行する。
【0040】
図2は、上記の基板検査システムの機能ブロック図である。
この図によれば、検査装置1は、検査実行部11、検査結果出力部12、検査情報入力部、検査情報更新部14などを具備する。検査実行部11には、機体内部の基板ステージ、カメラ、照明装置、およびコンピュータによる制御部(いずれも図示せず。)などが含まれており、制御部にあらかじめ組み込まれたプログラムや検査情報に基づき、検査対象の基板を撮像し、生成された画像中の部品を順に検査する。検査結果出力部12は、検査結果のほか、検査に用いられた画像や当該画像から抽出された特徴量などを部品毎にまとめて管理サーバ2に送信する。
【0041】
検査情報入力部13および検査情報更新部14は、所定の部品種の部品の外観が変更された場合などに、検査実行部11の使用する検査情報を更新するためのものである。この更新に用いられる新規の検査情報は、後記するように、管理サーバ2から提供される。
【0042】
管理サーバ2は、上記の検査結果出力部12からの送信情報を受け付ける検査結果入力部21や、入力した情報を蓄積する検査結果データベース20のほか、確認対象部品抽出部22、画像読出部23、表示情報生成・出力部24、確定結果取得部25、データベース(DB)更新処理部26、検査情報作成部27、検査情報出力部28などを具備する。また確認端末3は、送受信部35、GUI制御部36、検査結果確定部37などを具備する。
【0043】
管理サーバ2の確認対象部品抽出部22は、検査結果データベース20から不良と判定された部品を、同一部品種に所属するもの毎に、1ロット分ずつ、またはあらかじめ定めた数ずつ抽出する。なお、この抽出処理では、各部品の識別情報(または基板上の座標)、所属する基板の識別情報、画像処理で抽出された特徴量などを抽出する。
【0044】
画像読出部23は、確認対象部品抽出部22により抽出された部品の画像を読み出す。
確認対象部品抽出部22および画像読出部23が取得した情報は、表示情報生成・出力部24に渡される。表示情報生成・出力部24では、これらの情報を用いて、確認端末3の送受信部35と通信を行いながら、確認端末3が必要とする表示情報を作成し、送信する。
【0045】
送信された表示情報は、確認端末3で、送受信部35を介してGUI制御部36に渡される。GUI制御部36では、この表示情報を用いて、モニタ装置31に後記する作業画面を立ち上げて、作業者による良否判定の入力を受け付ける。検査結果確定部37では、GUI制御部36が受け付けた判定の内容に基づき、確認対象の各部品を良品または不良品として確定し、その結果を管理サーバ2に送信する。
【0046】
管理サーバ2では、確認端末3から送信された確定結果を確定結果取得部25により受け付けた後に、データベース更新処理部26および検査情報作成部27に渡す。データベース更新処理部26は、提供された確定結果に基づき、検査結果データベース20内の確認対象部品の検査結果を書き換える。
【0047】
検査情報作成部27では、提供された確定結果に基づき、良品と判定された部品群における特徴量の分布状態と、不良品と判定された部品群における特徴量の分布状態とを特定し、これらを分析することにより、検査装置1で不良と誤判定された部品の検査に適した検査情報を作成する(たとえば特開2006−86451号公報に開示された技術を利用する。)。作成された検査情報は検査情報出力部28を介して検査装置1の検査情報入力部13に与えられる。
【0048】
図3は、管理サーバ2および確認端末3により不良と判定された部品の良・不良を特定するために実行される処理の手順を示す。ここでは、まず、管理サーバ2の確認対象部品抽出部22が主体となって、処理対象の部品種を選択し(ステップA)、検査結果データベース20から、不良と判定された部品のうち選択された部品種に属するものを抽出する(ステップB)。
【0049】
つぎに、表示情報生成・出力部24が主体となって、ステップCおよびステップDを実行する。ステップCでは、各部品に共通に抽出されている所定数の特徴量を軸とする仮想空間(以下、「特徴空間」という。)を設定して、この特徴空間内に、抽出された部品を、それぞれの特徴量の値に応じた位置に1つの点として配置する。ステップDでは、配置された各点をクラスタリングすることによって、各部品を、所定数の集合に分類する。
【0050】
この後のステップEは、画像読出部23、表示情報生成・出力部24、および確認端末3のGUI制御部36が中心となって実行する。ここでは、確認端末3のモニタ装置31に作業画面を立ち上げて、作業者に不良判定された部品の画像を確認させ、良・不良の判定入力を受け付ける。この実施例では、後記するように、全ての部品の画像を確認しなくとも、各部品の良・不良の判定を安定して実行できるようにしている。
【0051】
図4は、特徴空間の設定に用いる特徴量の例を示す。この実施例では、部品の色彩を表す三原色の色パラメータr,g,b、部品の面積S、各電極に対するはんだの面積Tおよびはんだの縦横比Qの各特徴量を軸とする6次元の特徴空間を設定し、各部品を、それぞれその部品の検査で抽出された各特徴量の値に対応する座標に配置する。
【0052】
r,g,bは、部品の実装範囲の中の中心領域で計測された値の平均値とする。部品の面積Sは、部品の実装範囲全体において、r,g,bの各値がそれぞれ所定の上限値および下限値の間に含まれている画素を計数することにより求められる。はんだの面積Tについては、検査対象の部品に対応するランド毎に輝度が所定のしきい値を超える画素を抽出し、抽出した画素数の計数値の平均値をTとする。縦横比Qについては、各ランドにおいて、それぞれ輝度が上記のしきい値を超えた画素に外接する矩形の長辺と短辺との比を求め、これらの比の最大値または最小値をQとする。
【0053】
なお、検査装置1が検査の過程で抽出した特徴量により特徴空間を設定する方法に代えて、各部品の画像を対象に、新たに特徴空間用の特徴量を抽出する処理を行ってもよい。たとえば、各画像を複数のブロックに分割し、ブロック毎にr,g,bの平均値を算出し、各平均値をそれぞれ軸とする特徴空間を設定してもよい。また、使用する特徴量を2つにとどめて、これらの特徴量による仮想平面に各部品を配置してもよい。
【0054】
図5は、特徴空間内の各部品の分布状態を2次元のパターンに模式して表した画像(以下、これを「マップ画像」という。)を用いて、クラスタリング処理の手順を説明したものである。なお、このマップ画像は、各部品を表す点を特徴空間に配置することにより生じた分布パターンを、前出の6種類の特徴量のうちの2つによる2次元座標系に投影する処理により生成される。
【0055】
この実施例では、あらかじめ、部品種が同一で外観が良好であることが判明している複数の部品による集合(以下、「モデル集合」という。)を用いて、クラスタリングのための基準データを取得する。図5の(1)は、この基準データを取得する処理を示すもので、まず、各部品をそれぞれ一点として上記の特徴空間に配置することにより、モデル集合の範囲を特定した後に、この集合の重心Mを求める。さらに、モデル集合の境界に位置する点と重心Mとの間の距離の中の最大値Tfおよび最小値Tnを算出する。
【0056】
図5の(2)は、上記の基準データを用いたクラスタリング処理の手順(図3のステップDの詳細)を示す。ここでは、特徴空間に分布する各点(部品)を、モデル集合から求めた最小距離Tn以内の範囲で結びつけることによって、所定数の集合を設定する。この例では、2つの集合C1,C2が設定されるものとしている。
【0057】
つぎに、設定された集合の1つ(集合C1)を対象にして、当該集合C1の重心Mmを求め、その重心Mmから距離Tfを隔てた点までの範囲に含まれる各点を、集合C1の要素として確定する。他方の集合C2についても、同様の処理を実行することにより、各集合C1,C2に属する点が確定する。なお、当初は集合C1,C2に含まれていたが、上記の処理により集合C1,C2から外れた点がある場合には、これらの点による新たな集合を設定して、その集合に対しても図5(2)に示した処理を実行する。以下、同様にして、全ての点がいずれかの集合に含まれる状態になった時点で処理を終了する。
【0058】
図6は、図3のステップEについて、詳細な手順(ステップE1〜E10とする。)を示したものである。このフローチャートに沿って説明すると、まず抽出した部品の分布状態を示すマップ画像(図5(2)に示したもの)を作成し、このマップ画像を含む作業画面を立ち上げる(ステップE1)。そして、クラスタリング処理により設定された集合を順に選択して(ステップE2)、選択された集合に対し、ステップE3以下の処理を実行する。
【0059】
ステップE3では、特徴空間内の選択された集合全体を含む範囲を確認対象範囲として設定する。具体的には、特徴空間の軸を形成する特徴量毎に、選択された集合内で抽出された当該特徴量の最大値および最小値を求め、これらを境界位置とする確認対象範囲を設定する。
【0060】
ステップE4では、画像読出部23の機能を用いて、検査結果データベース20から確認対象範囲の境界部に対応する部品の画像を読み出し(通常は複数の画像が読み出される。)、これらを作業画面上に表示する。ステップE5では、表示された画像について、作業者による良・不良の判定入力を受け付ける。
【0061】
ここで、表示中の部品に対し、同一の判定が行われなかった場合、すなわち良品と判定される部品と不良品と判定される部品とに判定結果が分かれた場合(ステップE6が「NO」)には、確認対象範囲を縮小し(ステップE7)、更新後の確認対象範囲について、ステップE4およびステップE5を実行する。
【0062】
確認対象範囲を縮小する処理(ステップE7)は、具体的には、特徴空間内の各特徴量毎に設定された境界位置をそれぞれ一定量ずつ集合の内側に移動させることで実現するが、境界位置の変動量はそれぞれの特徴量の特性に応じて個別に設定される。またステップE5では、現在の確認対象範囲の境界から当該確認対象範囲を一段階縮小させたときの境界までの範囲に分布する部品を、画像の表示対象として抽出する。ただし、処理を簡略化するために、選択された集合C1に含まれる部品を、当該集合の重心Mmからの距離が大きいものから順に抽出することにし、抽出される部品における距離の変動量が一定値に達したところを確認対象範囲の境界としてもよい。
【0063】
表示中の部品の全てに対する判定結果が「良」または「不良」で統一されると(ステップE6が「YES」)、ステップE4〜E7のループを終了してステップE8に進む。ステップE8では、現在の確認対象範囲に含まれる全ての部品に、表示中の部品に対する判定結果を適用する。すなわち、表示中の部品の全てが良品と判定されたときには、確認対象範囲内の全部品を良品とし、表示中の部品の全てが不良品と判定されたときには、確認対象範囲の全部品を不良品とすることになる。
【0064】
さらにステップE9では、選択中の集合において現在の確認対象範囲より外側に位置する部品を対象に、これらの部品に対して作業者が入力した判定結果を確定する。なお、最初に集合全体に対して確認対象範囲が設定されているときにステップE6が「YES」となった場合には、ステップE9はスキップされる。
【0065】
以下、同様にして、設定された全ての集合に対する処理が終了すると(ステップE10が「YES」)、処理を終了する。
【0066】
この実施例では、自動外観検査で不良と判定された同一部品種の複数の部品を、複数の特徴量の組み合わせパターンが近い関係にあるもの毎に分類するので、実装状態は良好であるのに外観の変化により不良と判定された部品が複数生じた場合には、これらを1つの集合に分類することができる。また、この不良と誤判定された部品の集合内に不良品が含まれていても、不良品の画像と良品の画像との間には、良品同士を比較した場合より大きな差異が生じるから、不良品は集合の境界部の近くに位置する可能性が高い。
【0067】
よって、図6の手順によれば、良品の分布範囲が確定するまで確認対象範囲を縮小しながら、毎回の確認対象範囲の境界部に対応する部品の画像を作業者に確認させることにより、不良品を高い確度で検出することができる。また、確認対象範囲の境界部に対応する部品が全て良品であることが確認された時点で、確認対象範囲内の全ての部品を良品として確定することができるので、多数の良品を含む集合を処理する場合にも、一部の部品の画像を確認することによって集合内の全部品の良・不良を確定することができる。よって、確認作業の効率を大幅に高めることができる。
【0068】
さらに、同種の不良(たとえば部品の欠落)が生じている部品が複数ある場合には、これらの不良品により1つの集合が形成されるので、この場合にも、集合の境界部に対応する部品の画像表示に対する判定が不良で統一されたことをもって、確認作業を終了することができる。
【0069】
なお、この実施例では、不良判定された部品を特徴空間に仮想配置した後にクラスタリング処理を実行しているが、各特徴量のばらつき度合がそれぞれ所定のしきい値以内に収まる場合には、クラスタリング処理を行わずに、全ての部品を1つの集合としてステップE3〜E9の処理を実行してもよい。
【0070】
以下、図6に示した処理を実施するための作業画面およびその画面を用いた確認作業について、3つの具体例を説明する。なお、いずれの例でも、図5に示した集合C1,C2のうちのC1が選択されているものとする。また、具体例1では、集合C1内の全ての部品が良品であるものとし、具体例2,3では、一部に不良品があるものとする。
【0071】
(1)具体例1(図7〜10)
この実施例の作業画面には、複数の領域や選択用のボタンが設けられている。
領域には、主として表示を目的とするものと、設定や選択のための操作を受け付けることを主目的とするものとがある。以下、前者の領域を「表示領域」と呼び、後者の領域を「設定領域」という。
【0072】
まず図7は、初期状態の作業画面を示す。この画面には、面積の大きな表示領域101が設けられ、その下方に3つの設定領域102,103,104が設けられる。表示領域101の右側にも、1つ、設定領域105が設けられ、さらにその下方に「一覧モード」の選択用のボタン106が設けられる。
【0073】
表示領域101の下方の3つの設定領域102〜104のうちの左端の領域102は、表示領域101内に表示する情報を選択するためのもので、「分布」および「画像」の各選択肢がチェックボタン107とともに表示されている。この選択は、初期状態では「分布」に設定されている。
【0074】
操作領域104は、確認用の画像を表示する集合を選択するためのもので、この例では「クラス1」および「クラス2」がチェックボタン108とともに表示されている。「クラス1」はクラスタリング処理により設定された集合C1に相当し、「クラス2」は集合C2に相当する。初期状態では「クラス1」が自動的に選択されており、「クラス1」に対する処理が終了すると、「クラス2」に選択が移る。
【0075】
設定領域102で「分布」が選択されているときには、表示領域101には、特徴空間における部品の分布状態を表すマップ画像が表示される。図面には現われていないが、集合C1に属する点と集合C2に属する点とは色分けされている。また、現在選択されている集合C1の分布パターンには、確認対象範囲を模式した円Rが設定されている。この段階の円Rは、図6のステップE3の処理に基づき、集合C1の分布パターン全体が含まれる大きさに設定されている。
【0076】
このように、作業画面では、多次元の特徴空間内の分布パターンや確認対象範囲を、ユーザが理解しやすいように、2次元のパターン画像として表している。さらにこの実施例では、円Rを「境界線」と表現して、設定領域103で境界線を変更することができる。
【0077】
設定領域103には、スクロールバー109と入力・表示用のボックス110,111とが設けられる。スクロールバー109の上方のボックス110内に表示されている数字は境界線の位置を表すもので、円Rが集合C1の分布パターン全体を含むように設定されているときはスクロールバー109は右端に設定され、ボックス110内には「1」が表示される。ここでスクロールバー109を左側に移動させると、ボックス110内の数字は2,3,4・・・と次第に大きくなるとともに、円Rの径が所定量ずつ縮小される。
スクロールバー109の下方のボックス111内の数字は境界線の変更幅を表すもので、この数値が大きくなるほど、円Rの径の変更幅が大きくなり、実際の確認対象範囲の各境界位置の変動幅も大きな値に変更される。
【0078】
つぎに表示領域101の右側の設定領域105は、選択中の集合C1に含まれる部品の良否に関する判定入力を受け付けるためのものである。この実施例では、各部品の判定結果を「判定フラグ」というフラグデータにより表すことにして、各部品の判定フラグを「マルチ疑」(良・不良が確定していない状態であることを意味する。)に初期設定し、作業者に、各判定フラグを「良品」または「不良品」に変換させる、という手法をとる。
【0079】
具体的に説明すると、設定領域105内には、選択中の集合C1の名称である「クラス1」に続いて、この集合に含まれる各部品の情報が列挙される。また集合の名称および各部品の情報には、それぞれチェックボタン111,112が対応づけられる。
【0080】
部品の情報は、部品の識別記号(文字列「ID」と数字列との組み合わせによるもの)に当該部品に現在設定されている判定フラグの内容を組み合わせたものである。各情報は、図5に示した重心Mnからの距離が遠い順に、言い換えられば集合の境界に最も近いものから順に、並べられている。さらに、現在の確認対象範囲の境界部に対応する部品の情報(図示例ではID1〜ID20の情報)は、人の目を惹きつける色彩(たとえば赤色)により強調表示されている(図示では色彩を極太表示で表現している。)。
【0081】
上記の作業画面において、作業者が設定領域102内で「画像」を選択すると、図8に示すように、表示領域101内の表示は、複数の部品の画像をマップ画像に重ね合わせたものに切り替えられる。これらの画像が示す部品は、現在の確認対象範囲の境界部に対応するもの(すなわちID1〜ID20の部品)であって、マップ画像上の当該部品に対応する位置の近傍に表示される。
【0082】
さらに、このときの作業画面の左下には、表示領域101内の表示を「拡大モード」に切り替えるためのボタン114が設けられる。また、設定領域105の下方にも、新規の設定領域115が設けられる。
【0083】
ここでボタン114が操作されると、作業画面は図9に示すものに切り替えられる。
この画面では、マップ画像用の表示領域101が縮小化され、新たに画面の中央部に、各部品の拡大画像を表示するための表示領域116が設けられる。この表示領域116では、各部品の拡大画像とともに、設定領域105に表示されているのと同様の情報が表示される。また、この表示領域116では、画像の選択操作を受け付けることが可能であり、選択された部品の画像は太枠117により強調表示される。また、これに応じて表示領域101内のマップ画像上にも、選択された部品の位置を表すポインタ118が表示される。
【0084】
なお、作業画面が拡大モードに変化すると、画面の左下のボタン114は、図7,8に示した表示状態(俯瞰モード)に戻ることを選択するものに変更される。
【0085】
設定領域105の下方に新設された設定領域115には、「良品」および「不良品」の各選択肢がそれぞれチェックボタン120とともに表示され、初期状態では「良品」が選択されている。さらにこの設定領域115には、一括変換用のボタン121が設けられている。
【0086】
設定領域105内のチェックボタン111,112は、初期状態では全て選択された状態(+印が入っている状態)になっている。チェックボタン112による選択は、対応する部品の判定フラグを設定領域115で設定されているもの(図示例の場合「良品」)に変更する選択をしていることを意味する。また、チェックボタン111による選択は、集合内の全ての部品について上記の選択がされていることを意味する。
【0087】
上記の拡大モードの作業画面によれば、作業者は、表示領域116内の各画像を順に選択したり、その下方に設けられているスクロールバー119を操作しながら、現在の確認対象範囲の境界部に対応する部品の実装状態を詳細に確認することができる。
【0088】
ここで、作業者が表示されている画像の全てが良品であると判断して、一括変換用のボタン121を操作すると、図10に示すように、設定領域105内の各部品の判定フラグの表示は全て「良品」に切り替えられる。この判定フラグの切り替えは、表示されていない部品に対しても実行される。これにより、集合C1に属する全ての部品の判定フラグが「良品」に設定される。
【0089】
図10に示す一括変換後の作業画面では、設定領域115内のボタン121がなくなり、代わりに「確定」のボタン122と「戻る」選択のボタン123とが現れる。ボタン122により確定操作が行われると、上記の判定フラグの変換結果が確認端末3から管理サーバ2に送信されて(図2の検査結果確定部37から確定結果取得部25への送信に該当する。)、管理サーバ2内の検査結果データベース20が書き換えられる。一方、ボタン123による戻り操作が行われると、管理サーバ2への情報送信を行わずに、各部品の判定フラグの設定を一括変換前の状態(すなわちマルチ疑)に戻す。また作業画面も、一段階前の状態(図9)に戻る。
なお、設定領域105,115に対する操作は拡大モードに限らず、俯瞰モードの「画像」表示画面において実行することもできる。
【0090】
図7〜10に示したように、選択対象の集合C1内の全ての部品が良品であれば、最初の集合全体に対して設定された確認対象範囲につき表示された部品の画像を確認して一括変換操作を行い、その変換結果を確定することによって、作業を終えることができる。よって、作業者は、全ての部品の画像を確認する必要がなく、集合C1の境界部にある部品の画像を確認するだけでよいから、確認作業に要する労力や時間が大幅に削減される。その一方で、判定の精度は確保することができる。
【0091】
(2)具体例2(図11〜16)
この実施例でも、初期の作業画面は具体例1と同様であるので、拡大モードに移行した時点から説明する。
【0092】
図11は、集合C1全体を含む範囲が確認対象範囲に設定されて、画像拡大モードに移行した時点の作業画面を示す。この例では、表示されているうちのID19の部品に、部品の位置ずれ不良が生じている。
【0093】
このように不良品が見つかった場合には、作業者は、設定領域105内の対応するチェックボックス112の選択を外す操作を行う。これにより、図12に示すように、「良品」「不良品」の選択肢を含むプルダウンメニュー124が呼び出される。ここで作業者が「不良品」を選択すると、図13に示すように、ID19の部品の判定フラグが「不良品」に変更される。さらに、部品の名称に対するチェックボタン111も選択されていない状態となる。
【0094】
このように、不良が確認された部品の判定フラグを「不良品」に変更した場合(この例ではID19の部品のみが不良であったものとする。)には、作業者は、設定領域103のスクロールバー109を操作して、確認対象範囲を縮小する。この変更操作が行われると、図14に示すように、作業画面は俯瞰モードに戻り、表示領域101内の処理対象の集合C1に対し、当初より径が小さくなった円Rが表示される。また設定領域103内のボックス110に表示される数値も「2」に変更される。
【0095】
さらに右側の設定ボックス105では、これまでのID1〜ID20に代えて、変更された確認対象範囲の境界部に対応する部品の情報(ID21以下)が識別表示される。
【0096】
上記の表示において、作業者がボタン114を操作すると、図15に示すように、画面は再び拡大モードになり、ID21以下の部品の拡大画像が表示される。
この段階で、作業者が表示された部品のすべてが良品であると判定して一括変換用のボタン121を操作すると、図16に示すように、設定ボックス105内の各部品の判定フラグは、選択が外されたID19の部品を除き、全て「良品」に切り替えられる。ID19の判定フラグは「不良」のまま維持される。この後は、具体例1と同様に、「確定」のボタン122を操作することによって、各判定フラグの内容が管理サーバ2に送信され、検査結果データベース20が書き換えられる。
【0097】
上記に示したように、最初に集合の全範囲を確認対象領域として表示された部品の良・不良を判別し、不良品を確認した場合には、該当する部品の判定フラグを「不良」に変更して確認対象領域を縮小し、以下、この手順を不良品が見つからなくなるまで繰り返すことによって、集合内の良品と不良品とを精度良く切り分けることができる。さらにこの場合にも、表示された全ての部品が良品であると判断したときに一括変換用のボタン121を操作することによって、現在の確認対象範囲内にある全ての部品、および確認対象範囲外で選択が維持されている部品を、良品として確定することができる。
【0098】
(3)具体例3(図17〜21)
この実施例では、図7と同様の初期の作業画面を立ち上げた後に、ボタン106により「一覧モード」を選択する。図17は、この選択後の画面を示すもので、ボタン106は、「通常モード」(図7,8の表示モードをいう。)を選択するものに変化し、マップ画像の表示領域101は縮小されて左上に表示される。また新たに画面の中央に大きな表示領域125が設定される。
【0099】
一覧モードでは、処理対象の集合C1に対し、通常モードで段階的に設定した確認対象範囲を、複数(図示例では3つ)一度に設定する。表示領域126内には、設定された確認対象範囲毎に表示欄126,127,128が設けられる。各表示欄126,127,128には、それぞれ対応する部品の画像が縦並びにして表示されるとともに、画像表示を動かすためのスクロールバー129が設けられる。表示領域125の下方にも、表示欄を動かすためのスクロールバー130が設けられているが、このバー130は、通常モードの設定領域103内のスクロールバー109と同様の機能のものである。
【0100】
各表示欄126〜128の下方には、それぞれ対応する確認対象範囲を示す情報(境界線1,境界線2,境界線3)がチェックボタン131とともに表示されている。さらに各表示欄126〜128内にも、画像の表示領域毎にチェックボタン132が設けられている。また、この作業画面にも、通常モードと同様の構成の設定領域105,115や、拡大モードの選択用のボタン114、処理対象の集合を選択するためのボタン133などが設けられる。
【0101】
ここでボタン114を操作すると、図18に示すように、作業画面は拡大モードのものに変更され、チェックボタン131により選択されている確認対象範囲に対応する部品の画像が拡大表示される。この実施例でも、図11〜13に示したのと同様の方法により、作業者が不良と判定した部品を選択し、その判定フラグを「不良品」に変更する(図18,19)。ただし、この実施例でも、拡大モードの画面への移行は必須ではなく、一覧モードの表示を見ながら、設定領域105で同様の作業を行ってもよい。
【0102】
判定フラグを「不良品」に変更する操作を行った場合には、一覧モードの画面に戻って次の確認対象範囲を選択し、同様の処理を実行することになる。
【0103】
図20は、1番目および2番目の確認対象範囲(境界線1,2)に対する処理が終了し、3番目の確認対象範囲(境界線3)に選択が移った時点での一覧表示モードの画面を示す。この実施例では、1,2番目の確認対象範囲に対応する部品の中に不良品があったために、これらの部品の判定フラグが「マルチ疑」から「不良品」に書き換えられている。また、不良品に対応するチェックボタン112,132や部品名称のチェックボタン111は、選択が外された状態になっている。
【0104】
ここで、3番目の確認対象範囲に対し、作業者が表示されている画像が全て良品であると判断して一括変換用のボタン121を操作すると、図21に示すように、「マルチ疑」が設定されている部品の判定フラグはすべて「良品」に変更される。また、先に選択を外されて「不良品」に設定された部品の判定フラグは、「不良品」のまま維持される。
【0105】
上記の一覧モードによれば、複数の確認対象範囲に対応する部品の画像を確認することができるので、作業者は良品のみが分布する範囲を容易に認識して、作業を行うことができる。また上記の例において、3番目の確認対象範囲の表示欄128にも不良品の画像があった場合には、作業員は、スクロールバー130の操作により確認対象範囲をさらに縮小して、同様の目視確認や操作を行うことができる。
【0106】
なお、上記の各例では説明していないが、集合C2は、同種の不良が生じた部品による集合の可能性がある。が、その場合には、この集合C2を選択したときに、設定ボックス115の選択肢を「不良品」にして、上記と同様の方法を実行することにより、集合C2内の各部品の判定フラグを不良品に変換することができる。
【0107】
また、上記の各例では、最初に集合C1の全体を含む範囲に確認対象範囲を設定し、この確認対象範囲を次第に縮小し、表示される部品の全てに同内容の判定がなされたときに一括変換処理を行うようにしているが、さらにこの後も、確認対象範囲を数回更新して、同内容の判定が続くことを確認してから一括変換を行ってもよい。
【0108】
また、上記の具体例2,3では、集合C1の境界付近に位置する部品の大多数が良品であるとしたが、特徴空間の設定に使用した特徴量の種類によっては、境界部を不良品が占め、それより内側に良品が分布するような集合が形成される可能性もある。このような場合には、まず確実に良判定が得られる範囲を確認対象範囲とし、この範囲を次第に拡大して、集合全体が確認対象範囲に含まれるまで、確認作業を続けるようにする方がよい。ただし、所定の時点での確認対象範囲に対して抽出された部品の全てが不良と判定された場合には、その時点で作業を終了し、その時点の確認対象範囲より外側に分布する部品の全てを不良品として確定してもよい。
【符号の説明】
【0109】
1 自動外観検査装置
2 管理サーバ
3 確認端末
20 検査結果データベース
22 確認対象部品抽出部
23 画像読出部
24 表示情報生成・出力部
26 データベース更新処理部
31 モニタ装置
32 キーボード
33 マウス
36 GUI制御部
37 検査結果確定部
【技術分野】
【0001】
本発明は、自動外観検査により不良と判定された部品を対象に、各対象部品を良品または不良品として確定する方法、およびこの方法に用いる検査結果確定システムに関する。
【背景技術】
【0002】
部品実装検査用の自動外観検査装置では、検査対象の基板を撮像し、生成された画像において部品毎に検査領域を設定し、各検査領域の画像をあらかじめ登録された判定基準に基づき処理することによって、所定の特徴量(部品やはんだを表す色彩、その面積、座標など)を抽出する。さらに抽出された特徴量を所定のしきい値と比較するなどして、部品の実装状態が良好であるか否かを判定する。
【0003】
上記の検査に用いられる判定基準は、部品やその周囲の外観に基づいて設定されるが、基板の製造現場では、実装される部品が機能は同一であるが外観が異なる部品(一般に別のメーカの部品)に変更される場合がある。また、部品以外にも、はんだのぬれ性を向上するためにランド部分の形状やメッキの種類が変更されて、その結果、はんだ付け部位の形状や輝度などが変化することがある。
【0004】
このように部品またはその周囲の外観が変わり、変更後の外観が登録されている判定基準に適合しない状態になると、実装状態が良好な部品であっても不良品として判別される可能性がある。
【0005】
上記の問題に関して、下記の特許文献1,2には、実装される可能性がある部品毎に、その部品に適合する判定基準と部品の外観の特徴とを対応づけて登録しておき、検査時に画像から抽出された特徴を登録された特徴群と照合することによって、処理対象の画像に適した判定基準を選択することが記載されている。
【0006】
また、特許文献3には、同様のパターンが得られる複数のはんだ付け部の中の1つを選択し、選択されたはんだ付け部のパターン形状を示す情報と、他のはんだ付け部のパターン形状を示す情報とのマッチング度合を求めることにより、各はんだ付け部位の良否を判定することが記載されている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開平10−206128号公報
【特許文献2】特開2002−299900号公報
【特許文献3】特開2008−191106号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
部品等の変更に伴う誤判別を防止するには、外観の変化に応じて検査装置の登録情報を切り替える必要があるが、実際には、現場間での連絡がとれなかったり、新たな登録情報を検査装置に教示するだけの時間的余裕が得られないなどの理由により、対応が遅れることが多い。現場では、不良と判定された部品の画像を人の目で確認して、本当に不良であるか否かを最終判断しているが、確認点数が多くなると、作業員に多大な負担がかかり、また作業時間が長引く、という問題が生じる。
【0009】
特許文献1,2に記載された方法を実施するには、同一の機能を具備する複数の部品について、その部品が実際に実装された状態を表す画像を取得し、その特徴から判定基準を導出する必要がある。しかし、実際にどの部品が実装されるかを想定するのは困難であるし、仮に想定できとしても、各部品の現物を入手し、これらを実際に実装した基板を製作しなければ、画像や判定基準を得ることはできない。よって、この方法は現実的とは言えず、実施は困難である。
【0010】
特許文献3に記載された方法では、事前に実装される部品を想定する必要はないが、基準として選択されたはんだ付け部のパターンによって照合結果が変動するため、安定した検査を行うのが困難である。たとえば、不良の生じたはんだ付け部が選択された場合には、その他のはんだ付け部が良好であっても、不良のパターンとの照合によって全てが不良と判定されてしまう。また、この方法は、IC部品のように、特徴が類似する複数のはんだ付け部が得られる部品でなければ適用できない、という問題もある。
【0011】
また、不良品と誤判別された良品に限らず、製造工程に何らかの不備があって、同様の不良が多数発生した場合も同様に、作業者の負担が増大することになる。
【0012】
本発明は上記の各問題点を考慮してなされたもので、自動外観検査で不良と判定される部品が多数発生した場合でも、これらの良否を確認する作業を効率良く行うとともに、その作業の精度を確保できるようにすることを課題とする。
【課題を解決するための手段】
【0013】
本発明による実装部品の検査方法では、部品実装基板に対する自動外観検査を実行した後に、この自動外観検査で不良と判定された部品を対象に、その良否を作業者による判定に基づき確定するもので、以下の第1〜第4のステップを実行することを特徴とする。
【0014】
第1ステップでは、自動外観検査により不良と判定された同一部品種の複数の部品を対象に、これらの部品をそれぞれの自動外観検査に用いた画像から抽出した特徴量の大小関係に基づき仮想配置する。
【0015】
つぎに第2ステップでは、処理対象の部品が分布する範囲に所定大きさの確認対象範囲を設定して、この確認対象範囲の境界部に対応する部品を抽出する。第3ステップでは、第2ステップで抽出された部品につき、それぞれ自動外観検査に使用された画像を表示して、表示された各部品に対する作業者の良否判定の入力を受け付ける。
【0016】
第4ステップでは、同一の確認対象範囲につき抽出された部品の全てに対し、第3ステップにおいて同内容の判定を受け付けたとき、この判定内容を当該判定がなされた部品群より内側に分布する全ての部品に適用して、各部品に対する判定を確定する。
【0017】
部品またはその周囲の外観が変わったために自動外観検査で不良と判定された部品が複数出現した場合、これらの部品の実装状態が良好であれば、それぞれの画像から抽出される特徴量は比較的限定された範囲に分布すると考えられる。同種の不良が生じた部品についても同様に、それぞれの画像から抽出される特徴量は比較的限定された範囲に分布する可能性が高い。
【0018】
本発明では上記の点に着目し、まず、不良と判定された部品を、それぞれの画像から抽出された特徴量の大小関係に基づき仮想配置して、各部品の分布する範囲内に設定した確認対象範囲の境界部に対応する部品の画像を表示して、作業者による良否判定の入力を受け付ける。ここで表示された部品が全て良品であると判定された場合には、これらの部品のほか、これらより内側に分布する全ての部品を良品として確定する。一方、表示された部品が全て不良品であると判定された場合には、これらの部品のほか、これらより内側に分布する全ての部品を不良品として確定する。
【0019】
したがって、確認対象の部品が多数存在しても、これらの部品の外観が似通っており、特徴量に基づき分布される範囲が所定範囲内に収まる場合には、全ての部品の画像を確認しなくとも、各部品の良・不良を確定することができる。
【0020】
また、実際は良品である部品の集合の中に若干の不良品が混じっている場合でも、不良品と良品との間の特徴量の差異は良品間における特徴量の差異より大きくなると考えられるから、不良品は良品の分布する範囲より外側に位置する可能性が高い。よって、同一の確認対象範囲に対応する全ての部品が良と判定されたときに、これらの部品より内側に分布する全ての部品に良判定を適用する方法をとっても、不良品に良判定が適用されることはなく、精度の良い処理を行うことができる。
【0021】
第1ステップでは、たとえば、部品の色彩、はんだ部の輝度、部品の面積や重心位置など、自動外観検査の際に抽出した特徴量の中の所定数を選択して、これらの特徴量による仮想平面または仮想空間に各部品を配置することができる。ただし、各部品の画像から新たな特徴量を抽出して、各部品の仮想配置に使用してもよい。
【0022】
上記方法の好ましい一態様では、第2ステップおよびこの第2ステップにより抽出された部品を対象にした第3ステップを、確認対象範囲を次第に縮小しながら所定サイクル実行する。そして、表示された各部品に対する判定の内容が一致していないサイクルから各部品に対する判定の内容が一致したサイクルに移行したときより後に、第4ステップを実行する。
【0023】
上記の態様によれば、たとえば、確認対象の部品が分布する範囲全体を最初の確認対象範囲として設定した後に、徐々に確認対象範囲を絞り込み、良品のみが分布する範囲、または不良品のみが分布する範囲が確認対象範囲に設定されたとき以降に、未確認の部品に良または不良の判定を適用することができる。
【0024】
他の好ましい態様では、最初に設定された確認対象範囲につき抽出された各部品に対する判定の内容が一致することを条件として、第2ステップおよびこの第2ステップにより抽出された部品を対象にした第3ステップを、確認対象範囲を次第に拡大しながら所定サイクル実行した後に、第4ステップを実行する。
【0025】
上記の態様によれば、たとえば、確実に良品のみが分布する範囲を最初の確認対象範囲として、徐々に確認対象範囲を広げながら第2ステップおよび第3ステップを繰り返し実行し、部品が分布する範囲全体を確認対象範囲として第2ステップおよび第3ステップを実行し終えた後に、最初の確認対象範囲に含まれる全ての部品に良または不良の判定を適用することが可能になる。
【0026】
なお、確認対象範囲の拡大や縮小は、部品の仮想配置に用いた特徴量毎に行うのが望ましいが、これに限らず、一部の特徴量の境界位置を固定して、他の特徴量の境界位置を変更するにとどめてもよい。また、確認対象範囲の境界部に対応する部品を抽出する処理において、現在の確認対象範囲と1つ前または1つ後の確認対象範囲との間に位置づけられる部品を抽出するなどの方法により、確認もれの部品が生じないようにするのが望ましい。
【0027】
他の好ましい態様では、大きさの異なる複数の確認対象範囲につきそれぞれ第2ステップで抽出された部品の画像を、同じ確認対象範囲毎にグループ分けして一覧表示して、表示された各部品の良否判定の入力を受け付ける。そして表示されたいずれかのグループに所属する全ての部品に対して同内容の判定を受け付けたときより後に第4ステップを実行する。
【0028】
上記の態様によれば、複数の確認対象範囲に対応する部品の画像を見比べながら、良品のみが分布する範囲または不良品のみが分布する範囲を特定して、この範囲に含まれる部品に同内容の判定を適用することが可能になる。
【0029】
つぎに、上記方法の他の好ましい態様では、第4ステップでは、同内容の判定結果を受け付けた部品群より外側に分布する部品について、それぞれ当該部品が表示されたときの当該部品に対する良否判定の内容を確定する。
【0030】
上記のようにすれば、たとえば良品の分布する範囲内に不良品が混入している場合には、良品のみが分布する範囲より外側にある部品については、それぞれの画像を直接確認して行った良否判定が適用される。よって、良品と不良品とを精度良く判別することができる。
【0031】
さらに、他の好ましい態様による方法では、第1ステップにおいて、不良と判定された同一部品種の複数の部品を仮想配置した後に、この仮想配置に用いた特徴量に基づくクラスタリング処理を実行し、このクラスタリング処理により設定された集合毎に、第2,第3,第4の各ステップを実行する。
【0032】
上記の態様によれば、確認対象の部品の画像の特徴量の組み合わせがいくつかのパターンに分類できる場合や、各部品の画像の特徴量のばらつきが所定の基準値を上回るような場合には、クラスタリング処理により複数の集合を設定して、集合毎に第2〜第4のステップを実行することができる。したがって、外観の異なる複数種の部品が確認対象となる場合には、これらの部品種毎に集合を設定し、良品であるのに不良と誤判定された部品と明らかな不良品との双方が確認対象に含まれる場合には、これらを別々の集合に分類するなど、確認対象の部品を複数の集合に分類して、集合毎に良または不良の判定を一括適用できる範囲を絞り込むことができる。よって、確定処理の精度を確保することができる。
【0033】
つぎに、本発明による実装部品の検査結果確定システムは、部品実装基板に対する自動外観検査の対象となった各部品について、その検査の過程で得た情報を当該部品の画像を含めて蓄積する記憶手段と、記憶手段に蓄積された情報に基づき自動外観検査により不良と判定された部品の画像を表示して、作業者による良否判定の入力を受け付ける判定入力受付手段と、判定入力受付手段が受け付けた判定に基づき不良と判定された各部品の良否を確定する検査結果確定手段とを具備する。
【0034】
上記の判定入力受付手段は、自動外観検査で不良と判定された同一部品種の複数の部品を、それぞれの自動外観検査に用いた画像から抽出された特徴量の大小関係に基づき仮想配置する手段と、仮想配置された部品が分布する範囲に所定大きさの確認対象範囲を設定して、この確認対象範囲の境界部に位置する部品を抽出する手段とを具備し、これらの手段により抽出された部品を対象にして、画像の表示および良否判定の入力の受付処理を実行する。また、検査結果確定手段は、同一の確認対象範囲につき抽出された部品の全てに対して、判定入力受付手段が同内容の判定結果を受け付けたとき、この判定内容を当該判定がなされた部品群より内側に分布する全ての部品に適用する手段を具備する。
【0035】
上記の検査結果確認システムは、たとえば、自動外観検査装置とは別体の1台または複数台のコンピュータによるコンピュータシステムとして構成される。ただし、たとえば記憶手段を自動外観検査装置に設けるなど、自動外観検査装置を含むシステムとして構成することもできる。
【発明の効果】
【0036】
上記の検査結果確定方法および検査結果確定システムによれば、部品またはその周囲の外観が変わったために、実装状態が良好な多数の部品が自動外観検査で不良と判定された場合や、同種の不良が多発した場合でも、不良と判定された部品群の一部の画像を確認することにより、その他の部品の良否を特定することができる。よって、確認作業の効率を大幅に向上して、作業員の負担や作業時間を削減することができる。
【図面の簡単な説明】
【0037】
【図1】基板検査システムの構成例を示す図である。
【図2】上記の基板検査システムの機能ブロック図である。
【図3】自動外観検査で不良と判定された部品の良否を確定するための処理手順を示すフローチャートである。
【図4】特徴空間の設定に用いる特徴量の例をテーブル形式にして示す図である。
【図5】クラスタリング処理の内容を説明する図である。
【図6】検査結果確定処理の詳細な手順を示すフローチャートである。
【図7】確認作業の具体例1における作業画面を示す図である。
【図8】確認作業の具体例1における作業画面を示す図である。
【図9】確認作業の具体例1における作業画面を示す図である。
【図10】確認作業の具体例1における作業画面を示す図である。
【図11】確認作業の具体例2における作業画面を示す図である。
【図12】確認作業の具体例2における作業画面を示す図である。
【図13】確認作業の具体例2における作業画面を示す図である。
【図14】確認作業の具体例2における作業画面を示す図である。
【図15】確認作業の具体例2における作業画面を示す図である。
【図16】確認作業の具体例2における作業画面を示す図である。
【図17】確認作業の具体例3における作業画面を示す図である。
【図18】確認作業の具体例3における作業画面を示す図である。
【図19】確認作業の具体例3における作業画面を示す図である。
【図20】確認作業の具体例3における作業画面を示す図である。
【図21】確認作業の具体例3における作業画面を示す図である。
【発明を実施するための形態】
【0038】
図1は、部品実装基板の検査を実行するためのシステム構成例を示す。
この例の基板検査システムは、自動外観検査装置1(以下、「検査装置1」と略す。)、管理サーバ2、および確認作業用の端末装置3(以下、「確認端末3」と略す。)を通信回線4を介して接続した構成のものである。確認端末3は、パーソナルコンピュータにより構成されるもので、表示手段としてのモニタ装置31や入力手段としてのキーボード32,マウス33などが接続されている。
【0039】
検査装置1では、はんだ印刷、部品実装、はんだ付けの各工程を経た完成体の基板を撮像し、生成された画像を用いて各部品の位置ずれやはんだ付け状態などを検査する。管理サーバ2は、検査装置1から検査に用いられた画像や検査結果などの送信を受け付けて、これらを内部のメモリに蓄積するほか、確認端末3と協働して、検査装置1で不良と判定された部品の良・不良を確定する処理を実行する。
【0040】
図2は、上記の基板検査システムの機能ブロック図である。
この図によれば、検査装置1は、検査実行部11、検査結果出力部12、検査情報入力部、検査情報更新部14などを具備する。検査実行部11には、機体内部の基板ステージ、カメラ、照明装置、およびコンピュータによる制御部(いずれも図示せず。)などが含まれており、制御部にあらかじめ組み込まれたプログラムや検査情報に基づき、検査対象の基板を撮像し、生成された画像中の部品を順に検査する。検査結果出力部12は、検査結果のほか、検査に用いられた画像や当該画像から抽出された特徴量などを部品毎にまとめて管理サーバ2に送信する。
【0041】
検査情報入力部13および検査情報更新部14は、所定の部品種の部品の外観が変更された場合などに、検査実行部11の使用する検査情報を更新するためのものである。この更新に用いられる新規の検査情報は、後記するように、管理サーバ2から提供される。
【0042】
管理サーバ2は、上記の検査結果出力部12からの送信情報を受け付ける検査結果入力部21や、入力した情報を蓄積する検査結果データベース20のほか、確認対象部品抽出部22、画像読出部23、表示情報生成・出力部24、確定結果取得部25、データベース(DB)更新処理部26、検査情報作成部27、検査情報出力部28などを具備する。また確認端末3は、送受信部35、GUI制御部36、検査結果確定部37などを具備する。
【0043】
管理サーバ2の確認対象部品抽出部22は、検査結果データベース20から不良と判定された部品を、同一部品種に所属するもの毎に、1ロット分ずつ、またはあらかじめ定めた数ずつ抽出する。なお、この抽出処理では、各部品の識別情報(または基板上の座標)、所属する基板の識別情報、画像処理で抽出された特徴量などを抽出する。
【0044】
画像読出部23は、確認対象部品抽出部22により抽出された部品の画像を読み出す。
確認対象部品抽出部22および画像読出部23が取得した情報は、表示情報生成・出力部24に渡される。表示情報生成・出力部24では、これらの情報を用いて、確認端末3の送受信部35と通信を行いながら、確認端末3が必要とする表示情報を作成し、送信する。
【0045】
送信された表示情報は、確認端末3で、送受信部35を介してGUI制御部36に渡される。GUI制御部36では、この表示情報を用いて、モニタ装置31に後記する作業画面を立ち上げて、作業者による良否判定の入力を受け付ける。検査結果確定部37では、GUI制御部36が受け付けた判定の内容に基づき、確認対象の各部品を良品または不良品として確定し、その結果を管理サーバ2に送信する。
【0046】
管理サーバ2では、確認端末3から送信された確定結果を確定結果取得部25により受け付けた後に、データベース更新処理部26および検査情報作成部27に渡す。データベース更新処理部26は、提供された確定結果に基づき、検査結果データベース20内の確認対象部品の検査結果を書き換える。
【0047】
検査情報作成部27では、提供された確定結果に基づき、良品と判定された部品群における特徴量の分布状態と、不良品と判定された部品群における特徴量の分布状態とを特定し、これらを分析することにより、検査装置1で不良と誤判定された部品の検査に適した検査情報を作成する(たとえば特開2006−86451号公報に開示された技術を利用する。)。作成された検査情報は検査情報出力部28を介して検査装置1の検査情報入力部13に与えられる。
【0048】
図3は、管理サーバ2および確認端末3により不良と判定された部品の良・不良を特定するために実行される処理の手順を示す。ここでは、まず、管理サーバ2の確認対象部品抽出部22が主体となって、処理対象の部品種を選択し(ステップA)、検査結果データベース20から、不良と判定された部品のうち選択された部品種に属するものを抽出する(ステップB)。
【0049】
つぎに、表示情報生成・出力部24が主体となって、ステップCおよびステップDを実行する。ステップCでは、各部品に共通に抽出されている所定数の特徴量を軸とする仮想空間(以下、「特徴空間」という。)を設定して、この特徴空間内に、抽出された部品を、それぞれの特徴量の値に応じた位置に1つの点として配置する。ステップDでは、配置された各点をクラスタリングすることによって、各部品を、所定数の集合に分類する。
【0050】
この後のステップEは、画像読出部23、表示情報生成・出力部24、および確認端末3のGUI制御部36が中心となって実行する。ここでは、確認端末3のモニタ装置31に作業画面を立ち上げて、作業者に不良判定された部品の画像を確認させ、良・不良の判定入力を受け付ける。この実施例では、後記するように、全ての部品の画像を確認しなくとも、各部品の良・不良の判定を安定して実行できるようにしている。
【0051】
図4は、特徴空間の設定に用いる特徴量の例を示す。この実施例では、部品の色彩を表す三原色の色パラメータr,g,b、部品の面積S、各電極に対するはんだの面積Tおよびはんだの縦横比Qの各特徴量を軸とする6次元の特徴空間を設定し、各部品を、それぞれその部品の検査で抽出された各特徴量の値に対応する座標に配置する。
【0052】
r,g,bは、部品の実装範囲の中の中心領域で計測された値の平均値とする。部品の面積Sは、部品の実装範囲全体において、r,g,bの各値がそれぞれ所定の上限値および下限値の間に含まれている画素を計数することにより求められる。はんだの面積Tについては、検査対象の部品に対応するランド毎に輝度が所定のしきい値を超える画素を抽出し、抽出した画素数の計数値の平均値をTとする。縦横比Qについては、各ランドにおいて、それぞれ輝度が上記のしきい値を超えた画素に外接する矩形の長辺と短辺との比を求め、これらの比の最大値または最小値をQとする。
【0053】
なお、検査装置1が検査の過程で抽出した特徴量により特徴空間を設定する方法に代えて、各部品の画像を対象に、新たに特徴空間用の特徴量を抽出する処理を行ってもよい。たとえば、各画像を複数のブロックに分割し、ブロック毎にr,g,bの平均値を算出し、各平均値をそれぞれ軸とする特徴空間を設定してもよい。また、使用する特徴量を2つにとどめて、これらの特徴量による仮想平面に各部品を配置してもよい。
【0054】
図5は、特徴空間内の各部品の分布状態を2次元のパターンに模式して表した画像(以下、これを「マップ画像」という。)を用いて、クラスタリング処理の手順を説明したものである。なお、このマップ画像は、各部品を表す点を特徴空間に配置することにより生じた分布パターンを、前出の6種類の特徴量のうちの2つによる2次元座標系に投影する処理により生成される。
【0055】
この実施例では、あらかじめ、部品種が同一で外観が良好であることが判明している複数の部品による集合(以下、「モデル集合」という。)を用いて、クラスタリングのための基準データを取得する。図5の(1)は、この基準データを取得する処理を示すもので、まず、各部品をそれぞれ一点として上記の特徴空間に配置することにより、モデル集合の範囲を特定した後に、この集合の重心Mを求める。さらに、モデル集合の境界に位置する点と重心Mとの間の距離の中の最大値Tfおよび最小値Tnを算出する。
【0056】
図5の(2)は、上記の基準データを用いたクラスタリング処理の手順(図3のステップDの詳細)を示す。ここでは、特徴空間に分布する各点(部品)を、モデル集合から求めた最小距離Tn以内の範囲で結びつけることによって、所定数の集合を設定する。この例では、2つの集合C1,C2が設定されるものとしている。
【0057】
つぎに、設定された集合の1つ(集合C1)を対象にして、当該集合C1の重心Mmを求め、その重心Mmから距離Tfを隔てた点までの範囲に含まれる各点を、集合C1の要素として確定する。他方の集合C2についても、同様の処理を実行することにより、各集合C1,C2に属する点が確定する。なお、当初は集合C1,C2に含まれていたが、上記の処理により集合C1,C2から外れた点がある場合には、これらの点による新たな集合を設定して、その集合に対しても図5(2)に示した処理を実行する。以下、同様にして、全ての点がいずれかの集合に含まれる状態になった時点で処理を終了する。
【0058】
図6は、図3のステップEについて、詳細な手順(ステップE1〜E10とする。)を示したものである。このフローチャートに沿って説明すると、まず抽出した部品の分布状態を示すマップ画像(図5(2)に示したもの)を作成し、このマップ画像を含む作業画面を立ち上げる(ステップE1)。そして、クラスタリング処理により設定された集合を順に選択して(ステップE2)、選択された集合に対し、ステップE3以下の処理を実行する。
【0059】
ステップE3では、特徴空間内の選択された集合全体を含む範囲を確認対象範囲として設定する。具体的には、特徴空間の軸を形成する特徴量毎に、選択された集合内で抽出された当該特徴量の最大値および最小値を求め、これらを境界位置とする確認対象範囲を設定する。
【0060】
ステップE4では、画像読出部23の機能を用いて、検査結果データベース20から確認対象範囲の境界部に対応する部品の画像を読み出し(通常は複数の画像が読み出される。)、これらを作業画面上に表示する。ステップE5では、表示された画像について、作業者による良・不良の判定入力を受け付ける。
【0061】
ここで、表示中の部品に対し、同一の判定が行われなかった場合、すなわち良品と判定される部品と不良品と判定される部品とに判定結果が分かれた場合(ステップE6が「NO」)には、確認対象範囲を縮小し(ステップE7)、更新後の確認対象範囲について、ステップE4およびステップE5を実行する。
【0062】
確認対象範囲を縮小する処理(ステップE7)は、具体的には、特徴空間内の各特徴量毎に設定された境界位置をそれぞれ一定量ずつ集合の内側に移動させることで実現するが、境界位置の変動量はそれぞれの特徴量の特性に応じて個別に設定される。またステップE5では、現在の確認対象範囲の境界から当該確認対象範囲を一段階縮小させたときの境界までの範囲に分布する部品を、画像の表示対象として抽出する。ただし、処理を簡略化するために、選択された集合C1に含まれる部品を、当該集合の重心Mmからの距離が大きいものから順に抽出することにし、抽出される部品における距離の変動量が一定値に達したところを確認対象範囲の境界としてもよい。
【0063】
表示中の部品の全てに対する判定結果が「良」または「不良」で統一されると(ステップE6が「YES」)、ステップE4〜E7のループを終了してステップE8に進む。ステップE8では、現在の確認対象範囲に含まれる全ての部品に、表示中の部品に対する判定結果を適用する。すなわち、表示中の部品の全てが良品と判定されたときには、確認対象範囲内の全部品を良品とし、表示中の部品の全てが不良品と判定されたときには、確認対象範囲の全部品を不良品とすることになる。
【0064】
さらにステップE9では、選択中の集合において現在の確認対象範囲より外側に位置する部品を対象に、これらの部品に対して作業者が入力した判定結果を確定する。なお、最初に集合全体に対して確認対象範囲が設定されているときにステップE6が「YES」となった場合には、ステップE9はスキップされる。
【0065】
以下、同様にして、設定された全ての集合に対する処理が終了すると(ステップE10が「YES」)、処理を終了する。
【0066】
この実施例では、自動外観検査で不良と判定された同一部品種の複数の部品を、複数の特徴量の組み合わせパターンが近い関係にあるもの毎に分類するので、実装状態は良好であるのに外観の変化により不良と判定された部品が複数生じた場合には、これらを1つの集合に分類することができる。また、この不良と誤判定された部品の集合内に不良品が含まれていても、不良品の画像と良品の画像との間には、良品同士を比較した場合より大きな差異が生じるから、不良品は集合の境界部の近くに位置する可能性が高い。
【0067】
よって、図6の手順によれば、良品の分布範囲が確定するまで確認対象範囲を縮小しながら、毎回の確認対象範囲の境界部に対応する部品の画像を作業者に確認させることにより、不良品を高い確度で検出することができる。また、確認対象範囲の境界部に対応する部品が全て良品であることが確認された時点で、確認対象範囲内の全ての部品を良品として確定することができるので、多数の良品を含む集合を処理する場合にも、一部の部品の画像を確認することによって集合内の全部品の良・不良を確定することができる。よって、確認作業の効率を大幅に高めることができる。
【0068】
さらに、同種の不良(たとえば部品の欠落)が生じている部品が複数ある場合には、これらの不良品により1つの集合が形成されるので、この場合にも、集合の境界部に対応する部品の画像表示に対する判定が不良で統一されたことをもって、確認作業を終了することができる。
【0069】
なお、この実施例では、不良判定された部品を特徴空間に仮想配置した後にクラスタリング処理を実行しているが、各特徴量のばらつき度合がそれぞれ所定のしきい値以内に収まる場合には、クラスタリング処理を行わずに、全ての部品を1つの集合としてステップE3〜E9の処理を実行してもよい。
【0070】
以下、図6に示した処理を実施するための作業画面およびその画面を用いた確認作業について、3つの具体例を説明する。なお、いずれの例でも、図5に示した集合C1,C2のうちのC1が選択されているものとする。また、具体例1では、集合C1内の全ての部品が良品であるものとし、具体例2,3では、一部に不良品があるものとする。
【0071】
(1)具体例1(図7〜10)
この実施例の作業画面には、複数の領域や選択用のボタンが設けられている。
領域には、主として表示を目的とするものと、設定や選択のための操作を受け付けることを主目的とするものとがある。以下、前者の領域を「表示領域」と呼び、後者の領域を「設定領域」という。
【0072】
まず図7は、初期状態の作業画面を示す。この画面には、面積の大きな表示領域101が設けられ、その下方に3つの設定領域102,103,104が設けられる。表示領域101の右側にも、1つ、設定領域105が設けられ、さらにその下方に「一覧モード」の選択用のボタン106が設けられる。
【0073】
表示領域101の下方の3つの設定領域102〜104のうちの左端の領域102は、表示領域101内に表示する情報を選択するためのもので、「分布」および「画像」の各選択肢がチェックボタン107とともに表示されている。この選択は、初期状態では「分布」に設定されている。
【0074】
操作領域104は、確認用の画像を表示する集合を選択するためのもので、この例では「クラス1」および「クラス2」がチェックボタン108とともに表示されている。「クラス1」はクラスタリング処理により設定された集合C1に相当し、「クラス2」は集合C2に相当する。初期状態では「クラス1」が自動的に選択されており、「クラス1」に対する処理が終了すると、「クラス2」に選択が移る。
【0075】
設定領域102で「分布」が選択されているときには、表示領域101には、特徴空間における部品の分布状態を表すマップ画像が表示される。図面には現われていないが、集合C1に属する点と集合C2に属する点とは色分けされている。また、現在選択されている集合C1の分布パターンには、確認対象範囲を模式した円Rが設定されている。この段階の円Rは、図6のステップE3の処理に基づき、集合C1の分布パターン全体が含まれる大きさに設定されている。
【0076】
このように、作業画面では、多次元の特徴空間内の分布パターンや確認対象範囲を、ユーザが理解しやすいように、2次元のパターン画像として表している。さらにこの実施例では、円Rを「境界線」と表現して、設定領域103で境界線を変更することができる。
【0077】
設定領域103には、スクロールバー109と入力・表示用のボックス110,111とが設けられる。スクロールバー109の上方のボックス110内に表示されている数字は境界線の位置を表すもので、円Rが集合C1の分布パターン全体を含むように設定されているときはスクロールバー109は右端に設定され、ボックス110内には「1」が表示される。ここでスクロールバー109を左側に移動させると、ボックス110内の数字は2,3,4・・・と次第に大きくなるとともに、円Rの径が所定量ずつ縮小される。
スクロールバー109の下方のボックス111内の数字は境界線の変更幅を表すもので、この数値が大きくなるほど、円Rの径の変更幅が大きくなり、実際の確認対象範囲の各境界位置の変動幅も大きな値に変更される。
【0078】
つぎに表示領域101の右側の設定領域105は、選択中の集合C1に含まれる部品の良否に関する判定入力を受け付けるためのものである。この実施例では、各部品の判定結果を「判定フラグ」というフラグデータにより表すことにして、各部品の判定フラグを「マルチ疑」(良・不良が確定していない状態であることを意味する。)に初期設定し、作業者に、各判定フラグを「良品」または「不良品」に変換させる、という手法をとる。
【0079】
具体的に説明すると、設定領域105内には、選択中の集合C1の名称である「クラス1」に続いて、この集合に含まれる各部品の情報が列挙される。また集合の名称および各部品の情報には、それぞれチェックボタン111,112が対応づけられる。
【0080】
部品の情報は、部品の識別記号(文字列「ID」と数字列との組み合わせによるもの)に当該部品に現在設定されている判定フラグの内容を組み合わせたものである。各情報は、図5に示した重心Mnからの距離が遠い順に、言い換えられば集合の境界に最も近いものから順に、並べられている。さらに、現在の確認対象範囲の境界部に対応する部品の情報(図示例ではID1〜ID20の情報)は、人の目を惹きつける色彩(たとえば赤色)により強調表示されている(図示では色彩を極太表示で表現している。)。
【0081】
上記の作業画面において、作業者が設定領域102内で「画像」を選択すると、図8に示すように、表示領域101内の表示は、複数の部品の画像をマップ画像に重ね合わせたものに切り替えられる。これらの画像が示す部品は、現在の確認対象範囲の境界部に対応するもの(すなわちID1〜ID20の部品)であって、マップ画像上の当該部品に対応する位置の近傍に表示される。
【0082】
さらに、このときの作業画面の左下には、表示領域101内の表示を「拡大モード」に切り替えるためのボタン114が設けられる。また、設定領域105の下方にも、新規の設定領域115が設けられる。
【0083】
ここでボタン114が操作されると、作業画面は図9に示すものに切り替えられる。
この画面では、マップ画像用の表示領域101が縮小化され、新たに画面の中央部に、各部品の拡大画像を表示するための表示領域116が設けられる。この表示領域116では、各部品の拡大画像とともに、設定領域105に表示されているのと同様の情報が表示される。また、この表示領域116では、画像の選択操作を受け付けることが可能であり、選択された部品の画像は太枠117により強調表示される。また、これに応じて表示領域101内のマップ画像上にも、選択された部品の位置を表すポインタ118が表示される。
【0084】
なお、作業画面が拡大モードに変化すると、画面の左下のボタン114は、図7,8に示した表示状態(俯瞰モード)に戻ることを選択するものに変更される。
【0085】
設定領域105の下方に新設された設定領域115には、「良品」および「不良品」の各選択肢がそれぞれチェックボタン120とともに表示され、初期状態では「良品」が選択されている。さらにこの設定領域115には、一括変換用のボタン121が設けられている。
【0086】
設定領域105内のチェックボタン111,112は、初期状態では全て選択された状態(+印が入っている状態)になっている。チェックボタン112による選択は、対応する部品の判定フラグを設定領域115で設定されているもの(図示例の場合「良品」)に変更する選択をしていることを意味する。また、チェックボタン111による選択は、集合内の全ての部品について上記の選択がされていることを意味する。
【0087】
上記の拡大モードの作業画面によれば、作業者は、表示領域116内の各画像を順に選択したり、その下方に設けられているスクロールバー119を操作しながら、現在の確認対象範囲の境界部に対応する部品の実装状態を詳細に確認することができる。
【0088】
ここで、作業者が表示されている画像の全てが良品であると判断して、一括変換用のボタン121を操作すると、図10に示すように、設定領域105内の各部品の判定フラグの表示は全て「良品」に切り替えられる。この判定フラグの切り替えは、表示されていない部品に対しても実行される。これにより、集合C1に属する全ての部品の判定フラグが「良品」に設定される。
【0089】
図10に示す一括変換後の作業画面では、設定領域115内のボタン121がなくなり、代わりに「確定」のボタン122と「戻る」選択のボタン123とが現れる。ボタン122により確定操作が行われると、上記の判定フラグの変換結果が確認端末3から管理サーバ2に送信されて(図2の検査結果確定部37から確定結果取得部25への送信に該当する。)、管理サーバ2内の検査結果データベース20が書き換えられる。一方、ボタン123による戻り操作が行われると、管理サーバ2への情報送信を行わずに、各部品の判定フラグの設定を一括変換前の状態(すなわちマルチ疑)に戻す。また作業画面も、一段階前の状態(図9)に戻る。
なお、設定領域105,115に対する操作は拡大モードに限らず、俯瞰モードの「画像」表示画面において実行することもできる。
【0090】
図7〜10に示したように、選択対象の集合C1内の全ての部品が良品であれば、最初の集合全体に対して設定された確認対象範囲につき表示された部品の画像を確認して一括変換操作を行い、その変換結果を確定することによって、作業を終えることができる。よって、作業者は、全ての部品の画像を確認する必要がなく、集合C1の境界部にある部品の画像を確認するだけでよいから、確認作業に要する労力や時間が大幅に削減される。その一方で、判定の精度は確保することができる。
【0091】
(2)具体例2(図11〜16)
この実施例でも、初期の作業画面は具体例1と同様であるので、拡大モードに移行した時点から説明する。
【0092】
図11は、集合C1全体を含む範囲が確認対象範囲に設定されて、画像拡大モードに移行した時点の作業画面を示す。この例では、表示されているうちのID19の部品に、部品の位置ずれ不良が生じている。
【0093】
このように不良品が見つかった場合には、作業者は、設定領域105内の対応するチェックボックス112の選択を外す操作を行う。これにより、図12に示すように、「良品」「不良品」の選択肢を含むプルダウンメニュー124が呼び出される。ここで作業者が「不良品」を選択すると、図13に示すように、ID19の部品の判定フラグが「不良品」に変更される。さらに、部品の名称に対するチェックボタン111も選択されていない状態となる。
【0094】
このように、不良が確認された部品の判定フラグを「不良品」に変更した場合(この例ではID19の部品のみが不良であったものとする。)には、作業者は、設定領域103のスクロールバー109を操作して、確認対象範囲を縮小する。この変更操作が行われると、図14に示すように、作業画面は俯瞰モードに戻り、表示領域101内の処理対象の集合C1に対し、当初より径が小さくなった円Rが表示される。また設定領域103内のボックス110に表示される数値も「2」に変更される。
【0095】
さらに右側の設定ボックス105では、これまでのID1〜ID20に代えて、変更された確認対象範囲の境界部に対応する部品の情報(ID21以下)が識別表示される。
【0096】
上記の表示において、作業者がボタン114を操作すると、図15に示すように、画面は再び拡大モードになり、ID21以下の部品の拡大画像が表示される。
この段階で、作業者が表示された部品のすべてが良品であると判定して一括変換用のボタン121を操作すると、図16に示すように、設定ボックス105内の各部品の判定フラグは、選択が外されたID19の部品を除き、全て「良品」に切り替えられる。ID19の判定フラグは「不良」のまま維持される。この後は、具体例1と同様に、「確定」のボタン122を操作することによって、各判定フラグの内容が管理サーバ2に送信され、検査結果データベース20が書き換えられる。
【0097】
上記に示したように、最初に集合の全範囲を確認対象領域として表示された部品の良・不良を判別し、不良品を確認した場合には、該当する部品の判定フラグを「不良」に変更して確認対象領域を縮小し、以下、この手順を不良品が見つからなくなるまで繰り返すことによって、集合内の良品と不良品とを精度良く切り分けることができる。さらにこの場合にも、表示された全ての部品が良品であると判断したときに一括変換用のボタン121を操作することによって、現在の確認対象範囲内にある全ての部品、および確認対象範囲外で選択が維持されている部品を、良品として確定することができる。
【0098】
(3)具体例3(図17〜21)
この実施例では、図7と同様の初期の作業画面を立ち上げた後に、ボタン106により「一覧モード」を選択する。図17は、この選択後の画面を示すもので、ボタン106は、「通常モード」(図7,8の表示モードをいう。)を選択するものに変化し、マップ画像の表示領域101は縮小されて左上に表示される。また新たに画面の中央に大きな表示領域125が設定される。
【0099】
一覧モードでは、処理対象の集合C1に対し、通常モードで段階的に設定した確認対象範囲を、複数(図示例では3つ)一度に設定する。表示領域126内には、設定された確認対象範囲毎に表示欄126,127,128が設けられる。各表示欄126,127,128には、それぞれ対応する部品の画像が縦並びにして表示されるとともに、画像表示を動かすためのスクロールバー129が設けられる。表示領域125の下方にも、表示欄を動かすためのスクロールバー130が設けられているが、このバー130は、通常モードの設定領域103内のスクロールバー109と同様の機能のものである。
【0100】
各表示欄126〜128の下方には、それぞれ対応する確認対象範囲を示す情報(境界線1,境界線2,境界線3)がチェックボタン131とともに表示されている。さらに各表示欄126〜128内にも、画像の表示領域毎にチェックボタン132が設けられている。また、この作業画面にも、通常モードと同様の構成の設定領域105,115や、拡大モードの選択用のボタン114、処理対象の集合を選択するためのボタン133などが設けられる。
【0101】
ここでボタン114を操作すると、図18に示すように、作業画面は拡大モードのものに変更され、チェックボタン131により選択されている確認対象範囲に対応する部品の画像が拡大表示される。この実施例でも、図11〜13に示したのと同様の方法により、作業者が不良と判定した部品を選択し、その判定フラグを「不良品」に変更する(図18,19)。ただし、この実施例でも、拡大モードの画面への移行は必須ではなく、一覧モードの表示を見ながら、設定領域105で同様の作業を行ってもよい。
【0102】
判定フラグを「不良品」に変更する操作を行った場合には、一覧モードの画面に戻って次の確認対象範囲を選択し、同様の処理を実行することになる。
【0103】
図20は、1番目および2番目の確認対象範囲(境界線1,2)に対する処理が終了し、3番目の確認対象範囲(境界線3)に選択が移った時点での一覧表示モードの画面を示す。この実施例では、1,2番目の確認対象範囲に対応する部品の中に不良品があったために、これらの部品の判定フラグが「マルチ疑」から「不良品」に書き換えられている。また、不良品に対応するチェックボタン112,132や部品名称のチェックボタン111は、選択が外された状態になっている。
【0104】
ここで、3番目の確認対象範囲に対し、作業者が表示されている画像が全て良品であると判断して一括変換用のボタン121を操作すると、図21に示すように、「マルチ疑」が設定されている部品の判定フラグはすべて「良品」に変更される。また、先に選択を外されて「不良品」に設定された部品の判定フラグは、「不良品」のまま維持される。
【0105】
上記の一覧モードによれば、複数の確認対象範囲に対応する部品の画像を確認することができるので、作業者は良品のみが分布する範囲を容易に認識して、作業を行うことができる。また上記の例において、3番目の確認対象範囲の表示欄128にも不良品の画像があった場合には、作業員は、スクロールバー130の操作により確認対象範囲をさらに縮小して、同様の目視確認や操作を行うことができる。
【0106】
なお、上記の各例では説明していないが、集合C2は、同種の不良が生じた部品による集合の可能性がある。が、その場合には、この集合C2を選択したときに、設定ボックス115の選択肢を「不良品」にして、上記と同様の方法を実行することにより、集合C2内の各部品の判定フラグを不良品に変換することができる。
【0107】
また、上記の各例では、最初に集合C1の全体を含む範囲に確認対象範囲を設定し、この確認対象範囲を次第に縮小し、表示される部品の全てに同内容の判定がなされたときに一括変換処理を行うようにしているが、さらにこの後も、確認対象範囲を数回更新して、同内容の判定が続くことを確認してから一括変換を行ってもよい。
【0108】
また、上記の具体例2,3では、集合C1の境界付近に位置する部品の大多数が良品であるとしたが、特徴空間の設定に使用した特徴量の種類によっては、境界部を不良品が占め、それより内側に良品が分布するような集合が形成される可能性もある。このような場合には、まず確実に良判定が得られる範囲を確認対象範囲とし、この範囲を次第に拡大して、集合全体が確認対象範囲に含まれるまで、確認作業を続けるようにする方がよい。ただし、所定の時点での確認対象範囲に対して抽出された部品の全てが不良と判定された場合には、その時点で作業を終了し、その時点の確認対象範囲より外側に分布する部品の全てを不良品として確定してもよい。
【符号の説明】
【0109】
1 自動外観検査装置
2 管理サーバ
3 確認端末
20 検査結果データベース
22 確認対象部品抽出部
23 画像読出部
24 表示情報生成・出力部
26 データベース更新処理部
31 モニタ装置
32 キーボード
33 マウス
36 GUI制御部
37 検査結果確定部
【特許請求の範囲】
【請求項1】
部品実装基板に対する自動外観検査を実行した後に、この自動外観検査で不良と判定された部品の良否を作業者による判定に基づき確定する検査方法において、
前記自動外観検査により不良と判定された同一部品種の複数の部品を、それぞれの自動外観検査に用いた画像から抽出した特徴量の大小関係に基づき仮想配置する第1ステップと、
処理対象の部品が分布する範囲に所定大きさの確認対象範囲を設定して、この確認対象範囲の境界部に対応する部品を抽出する第2ステップと、
第2ステップで抽出された部品につき、それぞれ自動外観検査に使用された画像を表示して、表示された各部品に対する作業者の良否判定の入力を受け付ける第3ステップと、
同一の確認対象範囲につき抽出された部品の全てに対し、第3ステップにおいて同内容の判定を受け付けたとき、この判定内容を当該判定がなされた部品群より内側に分布する全ての部品に適用して、各部品に対する判定を確定する第4ステップとを、実行することを特徴とする、実装部品の検査結果確定方法。
【請求項2】
請求項1に記載された方法において、
前記第2ステップおよびこの第2ステップにより抽出された部品を対象にした第3ステップを、前記確認対象範囲を次第に縮小しながら所定サイクル実行し、表示された各部品に対する判定の内容が一致していないサイクルから各部品に対する判定の内容が一致したサイクルに移行したときより後に、前記第4ステップを実行する、実装部品の検査結果確定方法。
【請求項3】
請求項1に記載された方法において、
最初に設定された確認対象範囲につき抽出された各部品に対する判定の内容が一致することを条件として、前記第2ステップおよびこの第2ステップにより抽出された部品を対象にした第3ステップを、前記確認対象範囲を次第に拡大しながら所定サイクル実行した後に前記第4ステップを実行する、実装部品の検査結果確定方法。
【請求項4】
請求項1に記載された方法において、
前記第3ステップにおいて、大きさの異なる複数の確認対象範囲につきそれぞれ前記第2ステップで抽出された部品の画像を、同じ確認対象範囲毎にグループ分けして一覧表示して、表示された各部品の良否判定の入力を受け付けるとともに、表示されたいずれかのグループに所属する全ての部品に対して同内容の判定を受け付けたときより後に、前記第4ステップを実行する、実装部品の検査結果確定方法。
【請求項5】
請求項2〜4のいずれかに記載された方法において、
前記第4ステップでは、前記同内容の判定結果を受け付けた部品群より外側に分布する部品について、それぞれ当該部品が表示されたときの当該部品に対する良否判定の内容を確定する、実装部品の検査結果確定方法。
【請求項6】
請求項1〜5のいずれかに記載された方法において、
前記第1ステップにおいて、前記不良と判定された同一部品種の複数の部品を仮想配置した後に、この仮想配置に用いた特徴量に基づくクラスタリング処理を実行し、このクラスタリング処理により設定された集合毎に、前記第2,第3,第4の各ステップを実行する、実装部品の検査結果確定方法。
【請求項7】
部品実装基板に対する自動外観検査の対象となった各部品について、その検査の過程で得た情報を当該部品の画像を含めて蓄積する記憶手段と、前記記憶手段に蓄積された情報に基づき前記自動外観検査により不良と判定された部品の画像を表示して、作業者による良否判定の入力を受け付ける判定入力受付手段と、判定入力受付手段が受け付けた判定に基づき前記不良と判定された各部品の良否を確定する検査結果確定手段とを具備するシステムであって、
前記判定入力受付手段は、前記自動外観検査で不良と判定された同一部品種の複数の部品を、それぞれの自動外観検査に用いた画像から抽出された特徴量の大小関係に基づき仮想配置する手段と、仮想配置された部品が分布する範囲に所定大きさの確認対象範囲を設定して、この確認対象範囲の境界部に位置する部品を抽出する手段とを具備し、これらの手段により抽出された部品を対象にして、前記画像の表示および良否判定の入力の受付処理を実行し、
前記検査結果確定手段は、同一の確認対象範囲につき抽出された部品の全てに対して、前記判定入力受付手段が同内容の判定結果を受け付けたとき、この判定内容を当該判定がなされた部品群より内側に分布する全ての部品に適用する手段を具備する、
ことを特徴とする実装部品の検査結果確定システム。
【請求項1】
部品実装基板に対する自動外観検査を実行した後に、この自動外観検査で不良と判定された部品の良否を作業者による判定に基づき確定する検査方法において、
前記自動外観検査により不良と判定された同一部品種の複数の部品を、それぞれの自動外観検査に用いた画像から抽出した特徴量の大小関係に基づき仮想配置する第1ステップと、
処理対象の部品が分布する範囲に所定大きさの確認対象範囲を設定して、この確認対象範囲の境界部に対応する部品を抽出する第2ステップと、
第2ステップで抽出された部品につき、それぞれ自動外観検査に使用された画像を表示して、表示された各部品に対する作業者の良否判定の入力を受け付ける第3ステップと、
同一の確認対象範囲につき抽出された部品の全てに対し、第3ステップにおいて同内容の判定を受け付けたとき、この判定内容を当該判定がなされた部品群より内側に分布する全ての部品に適用して、各部品に対する判定を確定する第4ステップとを、実行することを特徴とする、実装部品の検査結果確定方法。
【請求項2】
請求項1に記載された方法において、
前記第2ステップおよびこの第2ステップにより抽出された部品を対象にした第3ステップを、前記確認対象範囲を次第に縮小しながら所定サイクル実行し、表示された各部品に対する判定の内容が一致していないサイクルから各部品に対する判定の内容が一致したサイクルに移行したときより後に、前記第4ステップを実行する、実装部品の検査結果確定方法。
【請求項3】
請求項1に記載された方法において、
最初に設定された確認対象範囲につき抽出された各部品に対する判定の内容が一致することを条件として、前記第2ステップおよびこの第2ステップにより抽出された部品を対象にした第3ステップを、前記確認対象範囲を次第に拡大しながら所定サイクル実行した後に前記第4ステップを実行する、実装部品の検査結果確定方法。
【請求項4】
請求項1に記載された方法において、
前記第3ステップにおいて、大きさの異なる複数の確認対象範囲につきそれぞれ前記第2ステップで抽出された部品の画像を、同じ確認対象範囲毎にグループ分けして一覧表示して、表示された各部品の良否判定の入力を受け付けるとともに、表示されたいずれかのグループに所属する全ての部品に対して同内容の判定を受け付けたときより後に、前記第4ステップを実行する、実装部品の検査結果確定方法。
【請求項5】
請求項2〜4のいずれかに記載された方法において、
前記第4ステップでは、前記同内容の判定結果を受け付けた部品群より外側に分布する部品について、それぞれ当該部品が表示されたときの当該部品に対する良否判定の内容を確定する、実装部品の検査結果確定方法。
【請求項6】
請求項1〜5のいずれかに記載された方法において、
前記第1ステップにおいて、前記不良と判定された同一部品種の複数の部品を仮想配置した後に、この仮想配置に用いた特徴量に基づくクラスタリング処理を実行し、このクラスタリング処理により設定された集合毎に、前記第2,第3,第4の各ステップを実行する、実装部品の検査結果確定方法。
【請求項7】
部品実装基板に対する自動外観検査の対象となった各部品について、その検査の過程で得た情報を当該部品の画像を含めて蓄積する記憶手段と、前記記憶手段に蓄積された情報に基づき前記自動外観検査により不良と判定された部品の画像を表示して、作業者による良否判定の入力を受け付ける判定入力受付手段と、判定入力受付手段が受け付けた判定に基づき前記不良と判定された各部品の良否を確定する検査結果確定手段とを具備するシステムであって、
前記判定入力受付手段は、前記自動外観検査で不良と判定された同一部品種の複数の部品を、それぞれの自動外観検査に用いた画像から抽出された特徴量の大小関係に基づき仮想配置する手段と、仮想配置された部品が分布する範囲に所定大きさの確認対象範囲を設定して、この確認対象範囲の境界部に位置する部品を抽出する手段とを具備し、これらの手段により抽出された部品を対象にして、前記画像の表示および良否判定の入力の受付処理を実行し、
前記検査結果確定手段は、同一の確認対象範囲につき抽出された部品の全てに対して、前記判定入力受付手段が同内容の判定結果を受け付けたとき、この判定内容を当該判定がなされた部品群より内側に分布する全ての部品に適用する手段を具備する、
ことを特徴とする実装部品の検査結果確定システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図14】
【図15】
【図16】
【図17】
【図18】
【図20】
【図21】
【図12】
【図13】
【図19】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図14】
【図15】
【図16】
【図17】
【図18】
【図20】
【図21】
【図12】
【図13】
【図19】
【公開番号】特開2010−177628(P2010−177628A)
【公開日】平成22年8月12日(2010.8.12)
【国際特許分類】
【出願番号】特願2009−21709(P2009−21709)
【出願日】平成21年2月2日(2009.2.2)
【出願人】(000002945)オムロン株式会社 (3,542)
【Fターム(参考)】
【公開日】平成22年8月12日(2010.8.12)
【国際特許分類】
【出願日】平成21年2月2日(2009.2.2)
【出願人】(000002945)オムロン株式会社 (3,542)
【Fターム(参考)】
[ Back to top ]