部品吸着姿勢判別方法及び部品吸着姿勢判別システム
【課題】電子部品実装機の吸着ノズルに吸着した部品の異常吸着を精度良く検出するシステムをソフトウエアの変更・追加のみで安価に構成する。
【解決手段】電子部品実装機の吸着ノズルに吸着した部品をカメラで撮像し、画像処理技術によって当該部品の吸着姿勢が正常吸着か異常吸着かを判別するシステムにおいて、予め収集した多数の正常吸着の部品画像データと異常吸着の部品画像データを教師データとしてニューラルネットワークで学習しておき、電子部品実装機の稼働中に前記カメラで撮像した部品の画像データを前記ニューラルネットワークに入力して、当該ニューラルネットワークの出力値に基づいて当該部品の吸着姿勢が正常吸着か異常吸着かを判別する。この場合、ニューラルネットワークの出力層は１つでも良いし、複数であっても良い。
【解決手段】電子部品実装機の吸着ノズルに吸着した部品をカメラで撮像し、画像処理技術によって当該部品の吸着姿勢が正常吸着か異常吸着かを判別するシステムにおいて、予め収集した多数の正常吸着の部品画像データと異常吸着の部品画像データを教師データとしてニューラルネットワークで学習しておき、電子部品実装機の稼働中に前記カメラで撮像した部品の画像データを前記ニューラルネットワークに入力して、当該ニューラルネットワークの出力値に基づいて当該部品の吸着姿勢が正常吸着か異常吸着かを判別する。この場合、ニューラルネットワークの出力層は１つでも良いし、複数であっても良い。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子部品実装機の吸着ノズルに吸着した部品をカメラで撮像し、画像処理技術によって部品の吸着姿勢が正常吸着か斜め吸着かを判別する部品吸着姿勢判別方法及び部品吸着姿勢判別システムに関する発明である。
【背景技術】
【０００２】
一般に、電子部品実装機においては、吸着ノズルに部品を吸着し、この部品を回路基板上に移送して回路基板の所定位置に実装するようにしている。更に、吸着ノズルに吸着した部品をその下面側から撮像するカメラを設置して、このカメラで撮像した部品画像によって部品の種類を確認したり、吸着ノズルに対する部品の吸着位置のずれを補正するようにしている。
【０００３】
ところで、通常は、図１８の（ａ）に示すように、吸着ノズル１に部品２が水平に吸着された状態になるが、図１８の（ｂ）に示すように、何らかの原因で吸着ノズル１に部品２が斜めに吸着された状態になることがある。このような斜め吸着（異常吸着）は実装不良の原因となるため、特許文献１（特開平６−２１６５８４号公報）に示すように、斜め吸着を検出する手段として光センサを用い、吸着ノズル１に吸着した部品２の両側に、光センサの発光素子３と受光素子４とをその光軸５が正常な吸着姿勢の部品２の下面よりも僅かに低い位置を通過するように配置したものがある。このものは、図１８の（ａ）に示すように、部品２の吸着姿勢が正常吸着であれば、光軸５が部品２で遮断されないが、図１８の（ｂ）に示すように、部品２の吸着姿勢が斜め吸着である場合は、その部品２の下部で光軸５が遮断されることで、斜め吸着が検出されるようになっている。
【０００４】
しかしながら、この構成では、斜め吸着を検出する手段として、光センサ（発光素子３と受光素子４）を設ける必要があり、その分、コストアップする欠点がある。
【０００５】
そこで、特許文献２（特開２００６−１１４８２１号公報）に示すように、予め、想定される正常な吸着姿勢の部品画像の外形線と交差する複数本のシークラインを当該部品画像の中心線に関して対称な位置に設定し、対称な位置関係にあるシークライン上の輝度の変化パターンを比較することで、部品の吸着姿勢が正常吸着か斜め吸着かを判別するようにしたものがある。
【特許文献１】特開平６−２１６５８４号公報（第１頁等）
【特許文献２】特開２００６−１１４８２１号公報（第４頁等）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上記特許文献２の技術では、正常吸着と異常吸着（斜め吸着）とを判別する判別基準を設計開発者が設定するため、設計開発者の主観によって判別基準がばらついてしまい、その分、異常吸着の判別率が悪くなってしまう。
【０００７】
この課題を解決するために、本出願人は、特願２００６−１４９７９９号の明細書に示すように、予め、正常吸着の部品画像と異常吸着（斜め吸着）の部品画像をそれぞれ多数収集し、各部品画像から特徴量を抽出した後、それらの特徴量のデータの統計的な分布を判別分析法により評価して正常吸着と異常吸着とを判別するための判別基準を設定してメモリに記憶しておき、以後、電子部品実装機の稼働中に吸着ノズルに部品を吸着する毎に、前記カメラで撮像した部品画像から特徴量を抽出し、その特徴量から前記判別基準に従って当該部品の吸着姿勢が正常吸着か異常吸着かを判別する技術を開発した。
【０００８】
しかし、この判別分析法を用いた判別方法では、異常吸着の判別率が従来よりも向上するものの、まだ９３．１［％］にとどまっており、まだまだ異常吸着の判別率を改善する必要がある。
【０００９】
本発明はこのような事情を考慮してなされたものであり、従ってその目的は、電子部品実装機の吸着ノズルに吸着した部品の異常吸着を精度良く検出するシステムをソフトウエアの変更・追加のみで安価に構成できる部品吸着姿勢判別方法及び部品吸着姿勢判別システムを提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、請求項１，５に係る発明は、電子部品実装機の吸着ノズルに吸着した部品をカメラで撮像し、画像処理技術によって当該部品の吸着姿勢が正常吸着か異常吸着かを判別するものにおいて、予め収集した多数の正常吸着の部品画像データと異常吸着の部品画像データを教師データとしてニューラルネットワークで学習しておき、電子部品実装機の稼働中に前記カメラで撮像した部品の画像データを前記ニューラルネットワークに入力して、当該ニューラルネットワークの出力値に基づいて当該部品の吸着姿勢が正常吸着か異常吸着かを判別するようにしたものである。
【００１１】
このようにすれば、光センサ等の追加を必要とせず、現状の電子部品実装機に対してもソフトウエアの変更・追加のみで部品の異常吸着を検出するシステムを安価に構成できる。しかも、ニューラルネットワークによる学習効果によって部品の吸着姿勢が正常吸着か異常吸着かを精度良く判別することができ、異常吸着の判別率を判別分析法よりも高めることができる。
【００１２】
本発明で使用するニューラルネットワークは、出力層の数を１つとするシンプルな構成のものであっても良いが、判別精度を向上させるために、請求項２，６のように、ニューラルネットワークは、部品の吸着姿勢を複数のパターンに区分してそれぞれのパターンの教師データと入力データとの類似度に応じた数値を出力する複数の出力層を有するように構成し、各出力層の出力値を比較して正常吸着と異常吸着とを判別するようにしても良い。
【００１３】
本発明を研究する過程で、様々な異常吸着の画像を観察した結果、異常吸着のパターンは、図４〜図６に示すように、大別して３つのパターン（右斜め吸着による異常吸着、左斜め吸着による異常吸着、横吸着による異常吸着）に分類できることが判明した。従って、複数の出力層を設ける場合は、請求項３，７のように、部品の吸着姿勢を、正常吸着、右斜め吸着による異常吸着、左斜め吸着による異常吸着、横吸着による異常吸着の４つのパターンに区分して、それぞれのパターンの教師データと入力データとの類似度に応じた数値を出力する４つの出力層を設けるようにすると良い。このようにすれば、異常吸着をパターン毎に判別できるため、正常吸着のものを異常吸着と誤判定する頻度をほぼゼロとすることができて、異常吸着と誤判定することによる部品のロスや電子部品実装機の停止によるサイクルタイムロスをほぼ無くすことができる。
【００１４】
この場合、請求項４，８のように、複数の出力層の中から出力値が最大となる出力層を選択して正常吸着と異常吸着とを判別するようにすれば良い。例えば、出力値が最大となる出力層が正常吸着のグループに区分されるものであれば、正常吸着と判定し、出力値が最大となる出力層が異常吸着のグループに区分されるものであれば、異常吸着と判定すれば良い。
【発明を実施するための最良の形態】
【００１５】
以下、本発明を実施するための最良の形態を具体化した２つの実施例１，２を説明する。
【実施例１】
【００１６】
本発明の実施例１を図１乃至図１３に基づいて説明する。
まず、図１に基づいて電子部品実装機全体の概略構成を説明する。
Ｘ軸スライド１１は、Ｘ軸ボールねじ１２によってＸ軸方向（図１の左右方向）にスライド移動可能に設けられ、このＸ軸スライド１１に対して、Ｙ軸スライド１３がＹ軸ボールねじ１４によってＹ軸方向（図１の紙面垂直方向）にスライド移動可能に設けられている。
【００１７】
Ｙ軸スライド１３には、吸着ヘッド１５が設けられ、この吸着ヘッド１５に昇降可能に設けられた吸着ホルダ１６に吸着ノズル１７が下向きに取り付けられている。吸着ホルダ１６の下面には、吸着ノズル１７に吸着した部品１８の背景を明るくするためのバックライト１９が設けられている。
【００１８】
Ｘ軸スライド１１には、吸着ノズル１７に吸着した部品１８をその下面側から一対の反射鏡２０，２１を介して撮像するＣＣＤカメラ等のカメラ２２が下向きに設けられている。このカメラ２２で撮像した部品画像によって、吸着ノズル１７に対する部品１８の吸着位置のずれを補正するようにしている。
【００１９】
一方の反射鏡２０は、吸着ノズル１７に吸着した部品１８の下方に位置するように設けられ、この反射鏡２０の下方には、吸着ノズル１７に吸着した部品１８をその下面側から照明するためのフロントライト２３が設けられている。この反射鏡２０は、フロントライト２３の光を上方に透過させるようにハーフミラー処理が施されている。
【００２０】
この電子部品実装機の制御装置（図示せず）は、吸着ノズル１７に吸着した部品１８をその下面側からカメラ２２で撮像し、画像処理技術によって該部品１８の吸着姿勢が“正常吸着”か“異常吸着”かを判別する。以下、この吸着姿勢の判別方法を詳しく説明する。
【００２１】
本実施例１では、出力層の数を１とした３階層型ニューラルネットワークを用いて部品１８の吸着姿勢を次のようにして判別する。
図２に示すように、カメラ２２で撮像した画像中の部品の位置と角度を検出して、角度補正・位置補正を施し、部品部分のみを例えば３２×２４［画素］のサイズで切り出した８ｂｉｔグレースケール画像を部品画像データとして用いる。以下に説明する判別試験で教師データとテストデータとして使用した部品画像の一部が図３〜図６に示されている。
【００２２】
図３は正常吸着の画像例を示している。
図４は左斜め吸着の画像例を示している。左斜め吸着は、部品の左電極側面が見えている吸着状態であり、これも異常吸着の一種である。
図５は右斜め吸着の画像例を示している。右斜め吸着は、部品の右電極側面が見えている吸着状態であり、異常吸着の一種である。
【００２３】
図６は横吸着の画像例を示している。横吸着は、部品の本来の側面が下向きに見えている吸着状態であり、これも異常吸着の一種である。
本例で使用した異常吸着の画像は、従来の外形サイズによる検出方法では異常吸着を全く検出できなかったものばかりである。
【００２４】
図７に示すように、本例で使用した部品画像の枚数は、正常吸着画像が３６５７枚、異常吸着画像が６６４４枚（内訳は、左斜め吸着画像が３２６８枚、右斜め吸着画像が３３３２枚、横吸着画像が４４枚）、合計１０３０１枚である。これらの画像の中から、正常吸着画像を３７７枚、異常吸着画像を７５３枚（内訳は、左斜め吸着画像が３６８枚、右斜め吸着画像が３６２枚、横吸着画像が２３枚）だけ選択して、合計１１３０枚の画像を教師データとして用いる。残りの画像は、テストデータとしてニューラルネットワークの性能評価に用いる。
【００２５】
本実施例１では、図８に示す３階層型ニューラルネットワークを使用する。
この３階層型ニューラルネットワークは、入力層のニューロン数を３２×２４、中間層のニューロン数を１２８、出力層の数を１つとしている。出力層の出力値が“１．０”に近いほど“正常吸着”を示し、“０．０”に近いほど“異常吸着”を示している。
【００２６】
学習方法は、バックプロパゲーション法を用いた。学習に際して、ニューラルネットワークのパラメータを、学習係数α＝０．９、バイアス更新係数β＝０．７と設定した。シグモイド関数の傾きはＵ０＝５．０を用いた。
【００２７】
バックプロパゲーション法による学習は、図９の（ａ）に示すように、同じ教師データをＮ回繰り返して学習させた後、次の教師データを学習させる。また、学習を行う教師データの順序は、学習の度にランダムに入れ替える。本例では、繰り返し回数Ｎ＝１０とした。
【００２８】
それぞれの教師データを学習させる際には、図９の（ｂ）に示すように、画像を平行・回転移動させて誤差を加える。また、図９の（ｃ）に示すように、１つの教師データに対して、水平方向に反転した画像と、垂直方向に反転した画像と、水平・垂直方向に反転した画像も同時に学習させる。
【００２９】
以上説明した３階層型ニューラルネットワークによる教師データの学習は、電子部品実装機の制御装置によって図１０の学習プログラムに従って実行される。図１０の学習プログラムは、電子部品実装作業を行う前に実行される。本プログラムが起動されると、まずステップ１０１で、図３に示すような正常吸着の部品画像と図４、図５、図６に示すような異常吸着（左斜め吸着、右斜め吸着、横吸着）の部品画像をそれぞれ多数収集する。
【００３０】
この後、ステップ１０２に進み、画像中の部品の位置・角度を検出した後、ステップ１０３に進み、ｘｙ座標に合わせて、画像中の部品の位置・角度を修正して、ｘ軸とｙ軸を部品の縦横の中心線に一致させて、画像中の部品部分のみを３２×２４［画素］のサイズで切り出す。この際、ｘ軸を部品の長手方向に設定し、部品の両端部の電極がｙ軸に関して対称位置に位置するように角度補正・位置補正を施し、部品部分のみを切り出す。
【００３１】
そして、次のステップ１０４で、正常吸着画像と異常吸着画像の中からそれぞれ所定数の画像を選択して教師データを作成する。この後、ステップ１０５に進み、教師データを図８のニューラルネットワークに入力して正常吸着画像と異常吸着画像を学習する。
【００３２】
この後、ステップ１０６に進み、学習回数が所定回数以上になったか否かを判定し、学習回数が所定回数未満であれば、上記ステップ１０５に戻り、ニューラルネットワークの学習を繰り返す。これにより、学習回数が所定回数以上になるまで、ニューラルネットワークの学習を繰り返す。学習回数の繰り返し回数（所定回数）は、平均誤り率（図１２参照）を目標値以内に収めるのに必要な学習回数に設定すれば良い。
なお、この図１０の学習プログラムは、電子部品実装機の制御装置とは別のコンピュータで実行しても良い。
【００３３】
一方、図１１の部品吸着姿勢判別プログラムは、上記図１０の学習プログラムと共に特許請求の範囲でいう吸着姿勢判別手段としての役割を果たす。本プログラムは、電子部品実装機の稼働中に吸着ノズル１７に部品を吸着する毎に起動され、当該部品の吸着姿勢を次のようにして判別する。
【００３４】
本プログラムが起動されると、まずステップ２０１で、吸着ノズル１７に吸着した部品の画像をカメラ２２で撮像して取り込む。この後、ステップ２０２に進み、画像中の部品の位置・角度を検出した後、ステップ２０３に進み、ｘｙ座標に合わせて、画像中の部品の位置・角度を修正して、ｘ軸とｙ軸を部品の縦横の中心線に一致させて、画像中の部品部分のみを３２×２４［画素］のサイズで切り出す。この際、ｘ軸を部品の長手方向に設定し、部品の両端部の電極がｙ軸に関して対称位置に位置するように角度補正・位置補正を施し、部品部分のみを切り出す。
【００３５】
そして、次のステップ２０４で、切り出した画像データを教師データを図８のニューラルネットワークに入力して、次のステップ２０５で、ニューラルネットワークの出力層の出力値が判定閾値以上であるか否かで、部品の吸着姿勢が正常吸着か異常吸着かを判別する。出力層の出力値は、１．０に近いほど正常吸着を示し、０．０に近いほど異常吸着を示している。
【００３６】
本発明者は、上述した方法で、図７の教師データを用いてニューラルネットワークの学習を行い、図７のテストデ−タを用いて判別実験を行った。この判別実験で、各学習回数毎のニューラルネットワークを用いて平均誤り率の変化を測定した結果を図１２に示す。
【００３７】
この判別実験結果を調べると、学習回数が約１５００回を越えるあたりから安定して平均誤り率が０．５［％］程度に収まることが判明した。図１３に示すように、実際には正常吸着であるにも拘らず、異常吸着であると誤判定したものが２７例あり、逆に、異常吸着のものを正常吸着であると誤判定したものが１７例あった。
【００３８】
この判別実験での判別率は、次式で算出され、９９．５［％］という高い判別率が得られ、誤り率は０．５［％］であった。
判別率＝（３２５３＋５８７４）／（３２８０＋５８９１）×１００［％］
＝９９．５［％］
誤り率＝１００−９９．５［％］
＝０．５［％］
【００３９】
以上説明した本実施例１によれば、予め収集した多数の正常吸着の部品画像データと異常吸着の部品画像データを教師データとしてニューラルネットワークで学習しておき、電子部品実装機の稼働中にカメラ２２で撮像した部品の画像データをニューラルネットワークに入力して、当該ニューラルネットワークの出力値に基づいて当該部品の吸着姿勢が正常吸着か異常吸着かを判別するようにしたので、部品の吸着姿勢が正常吸着か異常吸着かを精度良く判別することができ、異常吸着の判別率を判別分析法よりも高めることができる。しかも、光センサ等の追加を必要とせず、現状の電子部品実装機に対してもソフトウエアの変更・追加のみで部品の異常吸着を検出するシステムを安価に構成できる利点がある。
【実施例２】
【００４０】
上記実施例１において、正常吸着のものを異常吸着と誤判別した画像を観察すると、それらの画像の中に、明らかに正常吸着であるものが含まれていることが判明した。逆に、異常吸着のものを正常吸着と誤判別した画像を観察すると、それらの画像の中に、明らかに異常吸着であるものが含まれていることが判明した。この原因は、異常吸着には何種類かのパターンがあるにも拘らず、それらをまとめて１つの“異常吸着”というパターンに分類しているため、ニューラルネットワーク内に少なからず混乱が生じてしまっているからではないかと推測される。
【００４１】
本発明を研究する過程で、様々な異常吸着の画像を観察した結果、異常吸着のパターンは、図４、図５、図６に示すように、大別して３つのパターン（右斜め吸着による異常吸着、左斜め吸着による異常吸着、横吸着による異常吸着）に分類できることが判明した。
【００４２】
そこで、本発明の実施例２では、図１４及び図１５に示すように、異常吸着のパターンを、右斜め吸着による異常吸着、左斜め吸着による異常吸着、横吸着による異常吸着の３つのパターンに区分し、それによって、部品の吸着姿勢を、正常吸着、右斜め吸着による異常吸着、左斜め吸着による異常吸着、横吸着による異常吸着の４つのパターンに区分して、それぞれのパターンの教師データと入力データとの類似度に応じた数値を出力する４つの出力層を設けるようにしている。
【００４３】
本実施例２では、図１４に示す３階層型ニューラルネットワークを使用し、入力層のニューロン数を３２×２４、中間層のニューロン数を１２８、出力層の数を４とすると共に、４つの出力層１〜４の中から出力値が最大となる出力層を選択して正常吸着と異常吸着とを判別する。
【００４４】
この場合、図１５に示すように、出力層１が正常吸着の教師データと入力データとの類似度に応じた数値を出力し、出力層２が左斜め吸着の教師データと入力データとの類似度に応じた数値を出力し、出力層３が右斜め吸着の教師データと入力データとの類似度に応じた数値を出力し、出力層４が横吸着の教師データと入力データとの類似度に応じた数値を出力する。学習方法はバックプロパゲーション法を用い、前記実施例１と同様の方法で学習した。
【００４５】
例えば、出力層１の出力値が他の出力層２〜４の出力値よりも大きければ、“正常吸着”と判定し、出力層２〜４のいずれかの出力値が出力層１の出力値よりも大きければ、“異常吸着”と判定する。これを具体例で説明すると、
出力層１（正常吸着）の出力値 ＝０．３
出力層２（左斜め吸着）の出力値＝０．８
出力層３（右斜め吸着）の出力値＝０．１
出力層４（横吸着）の出力値 ＝０．２
という出力が得られた場合、出力層２（左斜め吸着）の出力値（０．８）が最大であり、出力層２（左斜め吸着）の出力値（０．８）が出力層１（正常吸着）の出力値（０．３）よりも大きいため、“異常吸着”と判定される。
【００４６】
本実施例２においても、図７の教師データを用いてニューラルネットワークの学習を行い、図７のテストデ−タを用いて判別実験を行った。この判別実験で、各学習回数毎のニューラルネットワークを用いて平均誤り率の変化を測定した結果を図１６に示す。
【００４７】
この判別実験結果から、学習回数が約１２００回を越えるあたりから安定して平均誤り率が１．５［％］程度に収まることが判明した。図１７に示すように、実際には正常吸着であるにも拘らず、異常吸着であると誤判定したものは全くなかったが、異常吸着のものを正常吸着であると誤判定したものが１３４例あった。
【００４８】
この判別実験での判別率と誤り率は次式で算出される。
判別率＝（３２８０＋５７５７）／（３２８０＋５８９１）×１００［％］
＝９８．５［％］
誤り率＝１００−９８．５［％］
＝１．５［％］
【００４９】
出力層の数が１つのニューラルネットワークを用いた前記実施例１の場合、誤り率は、０．５［％］程度であったが、本実施例２では、ニューラルネットワークの出力層の数を４つに増やすことで、誤り率が１．５［％］程度に上昇した。しかしながら、正常吸着の画像を異常吸着であると誤判別する例が全く無くなった。
【００５０】
このように、本実施例２では、誤判別した画像は、全て異常吸着のものを正常吸着と誤判別したものばかりである。これらの誤判別画像を観察すると、誤判別画像の中には、その部品を回路基板に実装しても、実装精度上、実質的に問題のない吸着状態のものが多く含まれていることが判明した。従って、実質的な誤判別率はもっと低くなると思われる。よって、本実施例２のように、ニューラルネットワークの出力層の数を“正常吸着”、“左斜め吸着”、“右斜め吸着”、“横吸着”の４つに増やすことによって、性能のよい部品異常吸着判別器を構成できる。
【００５１】
ところで、正常吸着のものを異常吸着と誤判定すると、部品のロス及び電子部品実装機の停止によりサイクルタイムロスにつながるので、正常吸着のものを異常吸着と誤判定する頻度をできる限り低下させることが望ましい。これに対し、異常吸着のものを正常吸着と誤判別する例は、先述したように、実装上、実質的に問題にならない場合が多く含まれるため、明らかな誤判定でなければ許容できる。
【００５２】
本実施例２のように、異常吸着のパターンが大別して３つのパターンに区分されることを考慮して、ニューラルネットワークの出力層の数を４つに増やすことで、ニューラルネットワーク内部の矛盾が解消され、結果として、正常吸着のものを異常吸着と誤判別する例が無くなり、異常吸着と誤判定することによる部品のロスや電子部品実装機の停止によるサイクルタイムロスを無くすことができる。
【００５３】
人間が斜め吸着の画像を見た場合、画像中でどこか「異常である」と判定するに至る特徴的な部分があると考えられる。前記実施例１のように、出力層が１つのニューラルネットワークで構成した場合、異常吸着と判定する画像領域が非常に広範囲にわたるのではないかと推測される。
【００５４】
一方、本実施例２のように、出力層を４つにして異常吸着の判別パターンを増やした場合、左斜め吸着の場合は左側の電極部分の画像領域に対して反応し、逆に、右斜め吸着の場合は右側の電極部分の画像領域に対して反応し、横吸着の場合は、部品上下の画像領域に反応するといった具合に、問題をより簡単な問題の集合と考えることによって、より安定した判別器を構成することが可能となる。
【００５５】
前記実施例１のように、出力層が１つの場合は、右側電極部分、左側電極部分、部品上下領域を総合的に見て判定するので、正常吸着の場合でも、部品が少しずつ異なっていると、累積的に異常吸着と誤判別されることがあるのではないかと推測される。
【００５６】
なお、出力層の数は、１又は４に限定されず、それ以外の数であっても良い。
その他、本発明は、図１に示すような構成の電子部品実装機に限定されず、様々な構成の電子部品実装機に適用して実施できる。
【図面の簡単な説明】
【００５７】
【図１】本発明の実施例１，２で使用する電子部品実装機の構成を示す縦断面図である。
【図２】カメラで撮像した画像から３２×２４［画素］の部品画像を切り出す処理を説明する図である。
【図３】正常吸着の画像例を示す図である。
【図４】左斜め吸着の画像例を示す図である。
【図５】右斜め吸着の画像例を示す図である。
【図６】横吸着の画像例を示す図である。
【図７】正常吸着と正常吸着（左斜め吸着、右斜め吸着、横吸着）のそれぞれについて教師データの数とテストデータの数を示す図である。
【図８】実施例１の３階層型ニューラルネットワークの構造を概略的に示す図である。
【図９】ニューラルネットワークの学習方法を説明する図である。
【図１０】学習プログラムの処理の流れを示すフローチャートである。
【図１１】部品吸着姿勢判別プログラムの処理の流れを示すフローチャートである。
【図１２】実施例１において、各学習回数毎のニューラルネットワークを用いて平均誤り率の変化を測定した結果を示す図である。
【図１３】実施例１のニューラルネットワークによる判別実験結果を示す図である。
【図１４】実施例２の３階層型ニューラルネットワークの構造を概略的に示す図である。
【図１５】実施例２の３階層型ニューラルネットワークの出力層１〜４の理想的な出力値を示す図である。
【図１６】実施例２において、各学習回数毎のニューラルネットワークを用いて平均誤り率の変化を測定した結果を示す図である。
【図１７】実施例２のニューラルネットワークによる判別実験結果を示す図である。
【図１８】従来の部品吸着姿勢識別システムの構成を説明する図であり、（ａ）は正常吸着を説明する図、（ｂ）は斜め吸着を説明する図である。
【符号の説明】
【００５８】
１１…Ｘ軸スライド、１３…Ｙ軸スライド、１７…吸着ノズル、１８…部品、１９…バックライト、２０，２１…反射鏡、２２…カメラ、２３フロントライト
【技術分野】
【０００１】
本発明は、電子部品実装機の吸着ノズルに吸着した部品をカメラで撮像し、画像処理技術によって部品の吸着姿勢が正常吸着か斜め吸着かを判別する部品吸着姿勢判別方法及び部品吸着姿勢判別システムに関する発明である。
【背景技術】
【０００２】
一般に、電子部品実装機においては、吸着ノズルに部品を吸着し、この部品を回路基板上に移送して回路基板の所定位置に実装するようにしている。更に、吸着ノズルに吸着した部品をその下面側から撮像するカメラを設置して、このカメラで撮像した部品画像によって部品の種類を確認したり、吸着ノズルに対する部品の吸着位置のずれを補正するようにしている。
【０００３】
ところで、通常は、図１８の（ａ）に示すように、吸着ノズル１に部品２が水平に吸着された状態になるが、図１８の（ｂ）に示すように、何らかの原因で吸着ノズル１に部品２が斜めに吸着された状態になることがある。このような斜め吸着（異常吸着）は実装不良の原因となるため、特許文献１（特開平６−２１６５８４号公報）に示すように、斜め吸着を検出する手段として光センサを用い、吸着ノズル１に吸着した部品２の両側に、光センサの発光素子３と受光素子４とをその光軸５が正常な吸着姿勢の部品２の下面よりも僅かに低い位置を通過するように配置したものがある。このものは、図１８の（ａ）に示すように、部品２の吸着姿勢が正常吸着であれば、光軸５が部品２で遮断されないが、図１８の（ｂ）に示すように、部品２の吸着姿勢が斜め吸着である場合は、その部品２の下部で光軸５が遮断されることで、斜め吸着が検出されるようになっている。
【０００４】
しかしながら、この構成では、斜め吸着を検出する手段として、光センサ（発光素子３と受光素子４）を設ける必要があり、その分、コストアップする欠点がある。
【０００５】
そこで、特許文献２（特開２００６−１１４８２１号公報）に示すように、予め、想定される正常な吸着姿勢の部品画像の外形線と交差する複数本のシークラインを当該部品画像の中心線に関して対称な位置に設定し、対称な位置関係にあるシークライン上の輝度の変化パターンを比較することで、部品の吸着姿勢が正常吸着か斜め吸着かを判別するようにしたものがある。
【特許文献１】特開平６−２１６５８４号公報（第１頁等）
【特許文献２】特開２００６−１１４８２１号公報（第４頁等）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上記特許文献２の技術では、正常吸着と異常吸着（斜め吸着）とを判別する判別基準を設計開発者が設定するため、設計開発者の主観によって判別基準がばらついてしまい、その分、異常吸着の判別率が悪くなってしまう。
【０００７】
この課題を解決するために、本出願人は、特願２００６−１４９７９９号の明細書に示すように、予め、正常吸着の部品画像と異常吸着（斜め吸着）の部品画像をそれぞれ多数収集し、各部品画像から特徴量を抽出した後、それらの特徴量のデータの統計的な分布を判別分析法により評価して正常吸着と異常吸着とを判別するための判別基準を設定してメモリに記憶しておき、以後、電子部品実装機の稼働中に吸着ノズルに部品を吸着する毎に、前記カメラで撮像した部品画像から特徴量を抽出し、その特徴量から前記判別基準に従って当該部品の吸着姿勢が正常吸着か異常吸着かを判別する技術を開発した。
【０００８】
しかし、この判別分析法を用いた判別方法では、異常吸着の判別率が従来よりも向上するものの、まだ９３．１［％］にとどまっており、まだまだ異常吸着の判別率を改善する必要がある。
【０００９】
本発明はこのような事情を考慮してなされたものであり、従ってその目的は、電子部品実装機の吸着ノズルに吸着した部品の異常吸着を精度良く検出するシステムをソフトウエアの変更・追加のみで安価に構成できる部品吸着姿勢判別方法及び部品吸着姿勢判別システムを提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、請求項１，５に係る発明は、電子部品実装機の吸着ノズルに吸着した部品をカメラで撮像し、画像処理技術によって当該部品の吸着姿勢が正常吸着か異常吸着かを判別するものにおいて、予め収集した多数の正常吸着の部品画像データと異常吸着の部品画像データを教師データとしてニューラルネットワークで学習しておき、電子部品実装機の稼働中に前記カメラで撮像した部品の画像データを前記ニューラルネットワークに入力して、当該ニューラルネットワークの出力値に基づいて当該部品の吸着姿勢が正常吸着か異常吸着かを判別するようにしたものである。
【００１１】
このようにすれば、光センサ等の追加を必要とせず、現状の電子部品実装機に対してもソフトウエアの変更・追加のみで部品の異常吸着を検出するシステムを安価に構成できる。しかも、ニューラルネットワークによる学習効果によって部品の吸着姿勢が正常吸着か異常吸着かを精度良く判別することができ、異常吸着の判別率を判別分析法よりも高めることができる。
【００１２】
本発明で使用するニューラルネットワークは、出力層の数を１つとするシンプルな構成のものであっても良いが、判別精度を向上させるために、請求項２，６のように、ニューラルネットワークは、部品の吸着姿勢を複数のパターンに区分してそれぞれのパターンの教師データと入力データとの類似度に応じた数値を出力する複数の出力層を有するように構成し、各出力層の出力値を比較して正常吸着と異常吸着とを判別するようにしても良い。
【００１３】
本発明を研究する過程で、様々な異常吸着の画像を観察した結果、異常吸着のパターンは、図４〜図６に示すように、大別して３つのパターン（右斜め吸着による異常吸着、左斜め吸着による異常吸着、横吸着による異常吸着）に分類できることが判明した。従って、複数の出力層を設ける場合は、請求項３，７のように、部品の吸着姿勢を、正常吸着、右斜め吸着による異常吸着、左斜め吸着による異常吸着、横吸着による異常吸着の４つのパターンに区分して、それぞれのパターンの教師データと入力データとの類似度に応じた数値を出力する４つの出力層を設けるようにすると良い。このようにすれば、異常吸着をパターン毎に判別できるため、正常吸着のものを異常吸着と誤判定する頻度をほぼゼロとすることができて、異常吸着と誤判定することによる部品のロスや電子部品実装機の停止によるサイクルタイムロスをほぼ無くすことができる。
【００１４】
この場合、請求項４，８のように、複数の出力層の中から出力値が最大となる出力層を選択して正常吸着と異常吸着とを判別するようにすれば良い。例えば、出力値が最大となる出力層が正常吸着のグループに区分されるものであれば、正常吸着と判定し、出力値が最大となる出力層が異常吸着のグループに区分されるものであれば、異常吸着と判定すれば良い。
【発明を実施するための最良の形態】
【００１５】
以下、本発明を実施するための最良の形態を具体化した２つの実施例１，２を説明する。
【実施例１】
【００１６】
本発明の実施例１を図１乃至図１３に基づいて説明する。
まず、図１に基づいて電子部品実装機全体の概略構成を説明する。
Ｘ軸スライド１１は、Ｘ軸ボールねじ１２によってＸ軸方向（図１の左右方向）にスライド移動可能に設けられ、このＸ軸スライド１１に対して、Ｙ軸スライド１３がＹ軸ボールねじ１４によってＹ軸方向（図１の紙面垂直方向）にスライド移動可能に設けられている。
【００１７】
Ｙ軸スライド１３には、吸着ヘッド１５が設けられ、この吸着ヘッド１５に昇降可能に設けられた吸着ホルダ１６に吸着ノズル１７が下向きに取り付けられている。吸着ホルダ１６の下面には、吸着ノズル１７に吸着した部品１８の背景を明るくするためのバックライト１９が設けられている。
【００１８】
Ｘ軸スライド１１には、吸着ノズル１７に吸着した部品１８をその下面側から一対の反射鏡２０，２１を介して撮像するＣＣＤカメラ等のカメラ２２が下向きに設けられている。このカメラ２２で撮像した部品画像によって、吸着ノズル１７に対する部品１８の吸着位置のずれを補正するようにしている。
【００１９】
一方の反射鏡２０は、吸着ノズル１７に吸着した部品１８の下方に位置するように設けられ、この反射鏡２０の下方には、吸着ノズル１７に吸着した部品１８をその下面側から照明するためのフロントライト２３が設けられている。この反射鏡２０は、フロントライト２３の光を上方に透過させるようにハーフミラー処理が施されている。
【００２０】
この電子部品実装機の制御装置（図示せず）は、吸着ノズル１７に吸着した部品１８をその下面側からカメラ２２で撮像し、画像処理技術によって該部品１８の吸着姿勢が“正常吸着”か“異常吸着”かを判別する。以下、この吸着姿勢の判別方法を詳しく説明する。
【００２１】
本実施例１では、出力層の数を１とした３階層型ニューラルネットワークを用いて部品１８の吸着姿勢を次のようにして判別する。
図２に示すように、カメラ２２で撮像した画像中の部品の位置と角度を検出して、角度補正・位置補正を施し、部品部分のみを例えば３２×２４［画素］のサイズで切り出した８ｂｉｔグレースケール画像を部品画像データとして用いる。以下に説明する判別試験で教師データとテストデータとして使用した部品画像の一部が図３〜図６に示されている。
【００２２】
図３は正常吸着の画像例を示している。
図４は左斜め吸着の画像例を示している。左斜め吸着は、部品の左電極側面が見えている吸着状態であり、これも異常吸着の一種である。
図５は右斜め吸着の画像例を示している。右斜め吸着は、部品の右電極側面が見えている吸着状態であり、異常吸着の一種である。
【００２３】
図６は横吸着の画像例を示している。横吸着は、部品の本来の側面が下向きに見えている吸着状態であり、これも異常吸着の一種である。
本例で使用した異常吸着の画像は、従来の外形サイズによる検出方法では異常吸着を全く検出できなかったものばかりである。
【００２４】
図７に示すように、本例で使用した部品画像の枚数は、正常吸着画像が３６５７枚、異常吸着画像が６６４４枚（内訳は、左斜め吸着画像が３２６８枚、右斜め吸着画像が３３３２枚、横吸着画像が４４枚）、合計１０３０１枚である。これらの画像の中から、正常吸着画像を３７７枚、異常吸着画像を７５３枚（内訳は、左斜め吸着画像が３６８枚、右斜め吸着画像が３６２枚、横吸着画像が２３枚）だけ選択して、合計１１３０枚の画像を教師データとして用いる。残りの画像は、テストデータとしてニューラルネットワークの性能評価に用いる。
【００２５】
本実施例１では、図８に示す３階層型ニューラルネットワークを使用する。
この３階層型ニューラルネットワークは、入力層のニューロン数を３２×２４、中間層のニューロン数を１２８、出力層の数を１つとしている。出力層の出力値が“１．０”に近いほど“正常吸着”を示し、“０．０”に近いほど“異常吸着”を示している。
【００２６】
学習方法は、バックプロパゲーション法を用いた。学習に際して、ニューラルネットワークのパラメータを、学習係数α＝０．９、バイアス更新係数β＝０．７と設定した。シグモイド関数の傾きはＵ０＝５．０を用いた。
【００２７】
バックプロパゲーション法による学習は、図９の（ａ）に示すように、同じ教師データをＮ回繰り返して学習させた後、次の教師データを学習させる。また、学習を行う教師データの順序は、学習の度にランダムに入れ替える。本例では、繰り返し回数Ｎ＝１０とした。
【００２８】
それぞれの教師データを学習させる際には、図９の（ｂ）に示すように、画像を平行・回転移動させて誤差を加える。また、図９の（ｃ）に示すように、１つの教師データに対して、水平方向に反転した画像と、垂直方向に反転した画像と、水平・垂直方向に反転した画像も同時に学習させる。
【００２９】
以上説明した３階層型ニューラルネットワークによる教師データの学習は、電子部品実装機の制御装置によって図１０の学習プログラムに従って実行される。図１０の学習プログラムは、電子部品実装作業を行う前に実行される。本プログラムが起動されると、まずステップ１０１で、図３に示すような正常吸着の部品画像と図４、図５、図６に示すような異常吸着（左斜め吸着、右斜め吸着、横吸着）の部品画像をそれぞれ多数収集する。
【００３０】
この後、ステップ１０２に進み、画像中の部品の位置・角度を検出した後、ステップ１０３に進み、ｘｙ座標に合わせて、画像中の部品の位置・角度を修正して、ｘ軸とｙ軸を部品の縦横の中心線に一致させて、画像中の部品部分のみを３２×２４［画素］のサイズで切り出す。この際、ｘ軸を部品の長手方向に設定し、部品の両端部の電極がｙ軸に関して対称位置に位置するように角度補正・位置補正を施し、部品部分のみを切り出す。
【００３１】
そして、次のステップ１０４で、正常吸着画像と異常吸着画像の中からそれぞれ所定数の画像を選択して教師データを作成する。この後、ステップ１０５に進み、教師データを図８のニューラルネットワークに入力して正常吸着画像と異常吸着画像を学習する。
【００３２】
この後、ステップ１０６に進み、学習回数が所定回数以上になったか否かを判定し、学習回数が所定回数未満であれば、上記ステップ１０５に戻り、ニューラルネットワークの学習を繰り返す。これにより、学習回数が所定回数以上になるまで、ニューラルネットワークの学習を繰り返す。学習回数の繰り返し回数（所定回数）は、平均誤り率（図１２参照）を目標値以内に収めるのに必要な学習回数に設定すれば良い。
なお、この図１０の学習プログラムは、電子部品実装機の制御装置とは別のコンピュータで実行しても良い。
【００３３】
一方、図１１の部品吸着姿勢判別プログラムは、上記図１０の学習プログラムと共に特許請求の範囲でいう吸着姿勢判別手段としての役割を果たす。本プログラムは、電子部品実装機の稼働中に吸着ノズル１７に部品を吸着する毎に起動され、当該部品の吸着姿勢を次のようにして判別する。
【００３４】
本プログラムが起動されると、まずステップ２０１で、吸着ノズル１７に吸着した部品の画像をカメラ２２で撮像して取り込む。この後、ステップ２０２に進み、画像中の部品の位置・角度を検出した後、ステップ２０３に進み、ｘｙ座標に合わせて、画像中の部品の位置・角度を修正して、ｘ軸とｙ軸を部品の縦横の中心線に一致させて、画像中の部品部分のみを３２×２４［画素］のサイズで切り出す。この際、ｘ軸を部品の長手方向に設定し、部品の両端部の電極がｙ軸に関して対称位置に位置するように角度補正・位置補正を施し、部品部分のみを切り出す。
【００３５】
そして、次のステップ２０４で、切り出した画像データを教師データを図８のニューラルネットワークに入力して、次のステップ２０５で、ニューラルネットワークの出力層の出力値が判定閾値以上であるか否かで、部品の吸着姿勢が正常吸着か異常吸着かを判別する。出力層の出力値は、１．０に近いほど正常吸着を示し、０．０に近いほど異常吸着を示している。
【００３６】
本発明者は、上述した方法で、図７の教師データを用いてニューラルネットワークの学習を行い、図７のテストデ−タを用いて判別実験を行った。この判別実験で、各学習回数毎のニューラルネットワークを用いて平均誤り率の変化を測定した結果を図１２に示す。
【００３７】
この判別実験結果を調べると、学習回数が約１５００回を越えるあたりから安定して平均誤り率が０．５［％］程度に収まることが判明した。図１３に示すように、実際には正常吸着であるにも拘らず、異常吸着であると誤判定したものが２７例あり、逆に、異常吸着のものを正常吸着であると誤判定したものが１７例あった。
【００３８】
この判別実験での判別率は、次式で算出され、９９．５［％］という高い判別率が得られ、誤り率は０．５［％］であった。
判別率＝（３２５３＋５８７４）／（３２８０＋５８９１）×１００［％］
＝９９．５［％］
誤り率＝１００−９９．５［％］
＝０．５［％］
【００３９】
以上説明した本実施例１によれば、予め収集した多数の正常吸着の部品画像データと異常吸着の部品画像データを教師データとしてニューラルネットワークで学習しておき、電子部品実装機の稼働中にカメラ２２で撮像した部品の画像データをニューラルネットワークに入力して、当該ニューラルネットワークの出力値に基づいて当該部品の吸着姿勢が正常吸着か異常吸着かを判別するようにしたので、部品の吸着姿勢が正常吸着か異常吸着かを精度良く判別することができ、異常吸着の判別率を判別分析法よりも高めることができる。しかも、光センサ等の追加を必要とせず、現状の電子部品実装機に対してもソフトウエアの変更・追加のみで部品の異常吸着を検出するシステムを安価に構成できる利点がある。
【実施例２】
【００４０】
上記実施例１において、正常吸着のものを異常吸着と誤判別した画像を観察すると、それらの画像の中に、明らかに正常吸着であるものが含まれていることが判明した。逆に、異常吸着のものを正常吸着と誤判別した画像を観察すると、それらの画像の中に、明らかに異常吸着であるものが含まれていることが判明した。この原因は、異常吸着には何種類かのパターンがあるにも拘らず、それらをまとめて１つの“異常吸着”というパターンに分類しているため、ニューラルネットワーク内に少なからず混乱が生じてしまっているからではないかと推測される。
【００４１】
本発明を研究する過程で、様々な異常吸着の画像を観察した結果、異常吸着のパターンは、図４、図５、図６に示すように、大別して３つのパターン（右斜め吸着による異常吸着、左斜め吸着による異常吸着、横吸着による異常吸着）に分類できることが判明した。
【００４２】
そこで、本発明の実施例２では、図１４及び図１５に示すように、異常吸着のパターンを、右斜め吸着による異常吸着、左斜め吸着による異常吸着、横吸着による異常吸着の３つのパターンに区分し、それによって、部品の吸着姿勢を、正常吸着、右斜め吸着による異常吸着、左斜め吸着による異常吸着、横吸着による異常吸着の４つのパターンに区分して、それぞれのパターンの教師データと入力データとの類似度に応じた数値を出力する４つの出力層を設けるようにしている。
【００４３】
本実施例２では、図１４に示す３階層型ニューラルネットワークを使用し、入力層のニューロン数を３２×２４、中間層のニューロン数を１２８、出力層の数を４とすると共に、４つの出力層１〜４の中から出力値が最大となる出力層を選択して正常吸着と異常吸着とを判別する。
【００４４】
この場合、図１５に示すように、出力層１が正常吸着の教師データと入力データとの類似度に応じた数値を出力し、出力層２が左斜め吸着の教師データと入力データとの類似度に応じた数値を出力し、出力層３が右斜め吸着の教師データと入力データとの類似度に応じた数値を出力し、出力層４が横吸着の教師データと入力データとの類似度に応じた数値を出力する。学習方法はバックプロパゲーション法を用い、前記実施例１と同様の方法で学習した。
【００４５】
例えば、出力層１の出力値が他の出力層２〜４の出力値よりも大きければ、“正常吸着”と判定し、出力層２〜４のいずれかの出力値が出力層１の出力値よりも大きければ、“異常吸着”と判定する。これを具体例で説明すると、
出力層１（正常吸着）の出力値 ＝０．３
出力層２（左斜め吸着）の出力値＝０．８
出力層３（右斜め吸着）の出力値＝０．１
出力層４（横吸着）の出力値 ＝０．２
という出力が得られた場合、出力層２（左斜め吸着）の出力値（０．８）が最大であり、出力層２（左斜め吸着）の出力値（０．８）が出力層１（正常吸着）の出力値（０．３）よりも大きいため、“異常吸着”と判定される。
【００４６】
本実施例２においても、図７の教師データを用いてニューラルネットワークの学習を行い、図７のテストデ−タを用いて判別実験を行った。この判別実験で、各学習回数毎のニューラルネットワークを用いて平均誤り率の変化を測定した結果を図１６に示す。
【００４７】
この判別実験結果から、学習回数が約１２００回を越えるあたりから安定して平均誤り率が１．５［％］程度に収まることが判明した。図１７に示すように、実際には正常吸着であるにも拘らず、異常吸着であると誤判定したものは全くなかったが、異常吸着のものを正常吸着であると誤判定したものが１３４例あった。
【００４８】
この判別実験での判別率と誤り率は次式で算出される。
判別率＝（３２８０＋５７５７）／（３２８０＋５８９１）×１００［％］
＝９８．５［％］
誤り率＝１００−９８．５［％］
＝１．５［％］
【００４９】
出力層の数が１つのニューラルネットワークを用いた前記実施例１の場合、誤り率は、０．５［％］程度であったが、本実施例２では、ニューラルネットワークの出力層の数を４つに増やすことで、誤り率が１．５［％］程度に上昇した。しかしながら、正常吸着の画像を異常吸着であると誤判別する例が全く無くなった。
【００５０】
このように、本実施例２では、誤判別した画像は、全て異常吸着のものを正常吸着と誤判別したものばかりである。これらの誤判別画像を観察すると、誤判別画像の中には、その部品を回路基板に実装しても、実装精度上、実質的に問題のない吸着状態のものが多く含まれていることが判明した。従って、実質的な誤判別率はもっと低くなると思われる。よって、本実施例２のように、ニューラルネットワークの出力層の数を“正常吸着”、“左斜め吸着”、“右斜め吸着”、“横吸着”の４つに増やすことによって、性能のよい部品異常吸着判別器を構成できる。
【００５１】
ところで、正常吸着のものを異常吸着と誤判定すると、部品のロス及び電子部品実装機の停止によりサイクルタイムロスにつながるので、正常吸着のものを異常吸着と誤判定する頻度をできる限り低下させることが望ましい。これに対し、異常吸着のものを正常吸着と誤判別する例は、先述したように、実装上、実質的に問題にならない場合が多く含まれるため、明らかな誤判定でなければ許容できる。
【００５２】
本実施例２のように、異常吸着のパターンが大別して３つのパターンに区分されることを考慮して、ニューラルネットワークの出力層の数を４つに増やすことで、ニューラルネットワーク内部の矛盾が解消され、結果として、正常吸着のものを異常吸着と誤判別する例が無くなり、異常吸着と誤判定することによる部品のロスや電子部品実装機の停止によるサイクルタイムロスを無くすことができる。
【００５３】
人間が斜め吸着の画像を見た場合、画像中でどこか「異常である」と判定するに至る特徴的な部分があると考えられる。前記実施例１のように、出力層が１つのニューラルネットワークで構成した場合、異常吸着と判定する画像領域が非常に広範囲にわたるのではないかと推測される。
【００５４】
一方、本実施例２のように、出力層を４つにして異常吸着の判別パターンを増やした場合、左斜め吸着の場合は左側の電極部分の画像領域に対して反応し、逆に、右斜め吸着の場合は右側の電極部分の画像領域に対して反応し、横吸着の場合は、部品上下の画像領域に反応するといった具合に、問題をより簡単な問題の集合と考えることによって、より安定した判別器を構成することが可能となる。
【００５５】
前記実施例１のように、出力層が１つの場合は、右側電極部分、左側電極部分、部品上下領域を総合的に見て判定するので、正常吸着の場合でも、部品が少しずつ異なっていると、累積的に異常吸着と誤判別されることがあるのではないかと推測される。
【００５６】
なお、出力層の数は、１又は４に限定されず、それ以外の数であっても良い。
その他、本発明は、図１に示すような構成の電子部品実装機に限定されず、様々な構成の電子部品実装機に適用して実施できる。
【図面の簡単な説明】
【００５７】
【図１】本発明の実施例１，２で使用する電子部品実装機の構成を示す縦断面図である。
【図２】カメラで撮像した画像から３２×２４［画素］の部品画像を切り出す処理を説明する図である。
【図３】正常吸着の画像例を示す図である。
【図４】左斜め吸着の画像例を示す図である。
【図５】右斜め吸着の画像例を示す図である。
【図６】横吸着の画像例を示す図である。
【図７】正常吸着と正常吸着（左斜め吸着、右斜め吸着、横吸着）のそれぞれについて教師データの数とテストデータの数を示す図である。
【図８】実施例１の３階層型ニューラルネットワークの構造を概略的に示す図である。
【図９】ニューラルネットワークの学習方法を説明する図である。
【図１０】学習プログラムの処理の流れを示すフローチャートである。
【図１１】部品吸着姿勢判別プログラムの処理の流れを示すフローチャートである。
【図１２】実施例１において、各学習回数毎のニューラルネットワークを用いて平均誤り率の変化を測定した結果を示す図である。
【図１３】実施例１のニューラルネットワークによる判別実験結果を示す図である。
【図１４】実施例２の３階層型ニューラルネットワークの構造を概略的に示す図である。
【図１５】実施例２の３階層型ニューラルネットワークの出力層１〜４の理想的な出力値を示す図である。
【図１６】実施例２において、各学習回数毎のニューラルネットワークを用いて平均誤り率の変化を測定した結果を示す図である。
【図１７】実施例２のニューラルネットワークによる判別実験結果を示す図である。
【図１８】従来の部品吸着姿勢識別システムの構成を説明する図であり、（ａ）は正常吸着を説明する図、（ｂ）は斜め吸着を説明する図である。
【符号の説明】
【００５８】
１１…Ｘ軸スライド、１３…Ｙ軸スライド、１７…吸着ノズル、１８…部品、１９…バックライト、２０，２１…反射鏡、２２…カメラ、２３フロントライト
【特許請求の範囲】
【請求項１】
電子部品実装機の吸着ノズルに吸着した部品をカメラで撮像し、画像処理技術によって当該部品の吸着姿勢が正常吸着か異常吸着かを判別する部品吸着姿勢判別方法において、 予め収集した多数の正常吸着の部品画像データと異常吸着の部品画像データを教師データとしてニューラルネットワークで学習しておき、電子部品実装機の稼働中に前記カメラで撮像した部品の画像データを前記ニューラルネットワークに入力して、当該ニューラルネットワークの出力値に基づいて当該部品の吸着姿勢が正常吸着か異常吸着かを判別することを特徴とする部品吸着姿勢判別方法。
【請求項２】
前記ニューラルネットワークは、部品の吸着姿勢を複数のパターンに区分してそれぞれのパターンの教師データと入力データとの類似度に応じた数値を出力する複数の出力層を有するように構成し、各出力層の出力値を比較して正常吸着と異常吸着とを判別することを特徴とする請求項１に記載の部品吸着姿勢判別方法。
【請求項３】
前記ニューラルネットワークは、部品の吸着姿勢を、正常吸着、右斜め吸着による異常吸着、左斜め吸着による異常吸着、横吸着による異常吸着の４つのパターンに区分して、それぞれのパターンの教師データと入力データとの類似度に応じた数値を出力する４つの出力層を有することを特徴とする請求項２に記載の部品吸着姿勢判別方法。
【請求項４】
前記複数の出力層の中から出力値が最大となる出力層を選択して正常吸着と異常吸着とを判別することを特徴とする請求項２又は３に部品吸着姿勢判別方法。
【請求項５】
電子部品実装機の吸着ノズルに吸着した部品を撮像するカメラと、このカメラで撮像した部品の画像データを画像処理して当該部品の吸着姿勢が正常吸着か異常吸着かを判別する吸着姿勢判別手段とを備えた部品吸着姿勢判別システムにおいて、
前記吸着姿勢判別手段は、予め収集した多数の正常吸着の部品画像データと異常吸着の部品画像データを教師データとしてニューラルネットワークで学習しておき、電子部品実装機の稼働中に前記カメラで撮像した部品の画像データを前記ニューラルネットワークに入力して、当該ニューラルネットワークの出力値に基づいて当該部品の吸着姿勢が正常吸着か異常吸着かを判別することを特徴とする部品吸着姿勢判別システム。
【請求項６】
前記ニューラルネットワークは、部品の吸着姿勢を複数のパターンに区分してそれぞれのパターンの教師データと入力データとの類似度に応じた数値を出力する複数の出力層を有するように構成し、各出力層の出力値を比較して正常吸着と異常吸着とを判別することを特徴とする請求項５に記載の部品吸着姿勢判別システム。
【請求項７】
前記ニューラルネットワークは、部品の吸着姿勢を、正常吸着、右斜め吸着による異常吸着、左斜め吸着による異常吸着、横吸着による異常吸着の４つのパターンに区分して、それぞれのパターンの教師データと入力データとの類似度に応じた数値を出力する４つの出力層を有することを特徴とする請求項６に記載の部品吸着姿勢判別システム。
【請求項８】
前記複数の出力層の中から出力値が最大となる出力層を選択して正常吸着と異常吸着とを判別することを特徴とする請求項６又は７に記載の部品吸着姿勢判別システム。
【請求項１】
電子部品実装機の吸着ノズルに吸着した部品をカメラで撮像し、画像処理技術によって当該部品の吸着姿勢が正常吸着か異常吸着かを判別する部品吸着姿勢判別方法において、 予め収集した多数の正常吸着の部品画像データと異常吸着の部品画像データを教師データとしてニューラルネットワークで学習しておき、電子部品実装機の稼働中に前記カメラで撮像した部品の画像データを前記ニューラルネットワークに入力して、当該ニューラルネットワークの出力値に基づいて当該部品の吸着姿勢が正常吸着か異常吸着かを判別することを特徴とする部品吸着姿勢判別方法。
【請求項２】
前記ニューラルネットワークは、部品の吸着姿勢を複数のパターンに区分してそれぞれのパターンの教師データと入力データとの類似度に応じた数値を出力する複数の出力層を有するように構成し、各出力層の出力値を比較して正常吸着と異常吸着とを判別することを特徴とする請求項１に記載の部品吸着姿勢判別方法。
【請求項３】
前記ニューラルネットワークは、部品の吸着姿勢を、正常吸着、右斜め吸着による異常吸着、左斜め吸着による異常吸着、横吸着による異常吸着の４つのパターンに区分して、それぞれのパターンの教師データと入力データとの類似度に応じた数値を出力する４つの出力層を有することを特徴とする請求項２に記載の部品吸着姿勢判別方法。
【請求項４】
前記複数の出力層の中から出力値が最大となる出力層を選択して正常吸着と異常吸着とを判別することを特徴とする請求項２又は３に部品吸着姿勢判別方法。
【請求項５】
電子部品実装機の吸着ノズルに吸着した部品を撮像するカメラと、このカメラで撮像した部品の画像データを画像処理して当該部品の吸着姿勢が正常吸着か異常吸着かを判別する吸着姿勢判別手段とを備えた部品吸着姿勢判別システムにおいて、
前記吸着姿勢判別手段は、予め収集した多数の正常吸着の部品画像データと異常吸着の部品画像データを教師データとしてニューラルネットワークで学習しておき、電子部品実装機の稼働中に前記カメラで撮像した部品の画像データを前記ニューラルネットワークに入力して、当該ニューラルネットワークの出力値に基づいて当該部品の吸着姿勢が正常吸着か異常吸着かを判別することを特徴とする部品吸着姿勢判別システム。
【請求項６】
前記ニューラルネットワークは、部品の吸着姿勢を複数のパターンに区分してそれぞれのパターンの教師データと入力データとの類似度に応じた数値を出力する複数の出力層を有するように構成し、各出力層の出力値を比較して正常吸着と異常吸着とを判別することを特徴とする請求項５に記載の部品吸着姿勢判別システム。
【請求項７】
前記ニューラルネットワークは、部品の吸着姿勢を、正常吸着、右斜め吸着による異常吸着、左斜め吸着による異常吸着、横吸着による異常吸着の４つのパターンに区分して、それぞれのパターンの教師データと入力データとの類似度に応じた数値を出力する４つの出力層を有することを特徴とする請求項６に記載の部品吸着姿勢判別システム。
【請求項８】
前記複数の出力層の中から出力値が最大となる出力層を選択して正常吸着と異常吸着とを判別することを特徴とする請求項６又は７に記載の部品吸着姿勢判別システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２００８−１３０８６５（Ｐ２００８−１３０８６５Ａ）
【公開日】平成２０年６月５日（２００８．６．５）
【国際特許分類】
【出願番号】特願２００６−３１５１０２（Ｐ２００６−３１５１０２）
【出願日】平成１８年１１月２２日（２００６．１１．２２）
【出願人】（０００２３７２７１）富士機械製造株式会社 (775)
【出願人】（３０４０２１２７７）国立大学法人 名古屋工業大学 (784)
【Ｆターム（参考）】
【公開日】平成２０年６月５日（２００８．６．５）
【国際特許分類】
【出願日】平成１８年１１月２２日（２００６．１１．２２）
【出願人】（０００２３７２７１）富士機械製造株式会社 (775)
【出願人】（３０４０２１２７７）国立大学法人 名古屋工業大学 (784)
【Ｆターム（参考）】
[ Back to top ]