画像処理装置
【課題】予め想定された範囲外の要因が生じた場合でもパラメータの適正化を図ることができる。
【解決手段】テンプレートデータを用いてサーチ画像から対象物を認識するテンプレートマッチング処理を行う画像処理装置１９において、テンプレートマッチング処理を行うためのパラメータを記憶するパラメータ記憶部１４と、テンプレートマッチング処理における基準性能値を記憶する性能記憶部３９と、テンプレートマッチング処理が終わるとその性能値を計測する性能値計測部４３とを備え、性能値計測部で計測された性能値が基準性能値を下回る場合に、テンプレートマッチング処理のパラメータを調整する調整部３８を備えている。
【解決手段】テンプレートデータを用いてサーチ画像から対象物を認識するテンプレートマッチング処理を行う画像処理装置１９において、テンプレートマッチング処理を行うためのパラメータを記憶するパラメータ記憶部１４と、テンプレートマッチング処理における基準性能値を記憶する性能記憶部３９と、テンプレートマッチング処理が終わるとその性能値を計測する性能値計測部４３とを備え、性能値計測部で計測された性能値が基準性能値を下回る場合に、テンプレートマッチング処理のパラメータを調整する調整部３８を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パターンマッチング処理により画像認識を行う画像処理装置に関するものである。
【背景技術】
【０００２】
基板マークや電子部品の位置決め手法の一つとして、パターンマッチングがある。パターンマッチングとは、対象物の特徴をテンプレートとして、あらかじめ登録しておき、別途撮像した画像から探し出すものである。マッチングを行うデータとして、濃度値を用いる濃度ベースのマッチング方法や、エッジ勾配ベクトルの向きを用いる、形状ベースのマッチング方法などがある。
例えば、形状ベースのマッチング方法の場合、エッジ検出のパラメータの設定の違いでエッジ線の形状が微妙に変わり、位置決めの精度やタクト、ロバスト性等の特性が変わる。
【０００３】
ところが、これらの特性は、対象物毎に要求特性も調整レベルも異なり、このような微妙なパラメータ調整は、従来、ユーザが使用環境に合わせて調整しなければならなかった。従来装置では、エッジ検出に係わるパラメータ、例えば最小濃度値、最小エッジ強さ、フィルタサイズ等について数値入力機能を設けたり、エッジの有効／無効をウインドウで囲んで指定したりする等、ユーザが対話形式で調整できる仕組みを設けていた。
また、位置認識処理を行う際の処理性能に係る評価を行い、評価値の最も高いテンプレート候補を実際のテンプレートとして決定するなど、テンプレートデータを自動的に作成するものもある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４４７０５０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記のようなパターンマッチングの手法を部品実装装置に適用した場合、部品ロットの切り替わりで部品の材質や色等が変わったり、製造誤差による微妙なサイズ変動等でティーチング時のテンプレートデータとの差異が生じたりすることで、微妙に位置決め精度が悪化したりタクトタイムが延びたりする等の問題が発生する場合がある。
【０００６】
このような問題に対し、本出願の発明者は、テンプレート作成時に想定でき得る変動範囲をあらかじめ与えることで、最適パラメータを取得し、簡単に、安定した認識が可能となるマッチングパラメータの調整方法を、既に特許出願（特願2010-214484号）にて提案している。
【０００７】
しかしながら、この特許出願の手法は、変動分布の中央値を固定し、その両側のマージンを拡げることで対応しようとする方式であり、必ずしもすべての変動範囲についてカバーできるパラメータが求まるとは限らない。
例えば、部品実装装置においてパターンマッチングの対象となる基板上のマークは、図１２（Ａ）及び（Ｂ）に示すように、ロットが変わると直径で１０％の変動を生じる場合もある。
即ち、従来手法では、例えば、パターンマッチングの対象物について、材質、色、サイズが、ロットの切り替わり等で、変動分布の中央値がずれてしまい、想定外の変動範囲になる、また、経時変化により撮像条件が徐々に変動し、例えば、画像の濃度分布全体が徐々に上下し、ある時点から想定外の変動範囲になるといった、テンプレート作成時に想定していた変動範囲が拡がる、分布全体が移動するなどして、テンプレートデータと差異が生じることが原因で生じるエラー、精度悪化、タクト増大の問題が発生し、対応が不十分であった。
【０００８】
本発明は、生産中に必要に応じて、精度やタクトをチェックし、テンプレートデータの調整の必要を判断、自動的に調整し、認識処理の性能を最善な状態に保つための画像処理装置を提供する。
【課題を解決するための手段】
【０００９】
本願発明は、テンプレートデータを用いてサーチ画像から対象物を認識するテンプレートマッチング処理を行う画像処理装置において、前記テンプレートマッチング処理を行うためのパラメータを記憶するパラメータ記憶部と、前記テンプレートマッチング処理における基準性能値を記憶する性能記憶部と、前記テンプレートマッチング処理が終わるとその性能値を計測する性能値計測部とを備え、前記性能値計測部で計測された性能値が前記基準性能値を下回る場合に、前記テンプレートマッチング処理のパラメータを調整する調整部を備えることを特徴とする。
【００１０】
また、本願発明は、前記サーチ画像から画像上の特徴量を計測する特徴量計測部と、前記画像上の特徴量について、毎回の計測による履歴を記録する特徴量記録部と、前記画像上の特徴量の履歴から過去の複数の特徴量の平均値を求める平均処理部と、直近の画像上の特徴量と過去の複数の特徴量との比較によって、前記直近の画像上の特徴量の異常の発生を検出する監視部と備え、前記調整部は、前記監視部が異常を検出した場合に、前記テンプレートマッチング処理のパラメータを調整する構成としても良い。
【００１１】
また、本願発明は、前記特徴量とその履歴とにより、当該特徴量の変化の度合いを判定し、当該特徴量の変化の度合いが所定の値よりも大きな場合に、撮像条件の変化が原因であるものとして、警告を行う警告部を備える構成としても良い。
【００１２】
また、本願発明は、上記の構成に加えて、前記テンプレートマッチング処理により求められるテンプレートとサーチ画像との相関値の履歴を記録する相関値記録部と、前記相関値の履歴からその異常を検知する相関値監視部と、前記調整部は、前記相関値監視部が異常を検出した場合に、前記テンプレートマッチング処理のパラメータを調整する構成としても良い。
【００１３】
また、本願発明は、上記の構成に加えて、前記テンプレートデータは、少なくとも、テンプレートマッチング処理を行う対象物を特定する識別情報と、テンプレートマッチング処理のパラメータとを記憶し、前記テンプレートデータを少なくとも一以上記憶保持可能なデータ登録部と、外部から新たに入力されたテンプレートデータの識別情報が示す対象物と同一の対象物用のテンプレートデータが前記データ登録部に登録されている場合に、前記データ登録部に登録されているテンプレートデータのパラメータを、前記新たに入力されたテンプレートデータにコピーするパラメータ管理部とを備える構成としても良い。
【発明の効果】
【００１４】
本願発明では、テンプレートマッチング処理が終わると性能値計測部がその性能値を計測し、性能値が基準性能値を下回ると調整部がテンプレートマッチング処理のパラメータを調整するので、画像認識の対象物に何らかの変化が生じたり、画像認識の対象物ごとに個体差がある場合、その他、想定範囲を超える変化がある場合でも、これに伴う画像認識性能値の低下により、前述の変化を検知することができ、当該変化に対応するパラメータの適正化を図ることが可能となる。
従って、従来のように、ある固定した中央値に対して想定されたマージンの範囲内でのみ適正な画像認識を実現する場合と異なり、広い範囲に柔軟に対応して画像認識を行うことが可能となる。
【００１５】
また、本発明において、特徴量計測部と特徴量記録部と平均処理部と監視部とを備え、監視部により画像上の特徴量に基づく異常の発生が検出された場合にテンプレートマッチング処理のパラメータを調整する構成とした場合には、画像認識の性能の低下を生じる前の段階でテンプレートマッチング処理によるパラメータを修正することでき、画像認識の性能の低下を予防し、常に、高い性能で画像認識を実現することが可能となる。
また、この発明では、個々の数値のバラツキを抑えつつ標準的な画像上の特徴量を求め、直近の特徴量と比較することで特徴量の異常の発生をより適正に求めることが可能となる。
【００１６】
また、本願発明において、撮像条件の変化による特徴量に変化が生じた場合に、パターンマッチング処理のパラメータを調整せずに警告部により警告する場合には、必要性の低い場合にパラメータの調整を行うことを回避でき、画像認識作業の効率化を図ることが可能となる。
【００１７】
また、本発明において、相関値の履歴からその異常が検知されると、調整部がテンプレートマッチング処理のパラメータを調整する構成とした場合にも、画像認識の性能の低下を生じる前の段階でテンプレートマッチング処理によるパラメータを修正することで、常に、高い性能で画像認識を実現することが可能となる。
【００１８】
また、本発明において、データ登録部に登録されているテンプレートデータのパラメータを新たに入力されたテンプレートデータにコピーするパラメータ管理部を備える構成として場合には、既に調整済みのパラメータを、対象物を等しくする新たなテンプレートデータに移すことができ、パラメータの再調整の処理を低減し、処理負担の軽減を図ることが可能となる。
よって、テンプレートデータとの差異で生じるエラー発生を低減し、精度悪化、タクトタイム増大を防止することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本実施の形態に係る電子部品実装装置の全体を示す平面図である。
【図２】電子部品実装装置の制御系を示すブロック図である。
【図３】画像処理装置内のタスク構成とデータフローを示す図である。
【図４】テンプレートデータの構成を示す図である。
【図５】テンプレートデータの作成処理を示すフローチャートである。
【図６】画像認識処理を示すフローチャートである。
【図７】画像データの監視の処理のフローチャートである。
【図８】マシン制御装置からの画像認識性能の再確認の要求の処理を示すフローチャートである。
【図９】テンプレート調整処理を示すフローチャートである。
【図１０】テンプレートデータ格納メモリ上でのテンプレートデータのキャッシュ管理を示す説明図である。
【図１１】複数台の電子部品実装装置からなるラインの管理システムを示す構成図である。
【図１２】図１２（Ａ）及び（Ｂ）はロットの変化により基板マークの大きさの変動が生じることを示す説明図である。
【発明を実施するための形態】
【００２０】
［発明の実施形態の全体構成］
本発明の実施形態について、図１乃至図１１に基づいて説明する。本実施形態は、撮像画像内で探索対象物である電子部品Ｃを探索するための画像処理装置１９が電子部品実装装置１００に搭載され、電子部品Ｃを実装するための基板Ｋに付された基板マークの位置認識を行うために利用され、また、後述する吸着ノズルに吸着された電子部品Ｃの位置認識を行う目的に利用される場合の例を示している。
【００２１】
［電子部品実装装置］
図１は電子部品実装装置１００の平面図、図２はその制御系を示すブロック図である。電子部品実装装置１００は、基板Ｋに各種の電子部品Ｃの搭載を行うものであって、電子部品Ｃの搭載手段として、図１に示すように、搭載される電子部品Ｃを供給する複数の電子部品フィーダ１０１と、電子部品フィーダ１０１を複数並べて保持する電子部品供給部としてのフィーダバンク１０２と、一定方向に基板Ｋを搬送する基板搬送手段１０３と、当該基板搬送手段１０３による基板搬送経路の途中に設けられた基板Ｋに対する電子部品搭載作業を行うための搭載作業部１０４と、電子部品Ｃを吸着する吸着ノズル１を保持して電子部品Ｃの保持を行う部品保持手段としてのヘッド１０６と、ヘッド１０６を所定範囲内の任意の位置に駆動搬送するヘッド移動手段としてのＸ−Ｙガントリ１０７と、吸着ノズル１に吸着された電子部品Ｃの撮像を行う部品用カメラ６と、搭載作業部１０４の基板Ｋに付された基板マークの撮像を行う基板用カメラ５と、部品用カメラ６による撮像位置に照明光を照射する照明装置３と、基板用カメラ５による撮像位置に照明光を照射する照明装置４と、電子部品実装装置１００の各構成に対して制御を行うマシン制御装置１５と、マシン制御装置１５に対して作業者による各種の設定の入力及びコマンドの入力を行うためのマンマシンインターフェイス１６と、カメラ５又は６の撮像画像から探索対象となる電子部品Ｃ又は基板マークの位置認識処理を実行する画像処理装置１９とを備えている。
画像処理装置１９は、カメラ５又は６による基板マーク又は電子部品Ｃの撮像画像からこれらの正確な位置情報を求め、マシン制御装置１５に出力することでヘッド１０６の位置決め動作に反映させるために利用される。
カメラ５及び６はいずれもＣＣＤカメラ又はＣＭＯＳカメラであり、部品用カメラ６は定位置において下方から吸着ノズル１に吸着された電子部品Ｃを撮像し、基板用カメラ５はヘッド１０６に搭載されて上方から搭載作業部１０４に搬送された基板Ｋの基板マークを撮像する。
【００２２】
以下の説明では、主に基板用カメラ５により基板マークが撮像される場合を例として説明を行うが、撮像対象は基板マークに限定されるものではなく、電子部品Ｃの撮像時にも後述する構成及び処理が適用可能であることは言うまでもない。
また、以下の説明において、水平面に沿って互いに直交する一の方向をＸ軸方向とし、他の方向をＹ軸方向とし、垂直上下方向をＺ軸方向と称することとする。
【００２３】
基板搬送手段１０３は、図示しない搬送ベルトを備えており、その搬送ベルトにより基板をＸ軸方向に沿って搬送する。
また、前述したように、基板搬送手段１０３による基板搬送経路の途中には、電子部品を基板Ｋへ搭載する搭載作業部１０４が設けられている。基板搬送手段１０３は、搭載作業部１０４まで基板Ｋを搬送すると共に停止して、図示しない保持機構により基板Ｋの保持を行う。つまり、基板Ｋは保持機構により保持された状態で安定した電子部品Ｃの搭載作業が行われる。
【００２４】
ヘッド１０６は、その先端部で空気吸引により電子部品Ｃを保持する吸着ノズル１と、この吸着ノズル１をＺ軸方向に駆動する駆動源であるＺ軸モータ１１１と、吸着ノズル１を介して保持された電子部品ＣをＺ軸方向を中心として回転駆動させる回転駆動源であるθ軸モータ１１２とが設けられている。
また、吸着ノズル１は負圧発生装置１０８に接続され、当該吸着ノズル１の先端部において吸気吸引を行うことにより電子部品Ｃの吸着及び保持が行われる。
つまり、これらの構造により、搭載作業時には、吸着ノズル１の先端部で所定の電子部品フィーダ１０１から電子部品Ｃを吸着し、所定位置で基板に向かって吸着ノズル１を下降させると共に吸着ノズル１を回転させて電子部品Ｃの向きの調整を行いつつ搭載作業が行われる。
また、前述した各カメラ５，６は、ベースフレーム１１４に固定支持されている。
【００２５】
Ｘ−Ｙガントリ１０７は、Ｘ軸方向にヘッド１０６の移動を案内するＸ軸ガイドレール１０７ａと、このＸ軸ガイドレール１０７ａと共にヘッド１０６をＹ軸方向に案内する二本のＹ軸ガイドレール１０７ｂと、Ｘ軸方向に沿ってヘッド１０６を移動させる駆動源であるＸ軸モータ１０９と、Ｘ軸ガイドレール１０７ａを介してヘッド１０６をＹ軸方向に移動させる駆動源であるＹ軸モータ１１０とを備えている。そして、各モータ１０９，１１０の駆動により、ヘッド１０６を二本のＹ軸ガイドレール１０７ｂの間となる領域のほぼ全体に搬送することを可能としている。
なお、各モータは、ぞれぞれの回転量がマシン制御装置１５に認識され、所望の回転量となるように制御されることにより、ヘッド１０６を介して吸着ノズル１の位置決めを行っている。
また、電子部品Ｃの実装作業の必要上、前記したフィーダバンク１０２，搭載作業部１０４とはいずれもＸ−Ｙガントリ１０７によるヘッド１０６の搬送可能領域内に配置されている。
【００２６】
フィーダバンク１０２には、複数の電子部品フィーダ１０１がＸ軸方向に沿って羅列して載置装備される。
各電子部品フィーダ１０１は、後端部に電子部品Ｃが一列に並んで封止された部品テープのリール（図示略）が保持されており、部品テープはリールから電子部品フィーダ１０１の先端部（基板側の端部）の上側に設けられた部品受け渡し位置１０１ａまで繰り出され、当該部品受け渡し位置１０１ａにおいて吸着ノズル１により電子部品Ｃの吸着が行われるようになっている。
【００２７】
マシン制御装置１５は、基板Ｋに搭載する電子部品Ｃのリスト、搭載順番、各電子部品Ｃの部品吸着位置（いずれの電子部品フィーダ１０１から受け取るか）及び基板Ｋにおける搭載位置等が定められた搭載プログラムを記録し、当該搭載プログラムに従ってＸ軸モータ１０９、Ｙ軸モータ１１０及びＺ軸モータ１１１を制御し、ヘッド１０６の位置決め制御を行う。また、このマシン制御装置１５は、吸着時の電子部品Ｃに対してθ軸モータ１１２を駆動して吸着ノズル１を回転させて角度修正制御を行い、Ｘ軸モータ１０９及びＹ軸モータ１１０により位置修正制御を行う。
かかるマシン制御装置１５は、搭載作業部１０４に基板Ｋが搬送されると基板用カメラ５によりその基板マークを撮像する。また、電子部品Ｃの吸着ノズル１による吸着時に部品用カメラ６による撮像を行う。そして、これらの撮像画像により、画像処理装置１９は基板Ｋ及び電子部品Ｃの正確な位置や向きを求め、これらの情報に基づいて電子部品Ｃの位置や角度を修正して実装作業を行うようになっている。
【００２８】
［画像処理装置］
画像処理装置１９は、各カメラ５，６及びその照明装置３，４と画像処理装置全体を制御する制御部１２と、各カメラ５，６の画像信号をデジタル化するＡ／Ｄコンバータ８と、デジタル化された多値化画像データ（以下、単に「画像データ」とする）を記憶する画像メモリ９と、画像データに基づいて基板マーク又は電子部品Ｃの位置認識を行うための画像処理を実行する演算部１１と、画像処理やその他の処理において作業領域となる作業用メモリ１０と、画像処理装置１９の制御部１２がマシン制御装置１５とのデータ通信を行うインターフェイス１３と、過去に使用して調整が必要であったテンプレートデータをキャシングしておくフラッシュメモリからなるパラメータ記憶部としてのテンプレートデータ格納メモリ１４と、各種のデータをアナログ化してモニタ１７に出力するＤ／Ａコンバータ１８とを備えている。
【００２９】
上記の構成において、画像処理装置１９とマシン制御装置１５はインターフェイス１３を介して接続され、マシン制御装置１５からの処理要求がコマンドとして、画像処理装置１９に送信され、画像処理装置１９での処理結果がレスポンスとして、マシン制御装置１５に返信される。
【００３０】
［電子部品実装装置における基板マークの位置認識］
上記構成からなる電子部品実装装置１００による基板マークを画像認識動作について説明する。
マシン制御装置１５は、ヘッド１０６に搭載された基板用カメラ５及び照明装置４が対象となる基板マークの上に位置するようにヘッド１０６を移動位置決めし、照明装置４を点灯させる。
そして、マシン制御装置１５は、インターフェイス１３を介して、画像処理装置１９に対して、いずれのカメラ５，６を使用するかを特定するカメラチャネル情報と撮像指示及び基板マークの位置認識指示の入力を行う。
基板マークの位置認識には、当該基板マークのテンプレートデータが必要であるため、実装作業を行う前に、テンプレートデータはインターフェイス１３を通じてマシン制御装置１５から画像処理装置１９に送信されている。
マシン制御装置１５から送信される、既に作成済みのテンプレートデータは、まず、作成時にその撮像環境に合わせて必ず１回はパラメータの調整がされている。さらに、過去の生産動作において、既に何度か調整されている場合もある。これら調整履歴は、テンプレートデータのテンプレート属性情報（図４−２０a）に記録されている。
なお、基板マークの位置認識を行うために、テンプレートデータに限らず、基板マークの形状とサイズの寸法データのみを、予め、マシン制御装置１５から画像処理装置１９に送信し、画像処理装置１９において、寸法データからテンプレートデータを生成しておくことも可能である。
【００３１】
マシン制御装置１５から撮像指示と位置認識指示が入力されると、画像処理装置１９は、基板用カメラ５を制御して基板マークの撮像を行い、Ａ／Ｄコンバータ８でデジタル化し、画像メモリ９に多値画像データとして記憶する。
そして、画像処理装置１９は、演算部１１及び制御部１２を用いて基板マークの位置認識に要する各種の処理を実行し、その過程で生成させる処理データは、作業用メモリ１０に記憶される。
そして、画像処理装置１９は、基板マークの位置認識の処理結果を、レスポンスとしてインターフェイス１３を介してマシン制御装置１５に返信すると共に、処理結果や撮像画像データをＤ／Ａコンバータ１８でアナログ化してモニタ１７に表示する制御を行う。
【００３２】
［電子部品実装装置における電子部品の位置認識］
電子部品Ｃの位置認識の場合には、マシン制御装置１５は、吸着ノズル１により電子部品Ｃをピックアップし、ヘッド１０６を部品用カメラ６上に移動位置決めし、照明装置３を点灯させる。
そして、マシン制御装置１５は、インターフェイス１３を介して、画像処理装置１９に対して、いずれのカメラ５，６を使用するかを特定するカメラチャネル情報と撮像指示及び電子部品Ｃの位置認識指示の入力を行う。
電子部品Ｃの位置認識の場合にも電子部品Ｃの外形を示すテンプレートデータが必要であるため、実装作業を行う前に、当該テンプレートデータはインターフェイス１３を通じてマシン制御装置１５から画像処理装置１９に送信されている。
そして、画像処理装置１９は、部品用カメラ６により電子部品Ｃを撮像してその多値画像データを画像メモリ９に格納し、演算部１１及び制御部１２を用いて基板マークの位置認識に要する各種の処理を実行し、電子部品の位置認識の処理結果を、レスポンスとしてマシン制御装置１５に返信する。また、この場合も、処理結果や撮像画像データをモニタ１７に表示する。
マシン制御装置１５は、上記電子部品の位置認識処理によって正常に位置認識結果を受け取ると、ヘッド１０６を通じて吸着ノズル１を電子部品Ｃの目標搭載位置に移動位置決めし、位置認識結果に従って、吸着ノズル１に対する電子部品Ｃの吸着ずれ（部品中心と吸着中心間のずれ及び吸着角度ずれ）を各モータ１０９，１１０，１１２の制御により補正し、電子部品Ｃを基板上に搭載する。
【００３３】
［画像認識性能の再確認のタイミングの取得方法］
この画像処理装置１９は、上述の基板マークの位置認識又は電子部品Ｃの位置認識における一連の処理において、「画像認識毎の相関値の変移」及び「画像データ特徴量の変移」について監視を行うことで、画像認識（位置認識）性能（精度・タクト）の低下を検知し、その再計測のタイミングを検知することを可能としている。
この画像認識性能の低下は、基板マークや電子部品Ｃのテンプレートデータのテンプレートパラメータにおける調整(調整部)の必要性を示すものである。
【００３４】
まず、「画像認識毎の相関値の変移」について説明する。
画像処理装置１９では、基板マーク又は電子部品Ｃの位置認識のためにテンプレートマッチング処理を行った時の毎回のマッチング時の相関値を対象物毎に履歴として記録管理するために、作業用メモリ１０に設けられたリングバッファに相関値の履歴を記録している。そして、毎回の相関値の変化を監視することにより、相関値の低下を検知することができる。
かかるテンプレートマッチングの処理においては、相関値について許容される下限値をエラー判定用の閾値として予め設定しているが、エラー判定とならないまでも、相関値がティーチング時のベストな値より低下しているのであれば、性能低下の兆候と考えることができる。
【００３５】
次に、「画像データ特徴量の変移」の監視について説明する。
画像処理装置１９は、認識結果をマシン制御装置１５に送信した後、次の認識処理までの空き時間を利用して、画像メモリ９に記録されている、直前に撮像した画像データの特徴を示すヒストグラムやライトマップ等の計測処理を行う。
ヒストグラムは画像データの各画素の濃度値の分布を示すものであり、ライトマップは画像内の任意の線上の濃度値の変化を示す。
画像処理装置１９では、毎回の位置認識のサーチ画像のヒストグラムとライトマップ（これらを「画像データ特徴量」とする）のデータを作業用メモリ１０内の後述するステータス管理ブロック３９に記憶して履歴管理を行っている。
そして、直前の撮像までの画像データ特徴量の計測データについて、平均化等により基準データを作成し、当該基準データと直前の撮像における画像データ特徴量とを比較して画像データの評価を行う。そして、この評価の結果、画像データ特徴量の変移が検知されると、画像処理装置１９は、画像認識性能（精度・タクト）の再確認が必要であることを認識する。
なお、この画像データ特徴量の計測データの平均化と、直前の画像データ特徴量との比較評価は、後述する画像データ監視部４９により行われる処理である。即ち、この画像データ監視部４９は、平均処理部及び監視部として機能するものである。
【００３６】
また、「画像認識毎の相関値の変移」及び「画像データ特徴量の変移」の検知以外にも、画像処理装置１９は、マシン制御装置１５からの通知によって、画像認識性能の再確認のタイミングを得ることが可能となっている。例えば、マシン制御装置１５はロットの切り替わりを検知すると、画像認識装置１９に対して画像認識性能の再確認の要求通知を行い、これに対して、画像認識装置１９は、画像認識性能の再確認を行って、必要であればテンプレートの調整を行う。
【００３７】
［タスク構成］
図３に画像処理装置１９内のタスク構成とデータフローを示す。
画像処理装置１９は、基板マーク及び電子部品Ｃの位置認識のための画像認識と、画像認識性能の低下の検知と、当該検知によるテンプレートデータのテンプレートパラメータの調整とを実施するために、画像処理装置１９のタスクは、コマンド解析タスク３５、画像入力タスク３６、認識実行タスク３７、テンプレート調整タスク３８の四つのタスクから構成されている。
【００３８】
［コマンド解析タスク］
コマンド解析タスク３５は、マシン制御装置１５からのコマンド３１の受信、レスポンス３２の送信を行う。
また、認識処理に必要なテンプレートデータ３０の受け渡しもコマンド解析タスク３５が行う。テンプレートデータ３０は、マーク認識コマンドや部品認識コマンドの前にあらかじめマシン制御装置１５から受信し、テンポラリデータとしてのテンプレートデータ３０Ａとして装置内に保持される。
さらに、コマンド解析タスク３５は、基板マークや電子部品Ｃの認識処理など、高速なタクトが要求されるコマンドをマシン制御装置１５から受信した場合には、画像入力と並列で認識処理が進められるよう、画像入力タスク３６、認識実行タスク３７にそれぞれの処理毎に実行要求を通知する。
この時のタスクの優先順位は、コマンド解析タスク３５＞画像入力タスク３６＞認識実行タスク３７となるように定められている。これにより、コマンド受信には、コマンド解析タスク３５が即時反応し、マシン制御装置１５の画像入力待ちを最小に、かつ画像入力中のＣＰＵの空き時間を利用し、認識実行処理が効率よく実行できるようになっている。また、前回のコマンドによる認識処理の実行と、新しく受信した次の回のコマンドによる画像入力とを並列で進めることも可能となっている。
【００３９】
［認識実行タスク］
認識実行タスク３７は、部品認識部４０とマーク認識部４１とを受け持っている。
認識実行タスク３７は、部品認識部４０の実行時、相関値、タクトをステータス管理ブロック３９に記録する。このステータス管理ブロック３９は作業メモリ１０に確保される。なお、これら相関値とタクトは、毎回の画像認識により求められ、これらが履歴として記録される。即ち、ステータス管理ブロック３９は、相関値記録部として機能するものである。
【００４０】
［テンプレート調整タスク］
テンプレート調整タスク３８は、テンプレートの調整を行うか否かを判定する起動判定部４２と、性能値計測部としての精度・タクトの計測部４３と、テンプレート調整部４４とを実行する。
テンプレート調整タスク３８は、優先順位が４つのタスク３５〜３８の中で最低に設定されており、これにより、生産中にバックグラウンドでテンプレートの調整を行い、電子部品Ｃの実装作業に関する処理能力を低下させないようにしている。
【００４１】
画像処理装置１９は、テンプレートデータに含まれるティーチング時の性能（精度・タクト）値を作業用メモリ１０のステータス管理ブロック３９に保持しておく。即ち、このステータス管理ブロック３９は、テンプレートマッチング処理における基準性能値を記憶する性能記憶部として機能するものである。
前述したコマンド解析タスク３５は、マーク又は電子部品Ｃの認識処理の終了毎に、テンプレート調整タスク３８を起床し、まず、起動判定部４２の処理を実行させる。
この起動判定部４２は、テンプレートの調整の実行の判定を行うものであり、ステータス管理ブロック３９を参照し、状況に応じて、精度・タクトの計測４３及びテンプレートの調整部４４の処理を呼び出す。テンプレートが調整不可能と判定した場合は、警告部４７を呼び出して調整不可能を報知する。
【００４２】
テンプレートの調整を行う場合、テンプレート調整タスク３８の優先度は、精度・タクトの悪化度合いに応じて変動調整される。
精度の悪化度合いは、再計測精度値が基準精度値よりも小さい場合は0（％）とし、大きい場合は、（再計測精度値−基準精度値）／基準精度×100（％）で計算する。
また、タクトの悪化度合いは、再計測タクト値が基準タクト値よりも小さい場合は0（％）とし、大きい場合は、（再計測タクト値−基準タクト値）／基準タクト値×100（％）で計算する。
そして、上記精度とタクトの２つの悪化度合いに重み係数ｋ、ｌをかけ、一つの評価値としてまとめる。このとき、ｋ＋ｌ＝１となることを前提として、重み係数ｋ、ｌは精度とタクトの重要性に応じて任意に設定される。
すなわち、精度・タクトの悪化度合いは、正常時は0、異常時は、基準値と比較した度合いを示し、例えば100％であれば、基準値より２倍ほど悪くなったということになる。
【００４３】
また、精度・タクトの悪化度合いに下限値を定め、悪化度合いがわずかの場合（例えば、双方が10％未満）には調整は行わないように定めることも可能である。
さらに、悪化度合いが調整の実行範囲であるが、小さい場合（例えば、10％以上、50％未満）は、テンプレート調整タスク３８の優先度を他のタスクよりも低く設定して緊急度を低くし、空き時間で処理する等、できるだけ生産効率を落とさないで済むようにする。また、悪化度合いが大きい場合（50％以上）は、優先度をコマンド解析タスク３５の次の順位として緊急度を高くし、即対応するように定めても良い。
ここで、テンプレートの調整の起動を制御する、の基準精度値、基準タクト値や重み係数ｋ，ｌ及び悪化度合いの２つの閾値（調整を行うための閾値［10％］と緊急度の高低を振り分ける閾値［50％］）は、認識対象物毎に調整できるよう、テンプレートデータに格納領域を設けて、ユーザが設定変更可能なようにする。
【００４４】
［画像入力タスク］
画像入力タスク３６は、電子部品Ｃの実装作業時における電子部品Ｃ及び基板マークの撮像による画像入力、即ち、撮像画像の多値化画像データの取得が主要な処理であり、当該画像入力が終了すると、コマンド解析タスク３５の次であった優先順位が４つのタスクの最低に設定され、他のタスクがすべてウェイト状態となっているアイドリング時間に、画像データ特徴計測部４８と画像データ監視部４９の処理が行われるように定められている。なお、この画像データ特徴計測部４８は、サーチ画像から画像上の特徴量を計測する特徴量計測部として機能するものである。
【００４５】
但し、電子部品Ｃの実装作業における次のコマンドが入力されると、画像入力タスクの優先順位はデフォルトに戻される。また、この時点で、上記の画像データ特徴計測処理部４８及び画像データ監視処理部４９の処理が終わっていない場合は、これらの処理はキャンセルされる。一方、次のコマンドの入力がなく、アイドル時間内に計測、監視の両処理が終了したならば、その結果に応じて、テンプレート調整タスク３８にリクエストを入力する。そして、これら監視、計測の全てのバックグラウンド処理が完了したら、ウェイト状態に移行する前に優先順位はデフォルト、即ち、コマンド解析タスク３５の次の順位に戻される。
【００４６】
［テンプレートデータの構成］
図４にテンプレートデータの構成を示す。
テンプレートデータ２０は、テンプレート属性情報２０ａ、モデルエッジ情報２０ｂ、サーチパラメータ２０ｃ、性能基準値２０ｄからなる４つのブロックから主に構成される。
【００４７】
テンプレート属性情報２０ａは、テンプレートの管理属性を記述する部分である。
テンプレート属性情報２０ａの属性データは、このテンプレートデータについて過去に行われた調整の記録である「調整履歴」と、過去に行われた調整の発生確率を示す「頻度」と、テンプレートデータ格納メモリ１４において調整済みテンプレートデータを検索するための「チェックコード」とからなる。
「調整履歴」は、各マシンでの生産時にテンプレートのデータの再調整が発生した場合、その旨を記録する領域である。
「チェックコード」は、テンプレート作成時に使用したテンプレート画像の濃淡データのチェックサムもしくは、ＣＲＣ(Cyclic Redundancy Check)値などを使用し、同じソースデータから生成されたデータであることを確認するものである。但し、テンプレートのＩＤ番号がユニークであるよう管理されるのであれば、ＩＤ番号にて代替可能である。
【００４８】
モデルエッジ情報２０ｂは、テンプレートの形状を示す複数のエッジ点の「エッジ座標」と、各エッジ点における「エッジ勾配ベクトル」とによるサーチすべき対象物の形状を示す情報を含んでいる。
【００４９】
サーチパラメータ２０ｃは、サーチ画像上の対象物を抽出するために必要な情報を含んでいる。
具体的には、「最小濃度値」、「エッジ検出フィルタサイズ」、「最小エッジ強さ」、「ピラミッド開始層」などが挙げられる。
【００５０】
性能基準値２０ｄは、マークや部品の認識処理にて性能が低下しているかどうか、さらに再調整の緊急度を判断するための比較データを含んでいる。
具体的には、「相関値しきい値」、「繰り返し精度」、「タクト」、「補正係数」、「再調整しきい値」などが挙げられる。
【００５１】
テンプレートデータ２０は、生産動作を始める前に、あらかじめ図２に示すマシン制御装置１５から、インターフェイス１３を介して、画像処理装置１９に送信される。
画像処理装置１９は、図４に示すテンプレートデータのテンプレート属性情報２０ａの調整履歴、頻度を参照し、これに基づく設定動作を制御する（図１０にて後述する）。新規作成されたテンプレートデータ２０の場合、テンプレート属性情報２０ａの調整履歴、頻度は未設定であり、その場合、そのまま図２に示す作業用メモリ１０のテンプレートデータ格納領域に設定されることになる。
なお、後述するテンプレート調整の処理が実行される際には、上記「エッジモデル情報２０ｂ」と「サーチパラメータ２０ｃ」が修正の対象となる。
【００５２】
基板マークの画像認識の場合、形状、サイズ等の寸法データのみを画像処理装置１９に送信し、内部的にモデルテンプレートデータを生成し、新規作成されたテンプレートと同等の適用が可能である。
但し、今回の生産動作における調整履歴を再利用しようとする場合は、テンプレートデータをバックアップし、次回は寸法データではなく、テンプレートデータを送信しなければならない。
【００５３】
［テンプレートデータの作成処理］
ここで、テンプレートデータの作成処理について説明する。テンプレートデータの作成の処理については、特願2010-214489に示されているものと同様である。
当該テンプレートデータの作成処理を図５に示すフローチャートに基づいて説明する。
【００５４】
まず、基準姿勢の対象物（基板マーク又は電子部品Ｃ）の画像を撮像し、多値化画像データ化してテンプレート画像データとして画像メモリ９に記憶する（ステップＳ１）。
【００５５】
次に、テンプレートのサーチパラメータを決定する。
決定が行われるサーチパラメータは、最小濃度値（対象物とみなす濃度値の最小値）、最小エッジ強さ（エッジとみなす最小のエッジ強さ）、エッジスケール（エッジ勾配の幅＝エッジ検出フィルタサイズ）、最大エッジ点数（テンプレートデータとして登録するエッジの数）である。
【００５６】
上記最小濃度値は、画像メモリ９に記憶されているテンプレート画像データに対して、公知の判別分析法を用いて背景領域と対象物領域を分離する閾値を求め、これを最小濃度値として取得する（ステップＳ２）。
【００５７】
次に、ステップＳ２で取得した最小濃度値を用いてテンプレート画像データを二値化すると共に、二値化して得られた二値化データ対して、エッジ検出フィルタサイズに合わせて膨張処理を行う（ステップＳ３）。
【００５８】
次に、画像メモリ９に記憶されているテンプレート画像データに対して、予め用意した複数のエッジスケール候補値の中で最大のエッジスケール値を用いてフィルタ処理を行う（ステップＳ４）。
【００５９】
次に、ステップＳ３で求めた二値化データを用いて、ステップＳ４で求めたフィルタ出力値について、背景領域、対象物領域別にそれぞれ統計処理を行い、各領域の濃度分布の平均値、分散値、最小値、最大値を求める。
そして、例えば、背景領域の最大エッジ強さと対象物領域の最小エッジ強さの平均を取る等の手法により、最小エッジ強さを取得する（ステップＳ５）。
【００６０】
次に、ステップＳ５で設定した最小エッジ強さに基づいて、ステップＳ４で求めたフィルタ出力値に対して閾値処理を行い、エッジ点を検出する（ステップＳ６）。
【００６１】
次に、エッジスケールの適正化を行う。即ち、ステップＳ６で検出したエッジ点に対して、前述した複数のエッジスケール候補値を段階的に落としてフィルタ演算を行い、各エッジスケール候補値でのフィルタ出力値が最も大きくなる（フィルタの反応が強い）エッジスケール値を特定し、これをエッジスケール基準値とする（ステップＳ７）。
【００６２】
次に、ここまでの処理で得られたサーチパラメータ値を用いてテンプレート画像のエッジを検出し、得られた複数のエッジ点の座標と各エッジ点におけるエッジ勾配ベクトルとで構成されるモデルエッジ情報を作成し、これをテンプレートデータに登録する（ステップＳ８）。
【００６３】
次に、ステップＳ８までに得られたモデルエッジ情報に基づくテンプレートデータに対して既知のデータからなるサーチ評価用の画像データについてピラミッド構造サーチの手法によってサーチ処理（パターンマッチング処理）を実行する（ステップＳ９）。サーチ用パラメータとしては、最小濃度値、最小エッジ強さ、エッジスケール値、ピラミッド開始層を用いる。なお、ピラミッド開始層については、作業者が適宜設定する。
【００６４】
上記サーチ処理において、タクトタイムを計測し、また、サーチ結果から画像認識の精度を算出する。精度は、既知のサーチ評価用の画像データに対し、マッチング処理の結果による位置ズレ量から算出する（ステップＳ１０）。
【００６５】
次に、最大エッジ点数の最適化を行う（ステップＳ１１）。テンプレートデータのエッジ点数を減ずると、タクトタイムは短縮できるが、その一方で、精度は低下する。従って、予め定められた、要求精度を保つことのできる範囲で、エッジ点数の間引き処理を行い、エッジ点数を削減する。
そして、最終的に得られたエッジ点数のテンプレートデータで計測したタクトタイム及び精度を、当該テンプレートデータの性能の基準値として登録する。
以上の処理により、テンプレートデータは作成される。
【００６６】
［画像認識処理］
次に、画像処理装置１９が行う画像認識処理について図６のフローチャートに基づいて説明する。
この画像認識処理は、マシン制御装置１５が基板マークや電子部品Ｃの位置情報を得るために、マシン制御装置１５から画像処理装置１９に基板マーク又は電子部品Ｃの画像認識コマンドを入力された時に実行される。
【００６７】
まず、サーチ画像として、基板マークや電子部品Ｃ等の対象物の画像を撮像する（ステップＳ４１１）。
上記撮像されたサーチ画像の多値化画像データについて、エッジ検出処理を行う（ステップＳ４１２）。
ステップＳ４１２にて得られたエッジから複数の向きのエッジベクトルが混在する部分（コーナー）を特徴部分として抽出する（ステップＳ４１３）。
【００６８】
抽出されたサーチ画像の特徴部分にて得られた特徴を用いて、まず高速に粗サーチを行い（ステップＳ４１４）、大まかな位置決めをしてから、エッジを用いて精サーチを行い、高精度な位置決め結果を得る（ステップＳ４１５）。
【００６９】
また、位置決めの正当性を評価するために、位置決め完了位置における相関値を計算する（ステップＳ４１６）。ここで、相関値とは、各エッジ点におけるテンプレート上のエッジベクトルとサーチ画像上のエッジベクトルの一致度の平均値である。0〜１の値で示し、完全一致の場合には「１」となる。部品認識毎、部品ＩＤ毎に相関値の履歴をステータス管理ブロック３９にて記録する（ステップＳ４１７）。
【００７０】
画像処理装置１９は、画像認識の処理により求められた基板マーク又は電子部品Ｃの位置情報に基づいて、画像認識コマンドのレスポンスとして、基板マークの位置情報又は電子部品Ｃの吸着ずれ（ｘ，ｙ，θ）の情報を返信する。
【００７１】
［画像データ監視処理］
画像処理装置１９において、上述の画像認識処理が終了し、マシン制御装置１５からの次のコマンドの入力を受けていない状態において、画像入力タスク３６は、画像データの監視処理を実行する。この画像データの監視処理は、例えば、画像認識コマンドの合間、即ち、一つの画像認識処理が終了し、次の画像認識処理が開始されるまでの間等でその処理が実行される。
図７は画像データの監視の処理のフローチャートである。
【００７２】
まず、画像処理装置１９は、直前の撮像による画像データを参照する（ステップＳ４０１）。
画像データにはコマンド情報が埋め込まれており、当該コマンド情報から基板マーク種別若しくは部品種別又は基板マークＩＤ若しくは部品ＩＤを取得する。
そして、直前の撮像による画像データについて、ヒストグラム及びライトマップの計測処理を行い、当該画像データの撮像対象である基板マークの種別若しくは部品種別又は基板マークＩＤ若しくは部品ＩＤ毎にヒストグラム及びライトマップの履歴管理を行う（ステップＳ４０２）。
【００７３】
次に、画像データの特徴量について、直前の撮像による画像データ以前の画像データについて計測された特徴量を平均化し、直前の撮像による画像データの特徴量と比較する。これらの特徴量の比較において、相互間に顕著な差異が生じているか否かの判定により、画像データの異常検知を行う（ステップＳ４０３）。
その結果、異常が検知されたならば、画像処理装置１９は自身に対して内部的に画像認識性能の再確認コマンドを送信する（ステップＳ４０４）。
【００７４】
［マシン制御装置からの画像認識性能の再確認の要求の処理］
マシン制御装置１５は、図８に示すように、任意のタイミングで、画像処理装置１９に画像認識性能の再確認コマンドを送信することができる。画像処理装置１９はこのコマンドを受信したら、図３に示すステータス管理ブロック３９にその旨を記録する（ステップＳ４０５）。
【００７５】
［テンプレートの調整処理］
画像処理装置１９では、ステータス管理ブロック３９をチェックし、画像認識性能の再確認を行うタイミングを検知し、必要に応じてテンプレートの調整を実施するために、テンプレート調整タスク３８を備えている。テンプレート調整タスク３８は、画像認識コマンドの終了毎にコマンド解析タスク３５から起動される。
【００７６】
図９にテンプレート調整処理のフローチャートを示す。
テンプレート調整タスクは、ステータス管理ブロック３９の画像認識性能の再確認要求フラグの状態をチェックし、「繰り返し精度計測」の起動が必要であるかどうかの判定を行う。
【００７７】
さらに、ステータス管理ブロック３９の認識結果履歴を参照し、相関値、タクトが基準値に比べて低下していないか、相関値については、基準値以上の値であっても、前回の画像認識性能の再確認からの平均、今回の画像認識性能の再確認直後の平均、直前複数回の平均を比較することで、低下の傾向にあるかどうかまで、チェックする（ステップＳ５０１）。
【００７８】
相関値は０〜１の値を示し、高いほど、認識結果の信頼度が高い。基準値としては通常、0.6〜0.9辺りの値が妥当である。基準値、すなわち相関値しきい値は、認識対象物毎に調整できるよう、テンプレートデータに格納領域を設けて、ユーザが設定変更可能なようにする。
【００７９】
画像認識性能の再確認コマンドをマシン制御装置１５から受信した場合（前述のステップＳ４０６の場合）についてステップＳ５０１の起動判定を行う場合には、ロット切り替えの可能性があり、テンプレートの調整が必要になる可能性があり得るので、「繰り返し精度計測」を起動する（ステップＳ５０２）。
【００８０】
また、画像入力タスク３６が画像データ監視部４９において異常を検知し、画像認識性能の再確認コマンドを内部的に受信した場合（前述のステップＳ４０４の場合）についてステップＳ５０１の起動判定を行う場合には、相関値の異常を検知しているかどうかをチェックする。相関値の異常を検知している場合、ステータス管理ブロック３９に保持されている前回の画像認識性能の再確認からの認識回数を確認し、相関値の異常検知が撮像条件の変化のためかどうかを判断することができる。
なお、ここで相関値の履歴の異常検知を行う画像データ監視部４９は、相関値監視部として機能するものである。
【００８１】
さらに、ステータス管理ブロック３９の画像データ特徴量履歴から画像データ特徴量の変化度合いを判定して、ステップＳ５０１の起動判定が行われる。なお、ここで、ステータス管理ブロック３９は、特徴量の履歴を記録する特徴量記録部として機能するものである。
画像データ特徴量として、画像データ全域のヒストグラムの山の数、各山のピーク値と分散（ヒストグラム計測）、画像データの数箇所の局所領域の、最大、最小、平均値（ライトマップ計測）を使用する。
【００８２】
それぞれ対応する特徴量の差の自乗にそれぞれの特徴量別に設定した重み係数をかけて、総和をとったものを変化量とする。変化度合いとは、横軸に測定回数、縦軸に変化量をとったグラフの傾きの絶対値であり、０〜π/2で示すことができる。この間にしきい値を設けることにより次のような判定を行うことができる。
【００８３】
例えば、変化が急激に起こっている（変化度合いがπ／４以上か）かどうかを確認する。徐々に変化していた場合（変化度合いがπ／４未満か）、部品や基板の状態変化よりも、撮像条件が変化した可能性の方が高いので、撮像系異常の警告が必要であると判定し（ステップＳ５０２：ＮＯ、ステップＳ５０３：ＹＥＳ）、警告部４７による警告通知を行い（ステップＳ５０７）、タスクを終了させる。
ロット切り替えの可能性や、撮像条件の変化もなく、相関値にも異常が認められなければ、テンプレートデータの調整処理の起動は不要と判断し（ステップＳ５０２：ＮＯ、ステップＳ５０３：ＮＯ）、タスクを終了させる。
【００８４】
次に、「繰り返し精度計測」（ステップＳ５０４）の処理について詳細に説明する。
テンプレート調整タスク３８は、画像入力タスク３６が次回の画像取得時に繰り返し精度評価画像の取得と評価画像の取得終了の通知をテンプレート調整タスク３８に行うように設定するようにコマンド解析タスク３５に返答し、タスクを休止する。
画像入力タスク３６が、繰り返し精度評価画像を取り終えたことを、テンプレート調整タスク３８に通知し、タスクの起動を行う。画像入力タスク３６は、タスクの起動時に、テンプレート調整タスク３８の優先度の調整することで、生産動作と調整動作の優先度を制御することができる。
【００８５】
例えば、画像処理装置１９では、「繰り返し精度計測」（ステップＳ５０４）までは、テンプレート調整タスク３８の優先度は最低値に設定し、生産動作の空き時間で行うようにしている。繰り返し精度の取得後は、精度悪化の判定値を(1)調整が必要かどうか、必要な場合は、(2)軽度か、(3)重度かの計３段階で設定している。そして、調整が必要な場合であって、精度悪化の判定値が軽度の場合には、認識実行タスクの優先度より低く設定し、生産動作を優先するように、調整が必要な場合であって、精度悪化の判定値が重度の場合には、認識実行タスクより優先度を高く設定し、調整動作を優先して行うようにする。
【００８６】
「繰り返し精度計測」（ステップＳ５０４）の結果、精度の悪化により調整が必要と認められたら（ステップＳ５０５）、「テンプレートの調整」を起動する。調整終了後、「テンプレートデータを調整した」という履歴をテンプレートデータ２０のテンプレート属性情報２０ａに記録する（ステップＳ５０６）。
そして、「テンプレートの調整」が完了したら、タスクを終了させる。
【００８７】
生産が終了したら、マシン制御装置１５は、画像処理装置１９からテンプレートデータ２０の調整履歴を吸い上げる。また今回の生産で調整履歴が更新されたテンプレートデータ２０については、画像処理装置１９のテンプレートデータ格納メモリ１４にキャッシングする。
【００８８】
生産中に調整されたテンプレートデータ２０は、次回の生産でも引き続き使用することで、再調整の処理を削減でき、効率よく生産を行うことができる。
但し、これらの調整されたテンプレートデータは各電子部品実装装置１００に依存しており、他の電子部品実装装置１００にそのまま適応できる可能性は少ない。そのため、調整されたテンプレートデータ２０は、調整を行った各々の電子部品実装装置１００毎でそのまま保存される。
【００８９】
［テンプレートデータのキャッシュ管理］
図１０に前述したテンプレートデータ格納メモリ１４上でのテンプレートデータのキャッシュ管理の態様を示す。
登録テンプレートデータ７０について、テンプレートデータの特定のために、ＩＤ７０ａとチェックコード７０ｂとを設けている。
また、テンプレートデータ７０の登録領域７１は、リングバッファ構造となっており、登録数の格納領域７１ａと最大登録数分の配列７１ｃとＷｒｉｔｅポインタ７１ｂとＲｅａｄポインタ７１ｄから構成される。
テンプレートデータ７０の登録領域７１がリングバッファ構造であるため、登録テンプレートデータは最大登録数分登録されたら、古いものから順に上書きされていく。この登録領域７１は、テンプレートデータを少なくとも一以上記憶保持可能なデータ登録部として機能するものである。
【００９０】
次回の生産時に画像処理装置１９にテンプレートデータ７２が送信されたなら、まず、テンプレート属性情報２０ａ（図４参照）の調整履歴、頻度が参照される。
テンプレートデータ７２に調整履歴がある場合には、テンプレートデータ格納メモリ１４のキャッシュ管理データ内に既に再調整されたテンプレートデータがあるかどうかが検索される。検索範囲は、Ｒｅａｄポインタ７１ｄと登録数７１ａから特定できる。同一部品のテンプレートかどうかの特定は、新たに受け取ったテンプレートデータ７２のＩＤ７２ａもしくはチェックコード７２ｂを用いて行う。
なお、ここで、同一部品のテンプレートかどうかの特定を可能とするＩＤ７２ａ若しくはチェックコード７２ｂは、対象物を特定する識別情報として機能する。
【００９１】
該当するデータがあったら、登録領域７１から読み出し、テンプレートデータを差し替えて作業用メモリ１０に格納する。
該当するデータがない場合は、ステータス管理ブロック３９に調整が必要であることを記録し、生産開始と同時に調整処理が起動するように設定する。
このとき調整頻度を参照し、テンプレート調整タスク３８の優先度が設定される。
なお、上記テンプレートデータの差し替えの処理は、画像処理装置１９の制御部１２が実施するものである。従って、この制御部１２は、テンプレートデータのパラメータを新たに入力されたテンプレートデータにコピーするパラメータ管理部として機能するものである。
【００９２】
［調整頻度の設定］
最後に調整頻度の設定のしかたについて説明する。
図１１に示すように、基板生産の実装ラインは複数台の電子部品実装装置６４，６５，６６，６７…が連結され、これらの実装装置をラインとして管理するライン管理システム６０が存在し、認識データは一元管理され、共用する構成となっている。
【００９３】
テンプレートデータは認識データの一部であり、マークもしくは部品毎にＩＤで管理される。
そして、必要に応じて、各実装装置に配信され、マーク認識や部品認識が行われ、部品の実装が行われる。テンプレートの調整は各実装装置で個別に行われることになるので、各実装装置に依存し、他の実装装置でそのまま適応できる可能性は少ない。そこで、各実装装置は調整履歴だけをライン管理システムに返答するものとする。
【００９４】
ライン管理システムは各実装装置から返ってきた調整履歴を集計し、調整頻度を算出、設定する。
調整頻度は、それぞれのＩＤ６２ａ毎に調整頻度６２ｂを保持するようにしたデータ管理構造６２を設け、管理する。調整頻度は、テンプレートデータの配信数に対する調整の実施数の比率を計算し、設定する。
調整頻度を用いて、テンプレート調整タスク３８の優先度を制御し、調整処理を行うことで、生産動作と調整動作をバランスよく、効率的に進めることができる。例えば、調整頻度が高い場合には、テンプレート調整タスク３８の優先度は生産動作よりも高く設定することが望ましい。
【００９５】
［発明の実施の形態における効果］
上記電子部品実装装置１００の画像処理装置１９では、画像入力タスク３６などにより、生産中の画像認識の異常を検知し、自動で精度・タクトの確認を行い、テンプレート調整タスク３８により、必要に応じてテンプレートの調整を自動で行なうため、ユーザの調整負担の軽減を図ることが可能である。
また、画像処理装置１９は、テンプレートマッチング処理が終わると、その性能値を計測し、性能値が基準性能値を下回るテンプレート調整タスク３８により、テンプレートマッチング処理のパラメータを調整するので、画像認識の対象物に何らかの変化が生じたり、画像認識の対象物ごとに個体差がある場合、その他、想定範囲を超える変化がある場合でも、これに伴う画像認識性能値の低下により、前述の変化を検知することができ、当該変化に対応するパラメータの適正化を図ることが可能となる。
従って、従来のように、ある固定した中央値に対して想定されたマージンの範囲内でのみ適正な画像認識を実現する場合と異なり、広い範囲に柔軟に対応して画像認識を行うことが可能となる。
【００９６】
また、マシン制御装置１５から通知だけでなく、画像処理装置１９自身で、相関値、タクト、画像データ特徴量を監視し、テンプレートの調整のタイミングを検知できるので、マシン制御装置１５と画像処理装置１９のＩ／Ｆを簡素化することが可能である。
【００９７】
さらに、各電子部品実装装置毎に調整したパラメータを統合することはできないので、テンプレートデータには調整履歴を記録し、システム側では、調整頻度を管理すると共に、基準データ、パラメータ等は変更せずに、各電子部品実装装置で速やかに各装置毎の最適データに変更できるよう、テンポラリな記憶領域を設けたり、優先順位を調整してテンプレートを作り直したりする機能を追加することで、効率的にパラメータの調整を行えるようにした。
【００９８】
また、画像データの特徴量の変化と相関値の変化を監視し、双方の変化のタイミングを分析し、対象物、もしくは撮像条件のどちら側の問題かを切り分け、自動修復できない要因については、速やかに警告部４７から通知できるようにした。これにより、テンプレートデータのパラメータについて不要な調整を回避することが可能となった。
【符号の説明】
【００９９】
１２ 制御部（パラメータ管理部）
１４ テンプレートデータ格納メモリ（パラメータ記憶部）
１９ 画像処理装置
３０ テンプレート
３９ ステータス管理ブロック（性能記憶部、特徴量記録部、相関値記録部）
４７ 警告部
４８ 画像データ特徴計測部（特徴量計測部）
４９ 画像データ監視部（平均処理部、監視部、相関値監視部）
７１ 登録領域（データ登録部）
７２ａ ＩＤ（識別情報）
７２ｂ チェックコード（識別情報）
Ｃ 電子部品（対象物）
【技術分野】
【０００１】
本発明は、パターンマッチング処理により画像認識を行う画像処理装置に関するものである。
【背景技術】
【０００２】
基板マークや電子部品の位置決め手法の一つとして、パターンマッチングがある。パターンマッチングとは、対象物の特徴をテンプレートとして、あらかじめ登録しておき、別途撮像した画像から探し出すものである。マッチングを行うデータとして、濃度値を用いる濃度ベースのマッチング方法や、エッジ勾配ベクトルの向きを用いる、形状ベースのマッチング方法などがある。
例えば、形状ベースのマッチング方法の場合、エッジ検出のパラメータの設定の違いでエッジ線の形状が微妙に変わり、位置決めの精度やタクト、ロバスト性等の特性が変わる。
【０００３】
ところが、これらの特性は、対象物毎に要求特性も調整レベルも異なり、このような微妙なパラメータ調整は、従来、ユーザが使用環境に合わせて調整しなければならなかった。従来装置では、エッジ検出に係わるパラメータ、例えば最小濃度値、最小エッジ強さ、フィルタサイズ等について数値入力機能を設けたり、エッジの有効／無効をウインドウで囲んで指定したりする等、ユーザが対話形式で調整できる仕組みを設けていた。
また、位置認識処理を行う際の処理性能に係る評価を行い、評価値の最も高いテンプレート候補を実際のテンプレートとして決定するなど、テンプレートデータを自動的に作成するものもある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４４７０５０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記のようなパターンマッチングの手法を部品実装装置に適用した場合、部品ロットの切り替わりで部品の材質や色等が変わったり、製造誤差による微妙なサイズ変動等でティーチング時のテンプレートデータとの差異が生じたりすることで、微妙に位置決め精度が悪化したりタクトタイムが延びたりする等の問題が発生する場合がある。
【０００６】
このような問題に対し、本出願の発明者は、テンプレート作成時に想定でき得る変動範囲をあらかじめ与えることで、最適パラメータを取得し、簡単に、安定した認識が可能となるマッチングパラメータの調整方法を、既に特許出願（特願2010-214484号）にて提案している。
【０００７】
しかしながら、この特許出願の手法は、変動分布の中央値を固定し、その両側のマージンを拡げることで対応しようとする方式であり、必ずしもすべての変動範囲についてカバーできるパラメータが求まるとは限らない。
例えば、部品実装装置においてパターンマッチングの対象となる基板上のマークは、図１２（Ａ）及び（Ｂ）に示すように、ロットが変わると直径で１０％の変動を生じる場合もある。
即ち、従来手法では、例えば、パターンマッチングの対象物について、材質、色、サイズが、ロットの切り替わり等で、変動分布の中央値がずれてしまい、想定外の変動範囲になる、また、経時変化により撮像条件が徐々に変動し、例えば、画像の濃度分布全体が徐々に上下し、ある時点から想定外の変動範囲になるといった、テンプレート作成時に想定していた変動範囲が拡がる、分布全体が移動するなどして、テンプレートデータと差異が生じることが原因で生じるエラー、精度悪化、タクト増大の問題が発生し、対応が不十分であった。
【０００８】
本発明は、生産中に必要に応じて、精度やタクトをチェックし、テンプレートデータの調整の必要を判断、自動的に調整し、認識処理の性能を最善な状態に保つための画像処理装置を提供する。
【課題を解決するための手段】
【０００９】
本願発明は、テンプレートデータを用いてサーチ画像から対象物を認識するテンプレートマッチング処理を行う画像処理装置において、前記テンプレートマッチング処理を行うためのパラメータを記憶するパラメータ記憶部と、前記テンプレートマッチング処理における基準性能値を記憶する性能記憶部と、前記テンプレートマッチング処理が終わるとその性能値を計測する性能値計測部とを備え、前記性能値計測部で計測された性能値が前記基準性能値を下回る場合に、前記テンプレートマッチング処理のパラメータを調整する調整部を備えることを特徴とする。
【００１０】
また、本願発明は、前記サーチ画像から画像上の特徴量を計測する特徴量計測部と、前記画像上の特徴量について、毎回の計測による履歴を記録する特徴量記録部と、前記画像上の特徴量の履歴から過去の複数の特徴量の平均値を求める平均処理部と、直近の画像上の特徴量と過去の複数の特徴量との比較によって、前記直近の画像上の特徴量の異常の発生を検出する監視部と備え、前記調整部は、前記監視部が異常を検出した場合に、前記テンプレートマッチング処理のパラメータを調整する構成としても良い。
【００１１】
また、本願発明は、前記特徴量とその履歴とにより、当該特徴量の変化の度合いを判定し、当該特徴量の変化の度合いが所定の値よりも大きな場合に、撮像条件の変化が原因であるものとして、警告を行う警告部を備える構成としても良い。
【００１２】
また、本願発明は、上記の構成に加えて、前記テンプレートマッチング処理により求められるテンプレートとサーチ画像との相関値の履歴を記録する相関値記録部と、前記相関値の履歴からその異常を検知する相関値監視部と、前記調整部は、前記相関値監視部が異常を検出した場合に、前記テンプレートマッチング処理のパラメータを調整する構成としても良い。
【００１３】
また、本願発明は、上記の構成に加えて、前記テンプレートデータは、少なくとも、テンプレートマッチング処理を行う対象物を特定する識別情報と、テンプレートマッチング処理のパラメータとを記憶し、前記テンプレートデータを少なくとも一以上記憶保持可能なデータ登録部と、外部から新たに入力されたテンプレートデータの識別情報が示す対象物と同一の対象物用のテンプレートデータが前記データ登録部に登録されている場合に、前記データ登録部に登録されているテンプレートデータのパラメータを、前記新たに入力されたテンプレートデータにコピーするパラメータ管理部とを備える構成としても良い。
【発明の効果】
【００１４】
本願発明では、テンプレートマッチング処理が終わると性能値計測部がその性能値を計測し、性能値が基準性能値を下回ると調整部がテンプレートマッチング処理のパラメータを調整するので、画像認識の対象物に何らかの変化が生じたり、画像認識の対象物ごとに個体差がある場合、その他、想定範囲を超える変化がある場合でも、これに伴う画像認識性能値の低下により、前述の変化を検知することができ、当該変化に対応するパラメータの適正化を図ることが可能となる。
従って、従来のように、ある固定した中央値に対して想定されたマージンの範囲内でのみ適正な画像認識を実現する場合と異なり、広い範囲に柔軟に対応して画像認識を行うことが可能となる。
【００１５】
また、本発明において、特徴量計測部と特徴量記録部と平均処理部と監視部とを備え、監視部により画像上の特徴量に基づく異常の発生が検出された場合にテンプレートマッチング処理のパラメータを調整する構成とした場合には、画像認識の性能の低下を生じる前の段階でテンプレートマッチング処理によるパラメータを修正することでき、画像認識の性能の低下を予防し、常に、高い性能で画像認識を実現することが可能となる。
また、この発明では、個々の数値のバラツキを抑えつつ標準的な画像上の特徴量を求め、直近の特徴量と比較することで特徴量の異常の発生をより適正に求めることが可能となる。
【００１６】
また、本願発明において、撮像条件の変化による特徴量に変化が生じた場合に、パターンマッチング処理のパラメータを調整せずに警告部により警告する場合には、必要性の低い場合にパラメータの調整を行うことを回避でき、画像認識作業の効率化を図ることが可能となる。
【００１７】
また、本発明において、相関値の履歴からその異常が検知されると、調整部がテンプレートマッチング処理のパラメータを調整する構成とした場合にも、画像認識の性能の低下を生じる前の段階でテンプレートマッチング処理によるパラメータを修正することで、常に、高い性能で画像認識を実現することが可能となる。
【００１８】
また、本発明において、データ登録部に登録されているテンプレートデータのパラメータを新たに入力されたテンプレートデータにコピーするパラメータ管理部を備える構成として場合には、既に調整済みのパラメータを、対象物を等しくする新たなテンプレートデータに移すことができ、パラメータの再調整の処理を低減し、処理負担の軽減を図ることが可能となる。
よって、テンプレートデータとの差異で生じるエラー発生を低減し、精度悪化、タクトタイム増大を防止することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本実施の形態に係る電子部品実装装置の全体を示す平面図である。
【図２】電子部品実装装置の制御系を示すブロック図である。
【図３】画像処理装置内のタスク構成とデータフローを示す図である。
【図４】テンプレートデータの構成を示す図である。
【図５】テンプレートデータの作成処理を示すフローチャートである。
【図６】画像認識処理を示すフローチャートである。
【図７】画像データの監視の処理のフローチャートである。
【図８】マシン制御装置からの画像認識性能の再確認の要求の処理を示すフローチャートである。
【図９】テンプレート調整処理を示すフローチャートである。
【図１０】テンプレートデータ格納メモリ上でのテンプレートデータのキャッシュ管理を示す説明図である。
【図１１】複数台の電子部品実装装置からなるラインの管理システムを示す構成図である。
【図１２】図１２（Ａ）及び（Ｂ）はロットの変化により基板マークの大きさの変動が生じることを示す説明図である。
【発明を実施するための形態】
【００２０】
［発明の実施形態の全体構成］
本発明の実施形態について、図１乃至図１１に基づいて説明する。本実施形態は、撮像画像内で探索対象物である電子部品Ｃを探索するための画像処理装置１９が電子部品実装装置１００に搭載され、電子部品Ｃを実装するための基板Ｋに付された基板マークの位置認識を行うために利用され、また、後述する吸着ノズルに吸着された電子部品Ｃの位置認識を行う目的に利用される場合の例を示している。
【００２１】
［電子部品実装装置］
図１は電子部品実装装置１００の平面図、図２はその制御系を示すブロック図である。電子部品実装装置１００は、基板Ｋに各種の電子部品Ｃの搭載を行うものであって、電子部品Ｃの搭載手段として、図１に示すように、搭載される電子部品Ｃを供給する複数の電子部品フィーダ１０１と、電子部品フィーダ１０１を複数並べて保持する電子部品供給部としてのフィーダバンク１０２と、一定方向に基板Ｋを搬送する基板搬送手段１０３と、当該基板搬送手段１０３による基板搬送経路の途中に設けられた基板Ｋに対する電子部品搭載作業を行うための搭載作業部１０４と、電子部品Ｃを吸着する吸着ノズル１を保持して電子部品Ｃの保持を行う部品保持手段としてのヘッド１０６と、ヘッド１０６を所定範囲内の任意の位置に駆動搬送するヘッド移動手段としてのＸ−Ｙガントリ１０７と、吸着ノズル１に吸着された電子部品Ｃの撮像を行う部品用カメラ６と、搭載作業部１０４の基板Ｋに付された基板マークの撮像を行う基板用カメラ５と、部品用カメラ６による撮像位置に照明光を照射する照明装置３と、基板用カメラ５による撮像位置に照明光を照射する照明装置４と、電子部品実装装置１００の各構成に対して制御を行うマシン制御装置１５と、マシン制御装置１５に対して作業者による各種の設定の入力及びコマンドの入力を行うためのマンマシンインターフェイス１６と、カメラ５又は６の撮像画像から探索対象となる電子部品Ｃ又は基板マークの位置認識処理を実行する画像処理装置１９とを備えている。
画像処理装置１９は、カメラ５又は６による基板マーク又は電子部品Ｃの撮像画像からこれらの正確な位置情報を求め、マシン制御装置１５に出力することでヘッド１０６の位置決め動作に反映させるために利用される。
カメラ５及び６はいずれもＣＣＤカメラ又はＣＭＯＳカメラであり、部品用カメラ６は定位置において下方から吸着ノズル１に吸着された電子部品Ｃを撮像し、基板用カメラ５はヘッド１０６に搭載されて上方から搭載作業部１０４に搬送された基板Ｋの基板マークを撮像する。
【００２２】
以下の説明では、主に基板用カメラ５により基板マークが撮像される場合を例として説明を行うが、撮像対象は基板マークに限定されるものではなく、電子部品Ｃの撮像時にも後述する構成及び処理が適用可能であることは言うまでもない。
また、以下の説明において、水平面に沿って互いに直交する一の方向をＸ軸方向とし、他の方向をＹ軸方向とし、垂直上下方向をＺ軸方向と称することとする。
【００２３】
基板搬送手段１０３は、図示しない搬送ベルトを備えており、その搬送ベルトにより基板をＸ軸方向に沿って搬送する。
また、前述したように、基板搬送手段１０３による基板搬送経路の途中には、電子部品を基板Ｋへ搭載する搭載作業部１０４が設けられている。基板搬送手段１０３は、搭載作業部１０４まで基板Ｋを搬送すると共に停止して、図示しない保持機構により基板Ｋの保持を行う。つまり、基板Ｋは保持機構により保持された状態で安定した電子部品Ｃの搭載作業が行われる。
【００２４】
ヘッド１０６は、その先端部で空気吸引により電子部品Ｃを保持する吸着ノズル１と、この吸着ノズル１をＺ軸方向に駆動する駆動源であるＺ軸モータ１１１と、吸着ノズル１を介して保持された電子部品ＣをＺ軸方向を中心として回転駆動させる回転駆動源であるθ軸モータ１１２とが設けられている。
また、吸着ノズル１は負圧発生装置１０８に接続され、当該吸着ノズル１の先端部において吸気吸引を行うことにより電子部品Ｃの吸着及び保持が行われる。
つまり、これらの構造により、搭載作業時には、吸着ノズル１の先端部で所定の電子部品フィーダ１０１から電子部品Ｃを吸着し、所定位置で基板に向かって吸着ノズル１を下降させると共に吸着ノズル１を回転させて電子部品Ｃの向きの調整を行いつつ搭載作業が行われる。
また、前述した各カメラ５，６は、ベースフレーム１１４に固定支持されている。
【００２５】
Ｘ−Ｙガントリ１０７は、Ｘ軸方向にヘッド１０６の移動を案内するＸ軸ガイドレール１０７ａと、このＸ軸ガイドレール１０７ａと共にヘッド１０６をＹ軸方向に案内する二本のＹ軸ガイドレール１０７ｂと、Ｘ軸方向に沿ってヘッド１０６を移動させる駆動源であるＸ軸モータ１０９と、Ｘ軸ガイドレール１０７ａを介してヘッド１０６をＹ軸方向に移動させる駆動源であるＹ軸モータ１１０とを備えている。そして、各モータ１０９，１１０の駆動により、ヘッド１０６を二本のＹ軸ガイドレール１０７ｂの間となる領域のほぼ全体に搬送することを可能としている。
なお、各モータは、ぞれぞれの回転量がマシン制御装置１５に認識され、所望の回転量となるように制御されることにより、ヘッド１０６を介して吸着ノズル１の位置決めを行っている。
また、電子部品Ｃの実装作業の必要上、前記したフィーダバンク１０２，搭載作業部１０４とはいずれもＸ−Ｙガントリ１０７によるヘッド１０６の搬送可能領域内に配置されている。
【００２６】
フィーダバンク１０２には、複数の電子部品フィーダ１０１がＸ軸方向に沿って羅列して載置装備される。
各電子部品フィーダ１０１は、後端部に電子部品Ｃが一列に並んで封止された部品テープのリール（図示略）が保持されており、部品テープはリールから電子部品フィーダ１０１の先端部（基板側の端部）の上側に設けられた部品受け渡し位置１０１ａまで繰り出され、当該部品受け渡し位置１０１ａにおいて吸着ノズル１により電子部品Ｃの吸着が行われるようになっている。
【００２７】
マシン制御装置１５は、基板Ｋに搭載する電子部品Ｃのリスト、搭載順番、各電子部品Ｃの部品吸着位置（いずれの電子部品フィーダ１０１から受け取るか）及び基板Ｋにおける搭載位置等が定められた搭載プログラムを記録し、当該搭載プログラムに従ってＸ軸モータ１０９、Ｙ軸モータ１１０及びＺ軸モータ１１１を制御し、ヘッド１０６の位置決め制御を行う。また、このマシン制御装置１５は、吸着時の電子部品Ｃに対してθ軸モータ１１２を駆動して吸着ノズル１を回転させて角度修正制御を行い、Ｘ軸モータ１０９及びＹ軸モータ１１０により位置修正制御を行う。
かかるマシン制御装置１５は、搭載作業部１０４に基板Ｋが搬送されると基板用カメラ５によりその基板マークを撮像する。また、電子部品Ｃの吸着ノズル１による吸着時に部品用カメラ６による撮像を行う。そして、これらの撮像画像により、画像処理装置１９は基板Ｋ及び電子部品Ｃの正確な位置や向きを求め、これらの情報に基づいて電子部品Ｃの位置や角度を修正して実装作業を行うようになっている。
【００２８】
［画像処理装置］
画像処理装置１９は、各カメラ５，６及びその照明装置３，４と画像処理装置全体を制御する制御部１２と、各カメラ５，６の画像信号をデジタル化するＡ／Ｄコンバータ８と、デジタル化された多値化画像データ（以下、単に「画像データ」とする）を記憶する画像メモリ９と、画像データに基づいて基板マーク又は電子部品Ｃの位置認識を行うための画像処理を実行する演算部１１と、画像処理やその他の処理において作業領域となる作業用メモリ１０と、画像処理装置１９の制御部１２がマシン制御装置１５とのデータ通信を行うインターフェイス１３と、過去に使用して調整が必要であったテンプレートデータをキャシングしておくフラッシュメモリからなるパラメータ記憶部としてのテンプレートデータ格納メモリ１４と、各種のデータをアナログ化してモニタ１７に出力するＤ／Ａコンバータ１８とを備えている。
【００２９】
上記の構成において、画像処理装置１９とマシン制御装置１５はインターフェイス１３を介して接続され、マシン制御装置１５からの処理要求がコマンドとして、画像処理装置１９に送信され、画像処理装置１９での処理結果がレスポンスとして、マシン制御装置１５に返信される。
【００３０】
［電子部品実装装置における基板マークの位置認識］
上記構成からなる電子部品実装装置１００による基板マークを画像認識動作について説明する。
マシン制御装置１５は、ヘッド１０６に搭載された基板用カメラ５及び照明装置４が対象となる基板マークの上に位置するようにヘッド１０６を移動位置決めし、照明装置４を点灯させる。
そして、マシン制御装置１５は、インターフェイス１３を介して、画像処理装置１９に対して、いずれのカメラ５，６を使用するかを特定するカメラチャネル情報と撮像指示及び基板マークの位置認識指示の入力を行う。
基板マークの位置認識には、当該基板マークのテンプレートデータが必要であるため、実装作業を行う前に、テンプレートデータはインターフェイス１３を通じてマシン制御装置１５から画像処理装置１９に送信されている。
マシン制御装置１５から送信される、既に作成済みのテンプレートデータは、まず、作成時にその撮像環境に合わせて必ず１回はパラメータの調整がされている。さらに、過去の生産動作において、既に何度か調整されている場合もある。これら調整履歴は、テンプレートデータのテンプレート属性情報（図４−２０a）に記録されている。
なお、基板マークの位置認識を行うために、テンプレートデータに限らず、基板マークの形状とサイズの寸法データのみを、予め、マシン制御装置１５から画像処理装置１９に送信し、画像処理装置１９において、寸法データからテンプレートデータを生成しておくことも可能である。
【００３１】
マシン制御装置１５から撮像指示と位置認識指示が入力されると、画像処理装置１９は、基板用カメラ５を制御して基板マークの撮像を行い、Ａ／Ｄコンバータ８でデジタル化し、画像メモリ９に多値画像データとして記憶する。
そして、画像処理装置１９は、演算部１１及び制御部１２を用いて基板マークの位置認識に要する各種の処理を実行し、その過程で生成させる処理データは、作業用メモリ１０に記憶される。
そして、画像処理装置１９は、基板マークの位置認識の処理結果を、レスポンスとしてインターフェイス１３を介してマシン制御装置１５に返信すると共に、処理結果や撮像画像データをＤ／Ａコンバータ１８でアナログ化してモニタ１７に表示する制御を行う。
【００３２】
［電子部品実装装置における電子部品の位置認識］
電子部品Ｃの位置認識の場合には、マシン制御装置１５は、吸着ノズル１により電子部品Ｃをピックアップし、ヘッド１０６を部品用カメラ６上に移動位置決めし、照明装置３を点灯させる。
そして、マシン制御装置１５は、インターフェイス１３を介して、画像処理装置１９に対して、いずれのカメラ５，６を使用するかを特定するカメラチャネル情報と撮像指示及び電子部品Ｃの位置認識指示の入力を行う。
電子部品Ｃの位置認識の場合にも電子部品Ｃの外形を示すテンプレートデータが必要であるため、実装作業を行う前に、当該テンプレートデータはインターフェイス１３を通じてマシン制御装置１５から画像処理装置１９に送信されている。
そして、画像処理装置１９は、部品用カメラ６により電子部品Ｃを撮像してその多値画像データを画像メモリ９に格納し、演算部１１及び制御部１２を用いて基板マークの位置認識に要する各種の処理を実行し、電子部品の位置認識の処理結果を、レスポンスとしてマシン制御装置１５に返信する。また、この場合も、処理結果や撮像画像データをモニタ１７に表示する。
マシン制御装置１５は、上記電子部品の位置認識処理によって正常に位置認識結果を受け取ると、ヘッド１０６を通じて吸着ノズル１を電子部品Ｃの目標搭載位置に移動位置決めし、位置認識結果に従って、吸着ノズル１に対する電子部品Ｃの吸着ずれ（部品中心と吸着中心間のずれ及び吸着角度ずれ）を各モータ１０９，１１０，１１２の制御により補正し、電子部品Ｃを基板上に搭載する。
【００３３】
［画像認識性能の再確認のタイミングの取得方法］
この画像処理装置１９は、上述の基板マークの位置認識又は電子部品Ｃの位置認識における一連の処理において、「画像認識毎の相関値の変移」及び「画像データ特徴量の変移」について監視を行うことで、画像認識（位置認識）性能（精度・タクト）の低下を検知し、その再計測のタイミングを検知することを可能としている。
この画像認識性能の低下は、基板マークや電子部品Ｃのテンプレートデータのテンプレートパラメータにおける調整(調整部)の必要性を示すものである。
【００３４】
まず、「画像認識毎の相関値の変移」について説明する。
画像処理装置１９では、基板マーク又は電子部品Ｃの位置認識のためにテンプレートマッチング処理を行った時の毎回のマッチング時の相関値を対象物毎に履歴として記録管理するために、作業用メモリ１０に設けられたリングバッファに相関値の履歴を記録している。そして、毎回の相関値の変化を監視することにより、相関値の低下を検知することができる。
かかるテンプレートマッチングの処理においては、相関値について許容される下限値をエラー判定用の閾値として予め設定しているが、エラー判定とならないまでも、相関値がティーチング時のベストな値より低下しているのであれば、性能低下の兆候と考えることができる。
【００３５】
次に、「画像データ特徴量の変移」の監視について説明する。
画像処理装置１９は、認識結果をマシン制御装置１５に送信した後、次の認識処理までの空き時間を利用して、画像メモリ９に記録されている、直前に撮像した画像データの特徴を示すヒストグラムやライトマップ等の計測処理を行う。
ヒストグラムは画像データの各画素の濃度値の分布を示すものであり、ライトマップは画像内の任意の線上の濃度値の変化を示す。
画像処理装置１９では、毎回の位置認識のサーチ画像のヒストグラムとライトマップ（これらを「画像データ特徴量」とする）のデータを作業用メモリ１０内の後述するステータス管理ブロック３９に記憶して履歴管理を行っている。
そして、直前の撮像までの画像データ特徴量の計測データについて、平均化等により基準データを作成し、当該基準データと直前の撮像における画像データ特徴量とを比較して画像データの評価を行う。そして、この評価の結果、画像データ特徴量の変移が検知されると、画像処理装置１９は、画像認識性能（精度・タクト）の再確認が必要であることを認識する。
なお、この画像データ特徴量の計測データの平均化と、直前の画像データ特徴量との比較評価は、後述する画像データ監視部４９により行われる処理である。即ち、この画像データ監視部４９は、平均処理部及び監視部として機能するものである。
【００３６】
また、「画像認識毎の相関値の変移」及び「画像データ特徴量の変移」の検知以外にも、画像処理装置１９は、マシン制御装置１５からの通知によって、画像認識性能の再確認のタイミングを得ることが可能となっている。例えば、マシン制御装置１５はロットの切り替わりを検知すると、画像認識装置１９に対して画像認識性能の再確認の要求通知を行い、これに対して、画像認識装置１９は、画像認識性能の再確認を行って、必要であればテンプレートの調整を行う。
【００３７】
［タスク構成］
図３に画像処理装置１９内のタスク構成とデータフローを示す。
画像処理装置１９は、基板マーク及び電子部品Ｃの位置認識のための画像認識と、画像認識性能の低下の検知と、当該検知によるテンプレートデータのテンプレートパラメータの調整とを実施するために、画像処理装置１９のタスクは、コマンド解析タスク３５、画像入力タスク３６、認識実行タスク３７、テンプレート調整タスク３８の四つのタスクから構成されている。
【００３８】
［コマンド解析タスク］
コマンド解析タスク３５は、マシン制御装置１５からのコマンド３１の受信、レスポンス３２の送信を行う。
また、認識処理に必要なテンプレートデータ３０の受け渡しもコマンド解析タスク３５が行う。テンプレートデータ３０は、マーク認識コマンドや部品認識コマンドの前にあらかじめマシン制御装置１５から受信し、テンポラリデータとしてのテンプレートデータ３０Ａとして装置内に保持される。
さらに、コマンド解析タスク３５は、基板マークや電子部品Ｃの認識処理など、高速なタクトが要求されるコマンドをマシン制御装置１５から受信した場合には、画像入力と並列で認識処理が進められるよう、画像入力タスク３６、認識実行タスク３７にそれぞれの処理毎に実行要求を通知する。
この時のタスクの優先順位は、コマンド解析タスク３５＞画像入力タスク３６＞認識実行タスク３７となるように定められている。これにより、コマンド受信には、コマンド解析タスク３５が即時反応し、マシン制御装置１５の画像入力待ちを最小に、かつ画像入力中のＣＰＵの空き時間を利用し、認識実行処理が効率よく実行できるようになっている。また、前回のコマンドによる認識処理の実行と、新しく受信した次の回のコマンドによる画像入力とを並列で進めることも可能となっている。
【００３９】
［認識実行タスク］
認識実行タスク３７は、部品認識部４０とマーク認識部４１とを受け持っている。
認識実行タスク３７は、部品認識部４０の実行時、相関値、タクトをステータス管理ブロック３９に記録する。このステータス管理ブロック３９は作業メモリ１０に確保される。なお、これら相関値とタクトは、毎回の画像認識により求められ、これらが履歴として記録される。即ち、ステータス管理ブロック３９は、相関値記録部として機能するものである。
【００４０】
［テンプレート調整タスク］
テンプレート調整タスク３８は、テンプレートの調整を行うか否かを判定する起動判定部４２と、性能値計測部としての精度・タクトの計測部４３と、テンプレート調整部４４とを実行する。
テンプレート調整タスク３８は、優先順位が４つのタスク３５〜３８の中で最低に設定されており、これにより、生産中にバックグラウンドでテンプレートの調整を行い、電子部品Ｃの実装作業に関する処理能力を低下させないようにしている。
【００４１】
画像処理装置１９は、テンプレートデータに含まれるティーチング時の性能（精度・タクト）値を作業用メモリ１０のステータス管理ブロック３９に保持しておく。即ち、このステータス管理ブロック３９は、テンプレートマッチング処理における基準性能値を記憶する性能記憶部として機能するものである。
前述したコマンド解析タスク３５は、マーク又は電子部品Ｃの認識処理の終了毎に、テンプレート調整タスク３８を起床し、まず、起動判定部４２の処理を実行させる。
この起動判定部４２は、テンプレートの調整の実行の判定を行うものであり、ステータス管理ブロック３９を参照し、状況に応じて、精度・タクトの計測４３及びテンプレートの調整部４４の処理を呼び出す。テンプレートが調整不可能と判定した場合は、警告部４７を呼び出して調整不可能を報知する。
【００４２】
テンプレートの調整を行う場合、テンプレート調整タスク３８の優先度は、精度・タクトの悪化度合いに応じて変動調整される。
精度の悪化度合いは、再計測精度値が基準精度値よりも小さい場合は0（％）とし、大きい場合は、（再計測精度値−基準精度値）／基準精度×100（％）で計算する。
また、タクトの悪化度合いは、再計測タクト値が基準タクト値よりも小さい場合は0（％）とし、大きい場合は、（再計測タクト値−基準タクト値）／基準タクト値×100（％）で計算する。
そして、上記精度とタクトの２つの悪化度合いに重み係数ｋ、ｌをかけ、一つの評価値としてまとめる。このとき、ｋ＋ｌ＝１となることを前提として、重み係数ｋ、ｌは精度とタクトの重要性に応じて任意に設定される。
すなわち、精度・タクトの悪化度合いは、正常時は0、異常時は、基準値と比較した度合いを示し、例えば100％であれば、基準値より２倍ほど悪くなったということになる。
【００４３】
また、精度・タクトの悪化度合いに下限値を定め、悪化度合いがわずかの場合（例えば、双方が10％未満）には調整は行わないように定めることも可能である。
さらに、悪化度合いが調整の実行範囲であるが、小さい場合（例えば、10％以上、50％未満）は、テンプレート調整タスク３８の優先度を他のタスクよりも低く設定して緊急度を低くし、空き時間で処理する等、できるだけ生産効率を落とさないで済むようにする。また、悪化度合いが大きい場合（50％以上）は、優先度をコマンド解析タスク３５の次の順位として緊急度を高くし、即対応するように定めても良い。
ここで、テンプレートの調整の起動を制御する、の基準精度値、基準タクト値や重み係数ｋ，ｌ及び悪化度合いの２つの閾値（調整を行うための閾値［10％］と緊急度の高低を振り分ける閾値［50％］）は、認識対象物毎に調整できるよう、テンプレートデータに格納領域を設けて、ユーザが設定変更可能なようにする。
【００４４】
［画像入力タスク］
画像入力タスク３６は、電子部品Ｃの実装作業時における電子部品Ｃ及び基板マークの撮像による画像入力、即ち、撮像画像の多値化画像データの取得が主要な処理であり、当該画像入力が終了すると、コマンド解析タスク３５の次であった優先順位が４つのタスクの最低に設定され、他のタスクがすべてウェイト状態となっているアイドリング時間に、画像データ特徴計測部４８と画像データ監視部４９の処理が行われるように定められている。なお、この画像データ特徴計測部４８は、サーチ画像から画像上の特徴量を計測する特徴量計測部として機能するものである。
【００４５】
但し、電子部品Ｃの実装作業における次のコマンドが入力されると、画像入力タスクの優先順位はデフォルトに戻される。また、この時点で、上記の画像データ特徴計測処理部４８及び画像データ監視処理部４９の処理が終わっていない場合は、これらの処理はキャンセルされる。一方、次のコマンドの入力がなく、アイドル時間内に計測、監視の両処理が終了したならば、その結果に応じて、テンプレート調整タスク３８にリクエストを入力する。そして、これら監視、計測の全てのバックグラウンド処理が完了したら、ウェイト状態に移行する前に優先順位はデフォルト、即ち、コマンド解析タスク３５の次の順位に戻される。
【００４６】
［テンプレートデータの構成］
図４にテンプレートデータの構成を示す。
テンプレートデータ２０は、テンプレート属性情報２０ａ、モデルエッジ情報２０ｂ、サーチパラメータ２０ｃ、性能基準値２０ｄからなる４つのブロックから主に構成される。
【００４７】
テンプレート属性情報２０ａは、テンプレートの管理属性を記述する部分である。
テンプレート属性情報２０ａの属性データは、このテンプレートデータについて過去に行われた調整の記録である「調整履歴」と、過去に行われた調整の発生確率を示す「頻度」と、テンプレートデータ格納メモリ１４において調整済みテンプレートデータを検索するための「チェックコード」とからなる。
「調整履歴」は、各マシンでの生産時にテンプレートのデータの再調整が発生した場合、その旨を記録する領域である。
「チェックコード」は、テンプレート作成時に使用したテンプレート画像の濃淡データのチェックサムもしくは、ＣＲＣ(Cyclic Redundancy Check)値などを使用し、同じソースデータから生成されたデータであることを確認するものである。但し、テンプレートのＩＤ番号がユニークであるよう管理されるのであれば、ＩＤ番号にて代替可能である。
【００４８】
モデルエッジ情報２０ｂは、テンプレートの形状を示す複数のエッジ点の「エッジ座標」と、各エッジ点における「エッジ勾配ベクトル」とによるサーチすべき対象物の形状を示す情報を含んでいる。
【００４９】
サーチパラメータ２０ｃは、サーチ画像上の対象物を抽出するために必要な情報を含んでいる。
具体的には、「最小濃度値」、「エッジ検出フィルタサイズ」、「最小エッジ強さ」、「ピラミッド開始層」などが挙げられる。
【００５０】
性能基準値２０ｄは、マークや部品の認識処理にて性能が低下しているかどうか、さらに再調整の緊急度を判断するための比較データを含んでいる。
具体的には、「相関値しきい値」、「繰り返し精度」、「タクト」、「補正係数」、「再調整しきい値」などが挙げられる。
【００５１】
テンプレートデータ２０は、生産動作を始める前に、あらかじめ図２に示すマシン制御装置１５から、インターフェイス１３を介して、画像処理装置１９に送信される。
画像処理装置１９は、図４に示すテンプレートデータのテンプレート属性情報２０ａの調整履歴、頻度を参照し、これに基づく設定動作を制御する（図１０にて後述する）。新規作成されたテンプレートデータ２０の場合、テンプレート属性情報２０ａの調整履歴、頻度は未設定であり、その場合、そのまま図２に示す作業用メモリ１０のテンプレートデータ格納領域に設定されることになる。
なお、後述するテンプレート調整の処理が実行される際には、上記「エッジモデル情報２０ｂ」と「サーチパラメータ２０ｃ」が修正の対象となる。
【００５２】
基板マークの画像認識の場合、形状、サイズ等の寸法データのみを画像処理装置１９に送信し、内部的にモデルテンプレートデータを生成し、新規作成されたテンプレートと同等の適用が可能である。
但し、今回の生産動作における調整履歴を再利用しようとする場合は、テンプレートデータをバックアップし、次回は寸法データではなく、テンプレートデータを送信しなければならない。
【００５３】
［テンプレートデータの作成処理］
ここで、テンプレートデータの作成処理について説明する。テンプレートデータの作成の処理については、特願2010-214489に示されているものと同様である。
当該テンプレートデータの作成処理を図５に示すフローチャートに基づいて説明する。
【００５４】
まず、基準姿勢の対象物（基板マーク又は電子部品Ｃ）の画像を撮像し、多値化画像データ化してテンプレート画像データとして画像メモリ９に記憶する（ステップＳ１）。
【００５５】
次に、テンプレートのサーチパラメータを決定する。
決定が行われるサーチパラメータは、最小濃度値（対象物とみなす濃度値の最小値）、最小エッジ強さ（エッジとみなす最小のエッジ強さ）、エッジスケール（エッジ勾配の幅＝エッジ検出フィルタサイズ）、最大エッジ点数（テンプレートデータとして登録するエッジの数）である。
【００５６】
上記最小濃度値は、画像メモリ９に記憶されているテンプレート画像データに対して、公知の判別分析法を用いて背景領域と対象物領域を分離する閾値を求め、これを最小濃度値として取得する（ステップＳ２）。
【００５７】
次に、ステップＳ２で取得した最小濃度値を用いてテンプレート画像データを二値化すると共に、二値化して得られた二値化データ対して、エッジ検出フィルタサイズに合わせて膨張処理を行う（ステップＳ３）。
【００５８】
次に、画像メモリ９に記憶されているテンプレート画像データに対して、予め用意した複数のエッジスケール候補値の中で最大のエッジスケール値を用いてフィルタ処理を行う（ステップＳ４）。
【００５９】
次に、ステップＳ３で求めた二値化データを用いて、ステップＳ４で求めたフィルタ出力値について、背景領域、対象物領域別にそれぞれ統計処理を行い、各領域の濃度分布の平均値、分散値、最小値、最大値を求める。
そして、例えば、背景領域の最大エッジ強さと対象物領域の最小エッジ強さの平均を取る等の手法により、最小エッジ強さを取得する（ステップＳ５）。
【００６０】
次に、ステップＳ５で設定した最小エッジ強さに基づいて、ステップＳ４で求めたフィルタ出力値に対して閾値処理を行い、エッジ点を検出する（ステップＳ６）。
【００６１】
次に、エッジスケールの適正化を行う。即ち、ステップＳ６で検出したエッジ点に対して、前述した複数のエッジスケール候補値を段階的に落としてフィルタ演算を行い、各エッジスケール候補値でのフィルタ出力値が最も大きくなる（フィルタの反応が強い）エッジスケール値を特定し、これをエッジスケール基準値とする（ステップＳ７）。
【００６２】
次に、ここまでの処理で得られたサーチパラメータ値を用いてテンプレート画像のエッジを検出し、得られた複数のエッジ点の座標と各エッジ点におけるエッジ勾配ベクトルとで構成されるモデルエッジ情報を作成し、これをテンプレートデータに登録する（ステップＳ８）。
【００６３】
次に、ステップＳ８までに得られたモデルエッジ情報に基づくテンプレートデータに対して既知のデータからなるサーチ評価用の画像データについてピラミッド構造サーチの手法によってサーチ処理（パターンマッチング処理）を実行する（ステップＳ９）。サーチ用パラメータとしては、最小濃度値、最小エッジ強さ、エッジスケール値、ピラミッド開始層を用いる。なお、ピラミッド開始層については、作業者が適宜設定する。
【００６４】
上記サーチ処理において、タクトタイムを計測し、また、サーチ結果から画像認識の精度を算出する。精度は、既知のサーチ評価用の画像データに対し、マッチング処理の結果による位置ズレ量から算出する（ステップＳ１０）。
【００６５】
次に、最大エッジ点数の最適化を行う（ステップＳ１１）。テンプレートデータのエッジ点数を減ずると、タクトタイムは短縮できるが、その一方で、精度は低下する。従って、予め定められた、要求精度を保つことのできる範囲で、エッジ点数の間引き処理を行い、エッジ点数を削減する。
そして、最終的に得られたエッジ点数のテンプレートデータで計測したタクトタイム及び精度を、当該テンプレートデータの性能の基準値として登録する。
以上の処理により、テンプレートデータは作成される。
【００６６】
［画像認識処理］
次に、画像処理装置１９が行う画像認識処理について図６のフローチャートに基づいて説明する。
この画像認識処理は、マシン制御装置１５が基板マークや電子部品Ｃの位置情報を得るために、マシン制御装置１５から画像処理装置１９に基板マーク又は電子部品Ｃの画像認識コマンドを入力された時に実行される。
【００６７】
まず、サーチ画像として、基板マークや電子部品Ｃ等の対象物の画像を撮像する（ステップＳ４１１）。
上記撮像されたサーチ画像の多値化画像データについて、エッジ検出処理を行う（ステップＳ４１２）。
ステップＳ４１２にて得られたエッジから複数の向きのエッジベクトルが混在する部分（コーナー）を特徴部分として抽出する（ステップＳ４１３）。
【００６８】
抽出されたサーチ画像の特徴部分にて得られた特徴を用いて、まず高速に粗サーチを行い（ステップＳ４１４）、大まかな位置決めをしてから、エッジを用いて精サーチを行い、高精度な位置決め結果を得る（ステップＳ４１５）。
【００６９】
また、位置決めの正当性を評価するために、位置決め完了位置における相関値を計算する（ステップＳ４１６）。ここで、相関値とは、各エッジ点におけるテンプレート上のエッジベクトルとサーチ画像上のエッジベクトルの一致度の平均値である。0〜１の値で示し、完全一致の場合には「１」となる。部品認識毎、部品ＩＤ毎に相関値の履歴をステータス管理ブロック３９にて記録する（ステップＳ４１７）。
【００７０】
画像処理装置１９は、画像認識の処理により求められた基板マーク又は電子部品Ｃの位置情報に基づいて、画像認識コマンドのレスポンスとして、基板マークの位置情報又は電子部品Ｃの吸着ずれ（ｘ，ｙ，θ）の情報を返信する。
【００７１】
［画像データ監視処理］
画像処理装置１９において、上述の画像認識処理が終了し、マシン制御装置１５からの次のコマンドの入力を受けていない状態において、画像入力タスク３６は、画像データの監視処理を実行する。この画像データの監視処理は、例えば、画像認識コマンドの合間、即ち、一つの画像認識処理が終了し、次の画像認識処理が開始されるまでの間等でその処理が実行される。
図７は画像データの監視の処理のフローチャートである。
【００７２】
まず、画像処理装置１９は、直前の撮像による画像データを参照する（ステップＳ４０１）。
画像データにはコマンド情報が埋め込まれており、当該コマンド情報から基板マーク種別若しくは部品種別又は基板マークＩＤ若しくは部品ＩＤを取得する。
そして、直前の撮像による画像データについて、ヒストグラム及びライトマップの計測処理を行い、当該画像データの撮像対象である基板マークの種別若しくは部品種別又は基板マークＩＤ若しくは部品ＩＤ毎にヒストグラム及びライトマップの履歴管理を行う（ステップＳ４０２）。
【００７３】
次に、画像データの特徴量について、直前の撮像による画像データ以前の画像データについて計測された特徴量を平均化し、直前の撮像による画像データの特徴量と比較する。これらの特徴量の比較において、相互間に顕著な差異が生じているか否かの判定により、画像データの異常検知を行う（ステップＳ４０３）。
その結果、異常が検知されたならば、画像処理装置１９は自身に対して内部的に画像認識性能の再確認コマンドを送信する（ステップＳ４０４）。
【００７４】
［マシン制御装置からの画像認識性能の再確認の要求の処理］
マシン制御装置１５は、図８に示すように、任意のタイミングで、画像処理装置１９に画像認識性能の再確認コマンドを送信することができる。画像処理装置１９はこのコマンドを受信したら、図３に示すステータス管理ブロック３９にその旨を記録する（ステップＳ４０５）。
【００７５】
［テンプレートの調整処理］
画像処理装置１９では、ステータス管理ブロック３９をチェックし、画像認識性能の再確認を行うタイミングを検知し、必要に応じてテンプレートの調整を実施するために、テンプレート調整タスク３８を備えている。テンプレート調整タスク３８は、画像認識コマンドの終了毎にコマンド解析タスク３５から起動される。
【００７６】
図９にテンプレート調整処理のフローチャートを示す。
テンプレート調整タスクは、ステータス管理ブロック３９の画像認識性能の再確認要求フラグの状態をチェックし、「繰り返し精度計測」の起動が必要であるかどうかの判定を行う。
【００７７】
さらに、ステータス管理ブロック３９の認識結果履歴を参照し、相関値、タクトが基準値に比べて低下していないか、相関値については、基準値以上の値であっても、前回の画像認識性能の再確認からの平均、今回の画像認識性能の再確認直後の平均、直前複数回の平均を比較することで、低下の傾向にあるかどうかまで、チェックする（ステップＳ５０１）。
【００７８】
相関値は０〜１の値を示し、高いほど、認識結果の信頼度が高い。基準値としては通常、0.6〜0.9辺りの値が妥当である。基準値、すなわち相関値しきい値は、認識対象物毎に調整できるよう、テンプレートデータに格納領域を設けて、ユーザが設定変更可能なようにする。
【００７９】
画像認識性能の再確認コマンドをマシン制御装置１５から受信した場合（前述のステップＳ４０６の場合）についてステップＳ５０１の起動判定を行う場合には、ロット切り替えの可能性があり、テンプレートの調整が必要になる可能性があり得るので、「繰り返し精度計測」を起動する（ステップＳ５０２）。
【００８０】
また、画像入力タスク３６が画像データ監視部４９において異常を検知し、画像認識性能の再確認コマンドを内部的に受信した場合（前述のステップＳ４０４の場合）についてステップＳ５０１の起動判定を行う場合には、相関値の異常を検知しているかどうかをチェックする。相関値の異常を検知している場合、ステータス管理ブロック３９に保持されている前回の画像認識性能の再確認からの認識回数を確認し、相関値の異常検知が撮像条件の変化のためかどうかを判断することができる。
なお、ここで相関値の履歴の異常検知を行う画像データ監視部４９は、相関値監視部として機能するものである。
【００８１】
さらに、ステータス管理ブロック３９の画像データ特徴量履歴から画像データ特徴量の変化度合いを判定して、ステップＳ５０１の起動判定が行われる。なお、ここで、ステータス管理ブロック３９は、特徴量の履歴を記録する特徴量記録部として機能するものである。
画像データ特徴量として、画像データ全域のヒストグラムの山の数、各山のピーク値と分散（ヒストグラム計測）、画像データの数箇所の局所領域の、最大、最小、平均値（ライトマップ計測）を使用する。
【００８２】
それぞれ対応する特徴量の差の自乗にそれぞれの特徴量別に設定した重み係数をかけて、総和をとったものを変化量とする。変化度合いとは、横軸に測定回数、縦軸に変化量をとったグラフの傾きの絶対値であり、０〜π/2で示すことができる。この間にしきい値を設けることにより次のような判定を行うことができる。
【００８３】
例えば、変化が急激に起こっている（変化度合いがπ／４以上か）かどうかを確認する。徐々に変化していた場合（変化度合いがπ／４未満か）、部品や基板の状態変化よりも、撮像条件が変化した可能性の方が高いので、撮像系異常の警告が必要であると判定し（ステップＳ５０２：ＮＯ、ステップＳ５０３：ＹＥＳ）、警告部４７による警告通知を行い（ステップＳ５０７）、タスクを終了させる。
ロット切り替えの可能性や、撮像条件の変化もなく、相関値にも異常が認められなければ、テンプレートデータの調整処理の起動は不要と判断し（ステップＳ５０２：ＮＯ、ステップＳ５０３：ＮＯ）、タスクを終了させる。
【００８４】
次に、「繰り返し精度計測」（ステップＳ５０４）の処理について詳細に説明する。
テンプレート調整タスク３８は、画像入力タスク３６が次回の画像取得時に繰り返し精度評価画像の取得と評価画像の取得終了の通知をテンプレート調整タスク３８に行うように設定するようにコマンド解析タスク３５に返答し、タスクを休止する。
画像入力タスク３６が、繰り返し精度評価画像を取り終えたことを、テンプレート調整タスク３８に通知し、タスクの起動を行う。画像入力タスク３６は、タスクの起動時に、テンプレート調整タスク３８の優先度の調整することで、生産動作と調整動作の優先度を制御することができる。
【００８５】
例えば、画像処理装置１９では、「繰り返し精度計測」（ステップＳ５０４）までは、テンプレート調整タスク３８の優先度は最低値に設定し、生産動作の空き時間で行うようにしている。繰り返し精度の取得後は、精度悪化の判定値を(1)調整が必要かどうか、必要な場合は、(2)軽度か、(3)重度かの計３段階で設定している。そして、調整が必要な場合であって、精度悪化の判定値が軽度の場合には、認識実行タスクの優先度より低く設定し、生産動作を優先するように、調整が必要な場合であって、精度悪化の判定値が重度の場合には、認識実行タスクより優先度を高く設定し、調整動作を優先して行うようにする。
【００８６】
「繰り返し精度計測」（ステップＳ５０４）の結果、精度の悪化により調整が必要と認められたら（ステップＳ５０５）、「テンプレートの調整」を起動する。調整終了後、「テンプレートデータを調整した」という履歴をテンプレートデータ２０のテンプレート属性情報２０ａに記録する（ステップＳ５０６）。
そして、「テンプレートの調整」が完了したら、タスクを終了させる。
【００８７】
生産が終了したら、マシン制御装置１５は、画像処理装置１９からテンプレートデータ２０の調整履歴を吸い上げる。また今回の生産で調整履歴が更新されたテンプレートデータ２０については、画像処理装置１９のテンプレートデータ格納メモリ１４にキャッシングする。
【００８８】
生産中に調整されたテンプレートデータ２０は、次回の生産でも引き続き使用することで、再調整の処理を削減でき、効率よく生産を行うことができる。
但し、これらの調整されたテンプレートデータは各電子部品実装装置１００に依存しており、他の電子部品実装装置１００にそのまま適応できる可能性は少ない。そのため、調整されたテンプレートデータ２０は、調整を行った各々の電子部品実装装置１００毎でそのまま保存される。
【００８９】
［テンプレートデータのキャッシュ管理］
図１０に前述したテンプレートデータ格納メモリ１４上でのテンプレートデータのキャッシュ管理の態様を示す。
登録テンプレートデータ７０について、テンプレートデータの特定のために、ＩＤ７０ａとチェックコード７０ｂとを設けている。
また、テンプレートデータ７０の登録領域７１は、リングバッファ構造となっており、登録数の格納領域７１ａと最大登録数分の配列７１ｃとＷｒｉｔｅポインタ７１ｂとＲｅａｄポインタ７１ｄから構成される。
テンプレートデータ７０の登録領域７１がリングバッファ構造であるため、登録テンプレートデータは最大登録数分登録されたら、古いものから順に上書きされていく。この登録領域７１は、テンプレートデータを少なくとも一以上記憶保持可能なデータ登録部として機能するものである。
【００９０】
次回の生産時に画像処理装置１９にテンプレートデータ７２が送信されたなら、まず、テンプレート属性情報２０ａ（図４参照）の調整履歴、頻度が参照される。
テンプレートデータ７２に調整履歴がある場合には、テンプレートデータ格納メモリ１４のキャッシュ管理データ内に既に再調整されたテンプレートデータがあるかどうかが検索される。検索範囲は、Ｒｅａｄポインタ７１ｄと登録数７１ａから特定できる。同一部品のテンプレートかどうかの特定は、新たに受け取ったテンプレートデータ７２のＩＤ７２ａもしくはチェックコード７２ｂを用いて行う。
なお、ここで、同一部品のテンプレートかどうかの特定を可能とするＩＤ７２ａ若しくはチェックコード７２ｂは、対象物を特定する識別情報として機能する。
【００９１】
該当するデータがあったら、登録領域７１から読み出し、テンプレートデータを差し替えて作業用メモリ１０に格納する。
該当するデータがない場合は、ステータス管理ブロック３９に調整が必要であることを記録し、生産開始と同時に調整処理が起動するように設定する。
このとき調整頻度を参照し、テンプレート調整タスク３８の優先度が設定される。
なお、上記テンプレートデータの差し替えの処理は、画像処理装置１９の制御部１２が実施するものである。従って、この制御部１２は、テンプレートデータのパラメータを新たに入力されたテンプレートデータにコピーするパラメータ管理部として機能するものである。
【００９２】
［調整頻度の設定］
最後に調整頻度の設定のしかたについて説明する。
図１１に示すように、基板生産の実装ラインは複数台の電子部品実装装置６４，６５，６６，６７…が連結され、これらの実装装置をラインとして管理するライン管理システム６０が存在し、認識データは一元管理され、共用する構成となっている。
【００９３】
テンプレートデータは認識データの一部であり、マークもしくは部品毎にＩＤで管理される。
そして、必要に応じて、各実装装置に配信され、マーク認識や部品認識が行われ、部品の実装が行われる。テンプレートの調整は各実装装置で個別に行われることになるので、各実装装置に依存し、他の実装装置でそのまま適応できる可能性は少ない。そこで、各実装装置は調整履歴だけをライン管理システムに返答するものとする。
【００９４】
ライン管理システムは各実装装置から返ってきた調整履歴を集計し、調整頻度を算出、設定する。
調整頻度は、それぞれのＩＤ６２ａ毎に調整頻度６２ｂを保持するようにしたデータ管理構造６２を設け、管理する。調整頻度は、テンプレートデータの配信数に対する調整の実施数の比率を計算し、設定する。
調整頻度を用いて、テンプレート調整タスク３８の優先度を制御し、調整処理を行うことで、生産動作と調整動作をバランスよく、効率的に進めることができる。例えば、調整頻度が高い場合には、テンプレート調整タスク３８の優先度は生産動作よりも高く設定することが望ましい。
【００９５】
［発明の実施の形態における効果］
上記電子部品実装装置１００の画像処理装置１９では、画像入力タスク３６などにより、生産中の画像認識の異常を検知し、自動で精度・タクトの確認を行い、テンプレート調整タスク３８により、必要に応じてテンプレートの調整を自動で行なうため、ユーザの調整負担の軽減を図ることが可能である。
また、画像処理装置１９は、テンプレートマッチング処理が終わると、その性能値を計測し、性能値が基準性能値を下回るテンプレート調整タスク３８により、テンプレートマッチング処理のパラメータを調整するので、画像認識の対象物に何らかの変化が生じたり、画像認識の対象物ごとに個体差がある場合、その他、想定範囲を超える変化がある場合でも、これに伴う画像認識性能値の低下により、前述の変化を検知することができ、当該変化に対応するパラメータの適正化を図ることが可能となる。
従って、従来のように、ある固定した中央値に対して想定されたマージンの範囲内でのみ適正な画像認識を実現する場合と異なり、広い範囲に柔軟に対応して画像認識を行うことが可能となる。
【００９６】
また、マシン制御装置１５から通知だけでなく、画像処理装置１９自身で、相関値、タクト、画像データ特徴量を監視し、テンプレートの調整のタイミングを検知できるので、マシン制御装置１５と画像処理装置１９のＩ／Ｆを簡素化することが可能である。
【００９７】
さらに、各電子部品実装装置毎に調整したパラメータを統合することはできないので、テンプレートデータには調整履歴を記録し、システム側では、調整頻度を管理すると共に、基準データ、パラメータ等は変更せずに、各電子部品実装装置で速やかに各装置毎の最適データに変更できるよう、テンポラリな記憶領域を設けたり、優先順位を調整してテンプレートを作り直したりする機能を追加することで、効率的にパラメータの調整を行えるようにした。
【００９８】
また、画像データの特徴量の変化と相関値の変化を監視し、双方の変化のタイミングを分析し、対象物、もしくは撮像条件のどちら側の問題かを切り分け、自動修復できない要因については、速やかに警告部４７から通知できるようにした。これにより、テンプレートデータのパラメータについて不要な調整を回避することが可能となった。
【符号の説明】
【００９９】
１２ 制御部（パラメータ管理部）
１４ テンプレートデータ格納メモリ（パラメータ記憶部）
１９ 画像処理装置
３０ テンプレート
３９ ステータス管理ブロック（性能記憶部、特徴量記録部、相関値記録部）
４７ 警告部
４８ 画像データ特徴計測部（特徴量計測部）
４９ 画像データ監視部（平均処理部、監視部、相関値監視部）
７１ 登録領域（データ登録部）
７２ａ ＩＤ（識別情報）
７２ｂ チェックコード（識別情報）
Ｃ 電子部品（対象物）
【特許請求の範囲】
【請求項１】
テンプレートデータを用いてサーチ画像から対象物を認識するテンプレートマッチング処理を行う画像処理装置において、
前記テンプレートマッチング処理を行うためのパラメータを記憶するパラメータ記憶部と、
前記テンプレートマッチング処理における基準性能値を記憶する性能記憶部と、
前記テンプレートマッチング処理が終わるとその性能値を計測する性能値計測部とを備え、
前記性能値計測部で計測された性能値が前記基準性能値を下回る場合に、前記テンプレートマッチング処理のパラメータを調整する調整部を備えることを特徴とする画像処理装置。
【請求項２】
前記サーチ画像から画像上の特徴量を計測する特徴量計測部と、
前記画像上の特徴量について、毎回の計測による履歴を記録する特徴量記録部と、
前記画像上の特徴量の履歴から過去の複数の特徴量の平均値を求める平均処理部と、
直近の画像上の特徴量と過去の複数の特徴量との比較によって、前記直近の画像上の特徴量の異常の発生を検出する監視部と備え、
前記調整部は、前記監視部が異常を検出した場合に、前記テンプレートマッチング処理のパラメータを調整することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記特徴量とその履歴とにより、当該特徴量の変化の度合いを判定し、
当該特徴量の変化の度合いが所定の値よりも大きな場合に、撮像条件の変化が原因であるものとして、警告を行う警告部を備えることを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記テンプレートマッチング処理により求められるテンプレートとサーチ画像との相関値の履歴を記録する相関値記録部と、
前記相関値の履歴からその異常を検知する相関値監視部と、
前記調整部は、前記相関値監視部が異常を検出した場合に、前記テンプレートマッチング処理のパラメータを調整することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
前記テンプレートデータは、少なくとも、テンプレートマッチング処理を行う対象物を特定する識別情報と、テンプレートマッチング処理のパラメータとを記憶し、
前記テンプレートデータを少なくとも一以上記憶保持可能なデータ登録部と、
外部から新たに入力されたテンプレートデータの識別情報が示す対象物と同一の対象物用のテンプレートデータが前記データ登録部に登録されている場合に、前記データ登録部に登録されているテンプレートデータのパラメータを、前記新たに入力されたテンプレートデータにコピーするパラメータ管理部とを備えることを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
【請求項１】
テンプレートデータを用いてサーチ画像から対象物を認識するテンプレートマッチング処理を行う画像処理装置において、
前記テンプレートマッチング処理を行うためのパラメータを記憶するパラメータ記憶部と、
前記テンプレートマッチング処理における基準性能値を記憶する性能記憶部と、
前記テンプレートマッチング処理が終わるとその性能値を計測する性能値計測部とを備え、
前記性能値計測部で計測された性能値が前記基準性能値を下回る場合に、前記テンプレートマッチング処理のパラメータを調整する調整部を備えることを特徴とする画像処理装置。
【請求項２】
前記サーチ画像から画像上の特徴量を計測する特徴量計測部と、
前記画像上の特徴量について、毎回の計測による履歴を記録する特徴量記録部と、
前記画像上の特徴量の履歴から過去の複数の特徴量の平均値を求める平均処理部と、
直近の画像上の特徴量と過去の複数の特徴量との比較によって、前記直近の画像上の特徴量の異常の発生を検出する監視部と備え、
前記調整部は、前記監視部が異常を検出した場合に、前記テンプレートマッチング処理のパラメータを調整することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記特徴量とその履歴とにより、当該特徴量の変化の度合いを判定し、
当該特徴量の変化の度合いが所定の値よりも大きな場合に、撮像条件の変化が原因であるものとして、警告を行う警告部を備えることを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記テンプレートマッチング処理により求められるテンプレートとサーチ画像との相関値の履歴を記録する相関値記録部と、
前記相関値の履歴からその異常を検知する相関値監視部と、
前記調整部は、前記相関値監視部が異常を検出した場合に、前記テンプレートマッチング処理のパラメータを調整することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
前記テンプレートデータは、少なくとも、テンプレートマッチング処理を行う対象物を特定する識別情報と、テンプレートマッチング処理のパラメータとを記憶し、
前記テンプレートデータを少なくとも一以上記憶保持可能なデータ登録部と、
外部から新たに入力されたテンプレートデータの識別情報が示す対象物と同一の対象物用のテンプレートデータが前記データ登録部に登録されている場合に、前記データ登録部に登録されているテンプレートデータのパラメータを、前記新たに入力されたテンプレートデータにコピーするパラメータ管理部とを備えることを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−３７５１０（Ｐ２０１３−３７５１０Ａ）
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１１−１７２６９４（Ｐ２０１１−１７２６９４）
【出願日】平成２３年８月８日（２０１１．８．８）
【出願人】（０００００３３９９）ＪＵＫＩ株式会社 (1,557)
【Ｆターム（参考）】
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２３年８月８日（２０１１．８．８）
【出願人】（０００００３３９９）ＪＵＫＩ株式会社 (1,557)
【Ｆターム（参考）】
[ Back to top ]