電子部品実装装置
【課題】撮像による画像データを用いてより高精度な実装対象の電子部品の外部情報を取得する。
【解決手段】部品配置部に配置された電子部品を撮像する撮像手段１と、部品配置部と撮像手段との距離を可動調節する可動部１１１と、これらを制御して、電子部品について部品配置部と撮像手段の距離が異なる複数の画像データを取得する撮像制御部１２０と、各画像データの同一画素におけるコントラストの対比に基づいて、当該各画素における撮像手段から部品配置部の合焦点位置を求める測距処理部２３と、撮像エリア内の各画素における合焦点位置と、各画像データにおける各画素の輝度値とから、撮像エリアの一部の範囲内の画素における合焦点位置での輝度値を求め、局所全焦点画像を生成する全焦点画像生成部２５とを備えている。
【解決手段】部品配置部に配置された電子部品を撮像する撮像手段１と、部品配置部と撮像手段との距離を可動調節する可動部１１１と、これらを制御して、電子部品について部品配置部と撮像手段の距離が異なる複数の画像データを取得する撮像制御部１２０と、各画像データの同一画素におけるコントラストの対比に基づいて、当該各画素における撮像手段から部品配置部の合焦点位置を求める測距処理部２３と、撮像エリア内の各画素における合焦点位置と、各画像データにおける各画素の輝度値とから、撮像エリアの一部の範囲内の画素における合焦点位置での輝度値を求め、局所全焦点画像を生成する全焦点画像生成部２５とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像手段により得られる２次元画像データから高さデータを生成し、３次元の部品認識を可能にする電子部品実装装置に関するものである。
【背景技術】
【０００２】
従来、撮像手段としてのカメラを用いて立体形状を検出する方法としては、カメラと被写体である立体形状との相対的な距離を変えて複数の画像データを取得し、各画像データにおいて周囲とのコントラストから焦点が合っている状態の画素を求め、補間により全ての画素における焦点距離を求めて被写体の立体形状を三次元データで取得するものが挙げられる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第２９６０６８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術では、立体形状の三次元データ、即ち、撮像エリア内の各画素位置での高さを求める技術であり、撮像による画像データを画像処理にかけて実装対象の電子部品の形状的な特徴（例えば、外形、中心位置等）を算出する電子部品実装装置には適用することができなかった。
【０００５】
本発明は、撮像による画像データを用いてより高精度な実装対象の電子部品の外部情報を取得することをその目的とする。
【課題を解決するための手段】
【０００６】
請求項１記載の発明は、電子部品が配置される部品配置部と、前記部品配置部に配置された電子部品を撮像する撮像手段と、前記部品配置部と前記撮像手段との距離を可動調節する可動部と、前記可動部及び撮像手段を制御して、前記電子部品について前記部品配置部と前記撮像手段の距離が異なる複数の画像データを取得する撮像制御部と、前記複数の画像データの撮像範囲内の複数の画素の各々について、前記複数の画像データの同一画素におけるコントラストの対比に基づいて、当該各画素における前記撮像手段から前記部品配置部の合焦点位置を求める測距処理部と、前記撮像手段による撮像エリア内の前記各画素における合焦点位置と、前記複数の画像データにおける前記各画素の輝度値とから、前記撮像エリアの一部範囲内の画素における合焦点位置での輝度値を求め、当該合焦点位置での輝度値からなる局所全焦点画像を生成する局所全焦点画像生成部とを備えることを特徴とする。
【０００７】
請求項２記載の発明は、請求項１記載の発明と同様の構成を備えると共に、前記コントラスト又は前記合焦点位置に対してその範囲に制限を設けることで前記局所全焦点画像を生成することを特徴とする。
【０００８】
請求項３記載の発明は、請求項１又は２記載の発明と同様の構成を備えると共に、電子部品の前記局所全焦点画像のテンプレート画像である局所全焦点テンプレート画像の画像データを記憶するテンプレート画像記憶部と、前記局所全焦点画像生成部で生成した前記局所全焦点画像が局所全焦点テンプレート画像と合致しているかの判断に基づいて部品不良か否かを判定する不良検査部とを備えることを特徴とする。
局所全焦点テンプレート画像は、部品の3DCADデータから作成しても良いし、良品サンプル部品の撮像データから作成しても良い。
【発明の効果】
【０００９】
請求項１記載の発明は、複数の画像データの撮像範囲内の各画素でのコントラストから合焦点位置を取得する。即ち、部品配置部と撮像手段の距離（以下、「撮像距離」とする）が異なる複数の撮像を行い、当該各撮像に基づく画像データにおいて、各画素について周囲とのコントラストを求め、複数の画像データの同じ画素についてコントラストを比較する。その結果、コントラストの値が最大値となった画像データの撮像距離において、当該画素の焦点が合っている状態となる。
なお、一つの画素についてコントラストが最大値となった画像データは、最も合焦点に近い状態であり、合焦点位置に完全一致するとは限らないので、コントラストが最大値となった画像データの撮像時における撮像距離を近似的に合焦点位置と見なしても良いし、また、コントラストの大きさが１番目と２番目となる二つの画像データの撮像距離からより正確に合焦点位置を求めても良い。
そして、部品配置部と撮像手段の合焦点位置から、電子部品上の各画素での高さを算出することができる。
撮像エリアの一部の範囲内における各画素について、上記手法により電子部品上の複数の点までの高さを算出することで、電子部品の表面における随所の高さが求まることとなる。
そして、電子部品の表面上の各点において高さが求まると、電子部品の表面上の各点について、当該各点における合焦点位置に合致する撮像距離の画像データから、対応する画素位置の輝度値（輝度値）を取得する。なお、合焦点位置に合致する画像データが存在しない場合には、合焦点位置に近似する画像データの輝度値を採用しても良いし、合焦点位置に近似する複数の画像データの輝度値から合焦点位置における輝度値を近似的に算出しても良い。
そして、撮像エリアの一部範囲内の画素について、焦点が合っている状態の輝度値を取得することで局所全焦点画像（データ）を生成することができる。
この局所全焦点画像は、全画素での焦点が合っているため、画像全体をより鮮明とすることが可能である。
このため、かかる局所全焦点画像を得ることにより、撮像画像に基づく電子部品の特徴部位や中心位置を抽出或いは特定する場合等の画像処理や画像分析において高い精度を得ることが可能となる。
また、撮像エリアの一部の範囲に制限して全焦点画像を生成するので、撮像画像に基づく電子部品の特徴部位や中心位置を抽出或いは特定する場合等の画像処理をより迅速を行うと共に処理負担の軽減を図ることが可能となる。
【００１０】
請求項２記載の発明は、コントラスト又は合焦点位置に対して範囲に制限を設けて局所全焦点画像を生成するので、画像内で不要となる部位、例えば電子部品の背景などを容易に排除することが可能となる。
例えば、いずれの画像データでもある程度のコントラストが得られない場合には、各画像データの撮像を行った撮像距離の範囲内に合焦点位置が含まれないこととなる。つまり、撮像手段から最も遠くなるであろう部品配置部の配置面（背景部分）は、コントラストの制限により容易に排除することができる。
また、合焦点位置を得られた場合でもあっても合焦点位置そのものに制限を設けることにより、突出している部分、窪んでいる部分など、実装作業の必要性に応じて検出すべき部位のみを抽出して全焦点画像を取得することができ、処理データ量を低減して、効率よく処理することが可能となる。
【００１１】
請求項３記載の発明は、生成される局所全焦点画像を元に、局所全焦点テンプレート画像との合致の判断を例えばマッチング処理により行い、これにより、部品の良否判定を行うので、形状に異常のある電子部品の搭載を防止することができる。
例えば、搭載しようとしている電子部品が正常な部品である場合、局所全焦点画像と局所全焦点テンプレート画像の相関度が高くなり、正常な電子部品と判別される。一方、電子部品にそりが生じている場合などは、局所全焦点画像が一部しか得られないため、相関度が低くなり、不良と判断することができる。上記不良の判断時には、例えば、部品実装の動作制御を実行する制御に対してエラー通知を発行することが望ましい。
【図面の簡単な説明】
【００１２】
【図１】本実施形態たる電子部品実装装置の斜視図である。
【図２】撮像装置の周辺の構成を示す斜視図である。
【図３】電子部品実装装置の制御系を示すブロック図である。
【図４】１次フィルタ演算部でコントラストを求める手法を示した説明図である。
【図５】２次フィルタ演算部で平滑化を行う手法を示した説明図である。
【図６】一つの着目画素について撮像高さの異なる画像データにおける平滑化されたコントラスト値を示す線図である。
【図７】一つの着目画素について撮像高さの異なる画像データにおける平滑化されたコントラスト値を示す線図であって、ピークが得られない場合を示している。
【図８】表示装置における高さ画像データの表示例である。
【図９】表示装置における局所全焦点画像データの表示例である。
【図１０】良品の電子部品の側面図である。
【図１１】図１０に示す良品である電子部品の局所全焦点画像の例である。
【図１２】不良の電子部品の側面図である。
【図１３】図１２に示す不良である電子部品の局所全焦点画像の例である。
【図１４】吸着ノズルに吸着された電子部品の複数回の撮像から電子部品の姿勢、位置等の算出までの処理について示すフローチャートである。
【図１５】図１４の処理に不良検査を行う処理を加えた例について示すフローチャートである。
【図１６】部品配置部を電子部品を載置するステージとした例を示す斜視図である。
【発明を実施するための形態】
【００１３】
（発明の実施形態）
発明の実施形態について、図１乃至図１５に基づいて説明する。図１は、本実施形態たる電子部品実装装置１００の斜視図である。以下、図示のように、水平面において互いに直交する二方向をそれぞれＸ軸方向とＹ軸方向とし、これらに直交する鉛直方向をＺ軸方向というものとする。
電子部品実装装置１００は、基板Ｓに各種の電子部品Ｃの搭載を行うものであって、図１に示すように、搭載される電子部品Ｃを供給する複数の部品供給装置としての電子部品フィーダ１０８を複数（図１では一つのみ図示）並べて保持する設置部としてのフィーダバンク１０２からなる部品供給部と、Ｘ軸方向に基板を搬送する基板搬送手段１０３と、当該基板搬送手段１０３による基板搬送経路の途中に設けられた基板Ｓに対する電子部品搭載作業を行うための基板保持部としての基板クランプ機構１０４と、部品配置部としての複数の吸着ノズル１０５を昇降可能に保持して電子部品Ｃの保持を行うヘッド１０６と、実装動作に要する各種の情報を得るために吸着ノズル１０５に吸着された電子部品Ｃの撮像を行う撮像手段としての撮像装置１と（図３参照）、ヘッド１０６を部品供給部と基板クランプ機構１０４とを含んだ作業エリア内の任意の位置に駆動搬送する移動機構としてのＸ−Ｙガントリ１０７と、上記各構成を搭載支持するベースフレーム１１４と、上記各構成の動作制御を行う動作制御手段としてのホストコントローラ１２０と、撮像装置１の撮像により得られる画像データを処理する画像処理装置１０を備えている。
【００１４】
かかる電子部品実装装置１００は、ホストコントローラ１２０が、電子部品Ｃの実装に関する各種の設定内容が記録された実装データを保有し、実装データから実装すべき電子部品Ｃと、電子部品Ｃの電子部品フィーダ１０８等の設置位置に基づく部品受け取り位置１０８ａと、基板上の実装位置を示すデータとを読み出すと共に、Ｘ−Ｙガントリ１０７を制御してヘッド１０６を電子部品Ｃの受け取り位置１０８ａと実装位置とに移送し、各位置においてヘッド１０６を制御して吸着ノズル１０５の昇降動作及び吸着又は解放動作を行い、電子部品Ｃの実装の動作制御を実行する。
【００１５】
（基板搬送手段及び基板保持部）
基板搬送手段１０３は、図示しない搬送ベルトを備えており、その搬送ベルトにより基板をＸ軸方向に沿って搬送する。
また、前述したように、基板搬送手段１０３による基板搬送経路の途中には、電子部品Ｃを基板へ搭載する際の作業位置で基板Ｓを固定保持するための基板クランプ機構１０４が設けられている。かかる基板クランプ機構１０４が装備されており、基板搬送方向に直交する方向における両端部で基板Ｓをクランプするようになっている。また、基板クランプ機構１０４の下方には、クランプ時に基板Ｓの下面側に当接して電子部品搭載時に基板Ｓが下方に撓まぬように支承する複数の支持棒が設けられている。基板Ｓはこれらにより保持された状態で安定した電子部品Ｃの搭載作業が行われる。
【００１６】
（Ｘ−Ｙガントリ）
Ｘ−Ｙガントリ１０７は、Ｘ軸方向にヘッド１０６の移動を案内するＸ軸ガイドレール１０７ａと、このＸ軸ガイドレール１０７ａと共にヘッド１０６をＹ軸方向に案内する二本のＹ軸ガイドレール１０７ｂと、Ｘ軸方向に沿ってヘッド１０６を移動させる駆動源であるＸ軸モータ１０９と、Ｘ軸ガイドレール１０７ａを介してヘッド１０６をＹ軸方向に移動させる駆動源であるＹ軸モータ１１０とを備えている。そして、各モータ１０９、１１０の駆動により、ヘッド１０６を二本のＹ軸ガイドレール１０７ｂの間となる領域のほぼ全体に搬送することを可能としている。
なお、各モータ１０９、１１０は、それぞれの回転量がホストコントローラ１２０に認識され、所望の回転量となるように制御されることにより、ヘッド１０６を介して吸着ノズル１０５の位置決めを行っている。
また、電子部品実装作業の必要上、前記した二つのフィーダバンク１０２，基板クランプ機構１０４とはいずれもＸ−Ｙガントリ１０７によるヘッド１０６の搬送可能領域内に配置されている。
【００１７】
（ヘッド）
ヘッド１０６は、その先端部で空気吸引により電子部品Ｃを保持する吸着ノズル１０５（図１参照）と、吸着ノズル１０５をＺ軸方向に沿って昇降させる昇降機構としてのＺ軸モータ１１１と、吸着ノズル１０５を回転させて保持された電子部品ＣをＺ軸方向回りに角度調節するためのθ軸モータ１１２とが設けられている。
また、上記吸着ノズル１０５は、Ｚ軸方向に沿った状態で昇降可能且つ回転可能にヘッド１０６に支持されており、昇降による電子部品Ｃの受け取り又は実装及び回転による電子部品Ｃの角度調節が可能となっている。
【００１８】
（フィーダバンク及び電子部品フィーダ）
フィーダバンク１０２は、ベースフレーム１１４のＹ軸方向一端部（図１手前側）にＸ軸方向に沿った状態で設けられている。フィーダバンク１０２は、Ｘ−Ｙ平面に沿った長尺の平坦部を備え、当該平坦部の上面に複数の電子部品フィーダ１０８等がＸ軸方向に沿って羅列して載置装備される（図１では電子部品フィーダ１０８を一つのみ図示しているが実際には複数の電子部品フィーダ１０８等が並んで装備される）。
また、フィーダバンク１０２は、各電子部品フィーダ１０８等を保持するための図示しないラッチ機構を備えており、必要に応じて、各電子部品フィーダ１０８等をフィーダバンク１０２に対して装着又は分離することを可能としている。
【００１９】
上述した電子部品フィーダ１０８は、後端部には電子部品Ｃが均一間隔で並んで封止されたテープを巻回したテープリールを保持し、先端上部にはヘッド１０６に対する電子部品Ｃの供給位置である受け渡し部を有している。そして、電子部品フィーダ１０８がフィーダバンク１０２に取り付けられた状態における電子部品Ｃの受け渡し部の位置を示すＸ、Ｙ座標値は前述した実装データに記録されている。
【００２０】
（撮像装置）
図２は撮像装置１の周辺の構成を示す斜視図である。
撮像装置１は、基板搬送手段１０３を挟んでフィーダバンク１０２の反対側においてベースフレーム１１４に設けられたカメラであり、その視線を垂直上方に向けて配設されている。即ち、吸着ノズル１０５に吸着された電子部品Ｃに対して下方から撮像を行うようになっている。
上記撮像手段１のカメラは、被写体画像を撮像するＣＣＤ又はＣＭＯＳ撮像素子と、当該撮像素子の眼前に設けられた固定焦点レンズからなる光学系が配設されている。つまり、撮像手段１は固定焦点のカメラである。なお、この撮像装置１の撮像時に得られる画像信号は、画像処理装置１０に出力される。
【００２１】
撮像手段１のすぐ上側には、照明装置２が設けられている。この照明装置２は、平面視正方形状であって内部中空の直方体のケース２ａとケース内底部の四方から光照射を行う複数の発光素子２ｂとケース内上部の四方から光照射を行う複数の発光素子２ｃとから構成される。
照明装置２のケース２ａは、上部と下部とが開口している。そして、上側の開口部から吸着ノズル１０５に吸着された電子部品ＣがＺ軸モータ１１１の駆動により下降してケース２ａ内に侵入し、四方から光照射が行われた状態で下側の開口部を通じて撮像装置１により電子部品Ｃの撮像が行われる。
【００２２】
（電子部品実装装置の制御系）
図３は電子部品実装装置１００の制御系を示すブロック図である。図示のように、Ｘ−Ｙガントリ１０７のＸ軸モータ１０９、Ｙ軸モータ１１０、ヘッド１０６において吸着ノズル１０５の昇降を行うＺ軸モータ１１１、吸着ノズル１０５の回転を行うθ軸モータ１１２は、それぞれ図示しない駆動回路を介してホストコントローラ１２０に接続されている。
また、撮像装置１の撮像の実行と照明装置２の光照射の実行とは、ホストコントローラ１２０により制御される。そして、撮像装置１の撮像による画像信号は、前述したように、画像処理装置１０に入力されるようになっている。
【００２３】
ホストコントローラ１２０は、実装対象となる電子部品Ｃのリスト及びその搭載の順番、各電子部品Ｃの基板Ｓ上における搭載位置、各電子部品Ｃがいずれの電子部品フィーダ１０８から受け取るかを示す受け取り位置等が定められた実装スケジュールデータを記憶する図示しないメモリと、実装動作制御プログラムを実行するＣＰＵ１２１とを主に備えている。
そして、電子部品の実装時には、実装スケジュールデータを読み込んで、Ｘ軸及びＹ軸モータ１０９，１１０を制御して所定の電子部品フィーダ１０８の受け取り位置にヘッド１０６を搬送し、Ｚ軸モータ１１１を制御して吸着ノズル１０５にて電子部品Ｃを吸着し、撮像装置１に移動して下方から電子部品Ｃの撮像を行ってから実装スケジュールデータに定められた基板実装位置に電子部品Ｃを搬送して実装を行う。
そして、実装スケジュールデータに定められた全ての電子部品Ｃについて実装を行い、動作制御を終了するようになっている。
【００２４】
また、ホストコントローラ１２０は、画像処理装置１０と通信可能に接続されている。そして、電子部品Ｃの撮像により生成される全焦点画像の解析の結果に基づいて得られる電子部品Ｃの中心位置及びＺ軸周りの角度の情報を画像処理装置１０から受信し、吸着ノズル１０５に対する電子部品Ｃの中心位置ズレ及びＺ軸周りの角度ズレをＸ軸及びＹ軸モータ１０９，１１０とθ軸モータ１１２の制御により補正してから基板Ｓへの実装動作制御を行うようになっている。
【００２５】
また、ホストコントローラ１２０は、電子部品Ｃの実装時において、Ｚ軸方向について一定の間隔で吸着ノズル１０５の高さを変えるようにＺ軸モータ１１１を制御し、それぞれの高さで吸着ノズル１０５に吸着された電子部品Ｃを鉛直下方から撮像するよう撮像装置１を制御する。即ち、ホストコントローラ１２０は、撮像制御部として機能する。
例えば、吸着ノズル１０５の下端部が撮像装置１の焦点に合っている位置を起点として所定の高さまで吸着ノズル１０５を上昇させると共に、均一間隔ごとに電子部品Ｃの撮像を行うよう撮像装置１を制御する。
撮像時の吸着ノズル１０５の上昇移動量と撮像回数とは、図示しないメモリに記憶されており、外部から任意に設定することが可能となっている。
なお、同範囲について吸着ノズル１０５を下降させながら撮像を行っても良い。
【００２６】
（画像処理装置）
そして、画像処理装置１０は、上記複数回の撮像により複数の画像データを取得し、画像を構成する各画素の位置における合焦点位置（一つの画素について焦点が合っている場合における撮像装置１と吸着ノズル１０５との相対的な位置又は距離）を求め、全画素について焦点のあった画像からなる全焦点画像又は電子部品Ｃにおける一定の高さ範囲内となる部分の画素について焦点のあった画像からなる局所全焦点画像を生成する処理を行うものである。
【００２７】
このため、図３に示すように、画像処理装置１０は、上記撮像装置１の複数回の撮像による画像信号をＡ／Ｄ変換して各撮像ごとの画像データを生成するＡ／Ｄコンバータ１１と、これらの画像データを格納する画像記憶部１２と、各画像データから電子部品Ｃの高さデータ、高さ画像データ及び全焦点画像データを生成する処理部２０と、高さデータを記憶する高さデータ記憶部３１と高さ画像データを記憶する高さ画像記憶部３２と全焦点画像データを記憶する全焦点画像記憶部３３とからなる処理結果記憶部３０と、全焦点画像データ及び高さデータから局所全焦点画像データを生成する局所全焦点画像生成部４１と、生成された局所全焦点画像データを記憶する局所全焦点画像記憶部４２と、局所全焦点画像データに対する画像処理を行って電子部品Ｃの姿勢や位置を算出する部品位置検出処理部１３と、電子部品の局所全焦点画像のテンプレート画像である局所全焦点テンプレート画像の画像データを記憶するテンプレート画像記憶部５２とテンプレート画像記憶部５２に保持されている局所全焦点テンプレート画像の画像データと局所全焦点画像記憶部４２に保持されている局所全焦点画像データとから不良検査を行う不良検査部５１と不良検査結果を保持する検査結果記憶部５３とからなる三次元形状検査部５０と、各部の処理の実行及びデータの格納について制御するＣＰＵ１４とを備えている。
【００２８】
また、処理部２０は、全画像データの各画素におけるコントラスト値を算出する１次フィルタ演算部２１と、各画素におけるコントラスト値を平滑化する２次フィルタ演算部２２と、平滑化されたコントラスト値から各画素での合焦点位置を算出する高さ算出部２３と、電子部品Ｃの各画素位置における高さをその高さに応じた輝度値で示した高さ画像データを生成する高さ画像生成部２４と、電子部品Ｃの各部を撮像する各画素について各々が焦点が合っている画像からなる全焦点画像データを生成する全焦点画像生成部２５とを備えている。
以下、画像処理装置１０の各部について順に説明する。
【００２９】
上記Ａ／Ｄコンバータ１１は、吸着ノズル１０５の１ストロークの移動における各撮像時に撮像装置１から出力される画像信号をアナログからデジタルに変換して各撮像ごとの画像データを生成する。一つの画像データは、１フレームを構成する全画素について個々に検出された輝度値を記録したものである。
各画像データは、全て、画像記憶部１２に格納される。
【００３０】
処理部２０の１次フィルタ演算部２１は、各撮像の画像データにおける全画素についてコントラストを算出する。
図４は、１次フィルタ演算部２１でコントラストを求める手法を示した説明図である。コントラストを求める対象となる画素を着目画素（ｉ，ｊ）（ｉ，ｊは画素位置を示すＸ−Ｙ座標値）とし、その輝度値をＩ（ｉ，ｊ）とした場合に、式（１）に示すように、当該着目画素を中心に縦方向と横方向と45°斜めの二方向からなる四方向について、Ｘ軸方向については±ｄｘ、Ｙ軸方向については±ｄｙ、斜め方向については±ｄｘ且つ±ｄｙだけ離れて並んだ合計八つの画素と着目画素の輝度値の差分の総和を着目画素におけるコントラストＬｍ（ｉ，ｊ）として求めている。
なお、コントラストＬｍ（ｉ，ｊ）は、式（２）に示すように、より簡易的に、斜め方向の各画素との対比を省略して求めても良い。
【数１】
【００３１】
なお、ｄｘ，ｄｙは、予め定められた整数であり、一例として、画素１〜１０個分程度とする場合を示すが、増減させても良い。
また、上記手法でコントラストを求める場合、厳密には平面に並んだ全画素の内、その外縁からｄｘ列分又はｄｙ列分の画素についてはコントラストを求めることができず、処理対象から除かれることになるが、全体からすればごくわずかの範囲なので、便宜上、「全画素のコントラスト」と記載するものとする。
【００３２】
２次フィルタ演算部２２は、各撮像の画像データにおける全画素について、１次フィルタ演算部２１で算出されたコントラストＬｍ（ｉ，ｊ）に基づいて次式（３）に従って平滑化を行う。
【数２】
【００３３】
即ち、着目画素（ｉ，ｊ）についてコントラストの平滑化を行う場合には、着目画素を中心として、図５に示す加算領域、即ち、一辺が２Ｎ＋１個の正方形の範囲内の全画素のコントラストの値を平均化することで算出される。
なお、Ｎは予め定められた整数であり、例えば、その値は解像度に応じて適宜選択される。
また、上記のような手法で平滑化を行うため、コントラストが算出された全画素の内、厳密には、その外縁からＮ列分の画素については平滑化を行うことができず、その処理対象から除かれることになるが、この場合も、全体からすればごくわずかの範囲なので、便宜上、「全画素について平滑化」と記載するものとする。
【００３４】
高さ算出部２３は、全画像データの全画素の平滑化されたコントラスト値（２次フィルタ結果）に基づいて、各画像データの同じ画素位置での平滑化されたコントラスト値を比較して、各画素における合焦点位置を取得する。即ち、高さ算出部２３は、測距処理部として機能することとなる。
図６は、着目画素について、撮像高さ（吸着ノズル１０５の先端部から撮像装置１までの距離）の異なる画像データにおける平滑化されたコントラスト値を示す線図である。
コントラスト値（平滑化された場合も同様）は、撮像手段の焦点が合った状態に近い程、高い値を示すこととなる。
従って、着目画素について、平滑化されたコントラスト値が最大値となる高さを求めることで、当該着目画素における合焦点位置を求めることが可能となる。
なお、実際に撮像を行った撮像高さが合焦点位置に完全一致するとは限らないが、その場合には、平滑化されたコントラスト値が最大となる撮像高さを近似的に合焦点位置としても良いし、平滑化されたコントラスト値が予め定めた閾値（例えば、得られた平滑化されたコントラスト値の最大値の８０％の値を閾値とする等）を超える二つの撮像高さからその平均をとって合焦点位置としても良い。
また、着目画素について、各画像データの撮像高さ（吸着ノズル１０５の先端部から撮像装置１までの距離）における平滑化されたコントラスト値が、正規分布曲線に近似するので、正規分布式Ｎ（μ，σ２）を生成し、その平均値μを合焦点位置として算出しても良い。
上記高さ算出部２３は、全画素における合焦点位置を算出し、これを高さデータとして高さデータ記憶部３１に格納する。
【００３５】
なお、吸着ノズル１０５に吸着された電子部品Ｃを下方から撮像した場合、電子部品Ｃの周囲の背景は、撮像装置１に対して電子部品Ｃよりもずっと遠方にあり、吸着ノズル１０５の昇降を行っても焦点が合うことはないため、このような背景を撮像した画素については、図７に示すように、平滑化されたコントラスト値にピークが現れず、合焦点位置が求めることができないか或いは誤った撮像高さを合焦点位置と認定するおそれがある。
従って、高さ算出部２３では、図７に示すように、平滑化されたコントラスト値に対して所定の閾値Ｋを予め定めておき、いずれの撮像高さでも当該閾値を超えない場合には、その画素については処理対象から除外する処理を行う。これにより、不要な背景領域を除外し、電子部品Ｃを撮像した画素のみを処理対象とすることができる。
なお、閾値Ｋについては、試験的に電子部品と背景とを撮像して、背景画像では得られないコントラスト値を求める等の手法により容易に取得することが可能である。
【００３６】
高さ画像生成部２４は、高さデータ記憶部３１に格納されている高さデータを輝度値に正規化して高さ画像を生成し、高さ画像記憶部３２に格納する。
正規化の手法としては、高さデータに含まれる全画素（除外された背景画素は除く）の合焦点位置の最小値から最大値までの範囲内の各合焦点位置に対して、画素の輝度値の階調の全範囲を割り振るようにする。例えば256階調であれば最小値に輝度値255、最大値に輝度値0を割り振る。これにより、高さデータに含まれる全画素（除外された背景画素は除く）の合焦点位置が、高さに応じた輝度値に置き換えられてなる高さ画像データが生成され、高さ画像記憶部３２に格納される。なお、この高さ画像データでは、電子部品Ｃの撮像装置１に近い点ほど高輝度となる画像が生成されることになる。
また、高さ算出部２３において除外された画素については輝度値0が格納される。
【００３７】
また、正規化の手法としては、実際に得られた合焦点位置の最小値から最大値の範囲で正規化せずに、例えば、合焦点位置の範囲を予め定めると共に、当該範囲内の合焦点位置に対して全階調の輝度値を割り振ると共に、高さデータ記憶部３１に格納されている高さデータ内の各合焦点位置データに対して、対応する輝度値に置き換えることで正規化を行っても良い。
【００３８】
なお、画像処理装置１０に表示装置を接続し、生成された高さ画像データの表示を行うよう制御する表示制御部を設けても良い。
図８は、表示装置における高さ画像データの表示例を示している。このように、電子部品Ｃの下面における撮像装置１側に近接する部位を高い明度で表示し、撮像装置１に遠い部位ほど暗く表示させることができ、立体形状を２次元画像により視覚的に容易に認識させることが可能である。なお、電子部品の遠近部位と表示画像の明度との関係は逆としても良い。また、電子部品Ｃの各部の高さに応じて色分けするように表示を行っても良い。
【００３９】
全焦点画像生成部２５は、高さデータ記憶部３１に格納されている高さデータから全焦点画像データを生成する処理を行う。
即ち、各画素について、高さ画像データに含まれる各画素の合焦点位置に合致又は最も近似する画像データの同一画素における輝度値を画像記憶部１２から読み出して各画素における輝度値とすることで、全画素が、個々に焦点の合った画像となり、全焦点画像データが生成されることとなる。
なお、画素における合焦点位置と撮像高さが完全一致する画像データが存在しない場合には、最も撮像高さが近い二つの画像データにおけるそれぞれの撮像高さと合焦点位置との距離比による重み付けをして当該各画像データの輝度値を平均化して、合焦点位置における輝度値を近似的に算出しても良い。
【００４０】
そして、全焦点画像生成部２５は、生成された全焦点画像データを全焦点画像記憶部３３に格納する。
なお、この全焦点画像データについても、画像処理装置１０に接続した表示装置で表示可能としても良い。
【００４１】
局所全焦点画像生成部４１は、高さデータ記憶部３１を参照し、合焦点位置が予め設定した範囲内の高さとなる画素の座標情報を取得する。そして、これら所定の高さ範囲内となる各画素の座標情報に従って、全焦点画像記憶部３３内の輝度値を抽出し、電子部品Ｃの所定の高さ範囲内となる部分のみの局所全焦点画像データを生成する。
そして、局所全焦点画像生成部４１は、局所全焦点画像データを局所全焦点画像記憶部４２内に格納する。
なお、合焦点位置が予め設定した範囲外の高さとなる画素及び既に処理対象から除外された画素については輝度値0が格納される。
【００４２】
なお、局所全焦点画像生成部４１において局所全焦点画像データを抽出する範囲を決定する高さ範囲については、図示しないメモリによりその設定値が記憶されている。また、このメモリ内の設定値については、入力手段を設けて任意に設定可能としても良い。
また、この局所全焦点画像データも、前述した表示装置を用いて表示可能としても良い。
図９は、表示装置における局所全焦点画像データの表示例を示している。このように、電子部品Ｃの下面において、所定の高さ範囲内となる部位のみについて異なる高さでありながら全点において焦点が合った画像を表示することができる。
【００４３】
３次元形状検査部５０の不良検査部５１は、局所全焦点画像記憶部４２を参照し、予めテンプレート画像記憶部５２に保存されている画像との相関度を検査する。そして、相関度が予め設定した範囲内であれば良品と判断し、良品であることを検査結果記憶部５３に記憶させる。予め設定した範囲外であれば不良と判断し、不良であることを検査結果記憶部５３に記憶させる。
なお、この不良検査結果も、前述した表示装置を用いて表示可能としても良い。
図１０は電子部品Ｃの良品の側面図であり、図１１は図１０に示す局所全焦点画像生成部４１で定められている所定の高さ範囲Ｈにおける局所全焦点画像であり、良品と判断される局所全焦点画像の例である。この図１１をテンプレート画像にしても良い。
また、図１２は電子部品Ｃに反りが生じた不良部品の側面図であり、図１３は図１２に示す所定の高さ範囲Ｈにおける局所全焦点画像である。電子部品Ｃに反りがあるため、局所全焦点画像を生成した場合に、全焦点画像が一部しか得ることができず、極端な場合には全く得られないこともある。そのため、テンプレート画像との相関値が低くなり、図１３は不良と判断される。
【００４４】
部品位置検出処理部１３は、検査結果記憶部５３の結果を元に、局所全焦点画像記憶部４２内の局所全焦点画像データに基づいて所定の画像処理、例えば、マッチング等により電子部品の所定形状の部分の向きを求めたり、重心位置を演算して、電子部品Ｃの中心位置を求めたりする。
そして、これにより、吸着ノズル１０５の中心に対する電子部品Ｃの位置ズレ量、吸着ノズル１０５の中心に対する電子部品Ｃの角度、電子部品Ｃの姿勢などを求め、部品位置検出処理部１３は、これらの情報をホストコントローラ１２０側に送信する。
これにより、ホストコントローラ１２０のＣＰＵ１２１は、吸着ノズル１０５をθ軸モータ１１２の回転制御により吸着された電子部品Ｃの向きを補正し、吸着ノズル１０５に対する位置ズレ量を補正して電子部品Ｃの基板Ｓに対する位置決めを行うことができる。
【００４５】
図１４は、吸着ノズル１０５に吸着された電子部品Ｃの複数回の撮像から電子部品Ｃの姿勢、位置等の算出までの処理について示すフローチャートである。
図１４に従って上記処理内容を順番に説明する。
まず、ホストコントローラ１２０は、メモリ内に設定されている吸着ノズル１０５の上昇移動量と撮像回数の読み取りを行う（ステップＳ１）。
そして、撮像装置１を制御して、吸着ノズル１０５が撮像開始位置にある状態で電子部品Ｃを撮像し（ステップＳ３）、Ｚ軸モータ１１１を制御して次の撮像高さまで吸着ノズル１０５を上昇させる（ステップＳ５）。撮像装置１の撮像による画像信号は、画像処理装置１０に送信され、Ａ／Ｄ変換されて画像データとして画像記憶部１２に格納される。
そして、ホストコントローラ１２０は、設定された撮像回数分の撮像が終了したか判定し、まだ、終了してない場合には、ステップＳ３に処理を戻して次の位置で撮像を行う。
また、設定された撮像回数分の撮像が終了した場合には、画像処理装置１０側での処理に移行する。さらに、処理タクトを向上させるため、ホストコントローラ１２０と画像処理装置１０が連携して、撮像、Z軸移動、画像処理を効率良く行ってもよい。
【００４６】
画像処理装置１０の１次フィルタ演算部２１は、各画像データの各画素についてコントラストを算出する（ステップＳ９）。そして、２次フィルタ演算部２２は、各画素におけるコントラストの平滑化を行う（ステップＳ１１）。
高さ算出部２３は、全画像データにおける各画素の平滑化されたコントラストの値から、各画素位置においてピーク位置、即ち、合焦点位置を求め、高さデータとして高さデータ記憶部３１に格納する（ステップＳ１３）。
【００４７】
次いで、高さ画像生成部２４は、高さデータを輝度値に正規化して高さ画像を生成する（ステップＳ１５）。
また、全焦点画像生成部２５は、高さデータが示す各画素位置における高さ（合焦点位置）と各画像データから全焦点画像データを生成する（ステップＳ１７）。
【００４８】
次に、局所全焦点画像生成部４１は、全焦点画像データから局所の抽出を行うための高さ範囲の設定値の読み出しを行い（ステップＳ１９）、電子部品Ｃにおける設定高さ範囲内の全焦点画像データのみを抽出してなる局所全焦点画像データを生成して（ステップＳ２１）、部品位置検出処理部１３に出力する（ステップＳ２３）。
部品位置検出処理部１３では、局所全焦点画像データから電子部品Ｃの姿勢、向き、位置を算出し、ホストコントローラ１２０に送信する（ステップＳ２５）。
これにより、ホストコントローラ１２０は、電子部品Ｃの向き及び位置補正を行って基板Ｓに対する実装動作を行い、制御を終了する。
【００４９】
図１５は、図１４に示した処理に加え、不良検査を行う処理について示すフローチャートである。
図１５に従って上記検査内容を順番に説明する。まず、後に行われるマッチング処理に使用する局所全焦点テンプレート画像を作成し、テンプレート画像記憶部５２に格納する（ステップＳ３１）。
この局所全焦点テンプレート画像は、部品の3DCADデータから作成しても良いし、良品のサンプル品を撮像してその画像データから局所全焦点画像を生成し、局所全焦点テンプレート画像としても良い。
そして、図１４のステップＳ１〜ステップＳ２３までの処理と同様の処理を行い、局所全焦点画像を取得する（ステップＳ３３）。
次いで、局所全焦点画像記憶部４２とテンプレート画像記憶部５２に格納された局所全焦点テンプレート画像を用いてマッチング処理を行う（ステップＳ３５）。
さらに、マッチング結果に対する不良判断基準（例えば、予め設定された相関度の閾値）を取得し（ステップＳ３７）、マッチング結果と不良判断基準から、不良判別を行い（ステップＳ３９）、判別結果を検査結果記憶部５３に格納する。
格納された検査結果が基準を満たすものであれば、前述したステップＳ２５と同じ処理である部品認識処理を行う（ステップＳ４１）。検査結果が基準を満たさない場合は、不良をホストコントローラ１２０に通知し、電子部品Ｃの実装動作を行わない。
【００５０】
（電子部品実装装置の技術的効果）
電子部品実装装置１００は、その画像処理装置１０が全画素について焦点が合っている状態の一定の高さ範囲内の局所全焦点画像データとを得ることができるので、これにより、電子部品Ｃの位置、姿勢、特徴形状などを画像処理で求める場合に、その処理精度を向上させることが可能となる。また、撮像エリアの一部の範囲内となる局所全焦点画像データを生成するので、その後の画像処理において、処理負担を軽減し、処理の高速化を図ることが可能となる。
【００５１】
また、画像処理装置１０の高さ算出部２３が、平滑化されたコントラストに対して閾値を設定し、閾値を超える範囲で高さデータを生成するので、不要となる背景画像などを処理対象から除外することができ、その結果、高さ算出部２３以降の処理について処理負担を軽減し、また、処理時間を短縮することが可能となる。
【００５２】
さらに、画像処理装置１０で撮られた画像により局所全焦点画像データを生成し、局所全焦点テンプレート画像とのマッチング処理のみで、3次元の形状の検査が比較的容易に且つ軽微な処理負担で行うことが可能になる。
【００５３】
（その他）
画像処理装置１０の局所全焦点画像生成部４１は、全焦点画像生成部２５が生成した全焦点画像データに基づいて局所全焦点画像データを生成しているが、これに限定されない。
即ち、局所全焦点画像生成部４１は、高さデータ記憶部３１を参照し、合焦点位置が予め設定した範囲内の高さとなる画素の座標情報を取得すると共に、これらの画素について、高さ画像データに含まれる各画素の合焦点位置に合致又は最も近似する画像データの同一画素における輝度値を画像記憶部１２から読み出して各画素における輝度値とすることで、局所全焦点画像データを生成しても良い。
これにより、全焦点画像生成部２５を介することなく局所全焦点画像データを生成可能となり、全焦点画像生成部２５を省略し、構成の簡略化を図ることが可能となる。
【００５４】
また、電子部品実装装置１００では、吸着ノズル１０５を部品配置部として、当該吸着ノズル１０５に吸着された電子部品Ｃの撮像を行い、その画像データに基づいて全焦点画像データ及び局所全焦点画像データを生成し、電子部品Ｃの各種情報の取得を行っているが、その他の状態での電子部品Ｃの撮像を行い、その撮像画像から全焦点画像データ及び局所全焦点画像データを生成することも可能である。
例えば、図１６に示すように、部品配置部としてのステージ２０１と、上方からステージ２０１上の電子部品Ｃを撮像可能な撮像装置２０２と、ステージ２０１又は撮像装置２０２を昇降可能とする昇降装置（図示略）とを設け、ステージ２０１上に電子部品Ｃを載置した状態で相互間距離を変えながら上方から撮像装置２０２により撮像を行って、高さの異なる複数の画像データを取得し、当該各画像データから全焦点画像データ及び局所全焦点画像データを生成しても良い。
例えば、このような構成を電子部品実装装置１００に設けることにより、吸着ノズル１０５に吸着する前の電子部品Ｃにおける外形、向きなどの情報を得ることが可能である。
【００５５】
また、図１６に示すステージ２０１は昇降を行わずに固定し、撮像装置２０２を昇降可能として、ステージ２０１を上方から撮像することも可能である。
【符号の説明】
【００５６】
１ 撮像装置（撮像手段）
１０ 画像処理装置
２３ 高さ算出部（測距処理部）
２５ 全焦点画像生成部
４１ 局所全焦点画像生成部
５１ 不良検査部
５２ テンプレート画像記憶部
１００ 電子部品実装装置
１０５ 吸着ノズル（部品配置部）
１０６ ヘッド
１１１ Ｚ軸モータ（可動部）
１２０ ホストコントローラ（撮像制御部）
２０１ ステージ（部品配置部）
２０２ 撮像装置（撮像手段）
Ｃ 電子部品
Ｓ 基板
Ｈ 局所全焦点画像生成範囲
【技術分野】
【０００１】
本発明は、撮像手段により得られる２次元画像データから高さデータを生成し、３次元の部品認識を可能にする電子部品実装装置に関するものである。
【背景技術】
【０００２】
従来、撮像手段としてのカメラを用いて立体形状を検出する方法としては、カメラと被写体である立体形状との相対的な距離を変えて複数の画像データを取得し、各画像データにおいて周囲とのコントラストから焦点が合っている状態の画素を求め、補間により全ての画素における焦点距離を求めて被写体の立体形状を三次元データで取得するものが挙げられる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第２９６０６８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術では、立体形状の三次元データ、即ち、撮像エリア内の各画素位置での高さを求める技術であり、撮像による画像データを画像処理にかけて実装対象の電子部品の形状的な特徴（例えば、外形、中心位置等）を算出する電子部品実装装置には適用することができなかった。
【０００５】
本発明は、撮像による画像データを用いてより高精度な実装対象の電子部品の外部情報を取得することをその目的とする。
【課題を解決するための手段】
【０００６】
請求項１記載の発明は、電子部品が配置される部品配置部と、前記部品配置部に配置された電子部品を撮像する撮像手段と、前記部品配置部と前記撮像手段との距離を可動調節する可動部と、前記可動部及び撮像手段を制御して、前記電子部品について前記部品配置部と前記撮像手段の距離が異なる複数の画像データを取得する撮像制御部と、前記複数の画像データの撮像範囲内の複数の画素の各々について、前記複数の画像データの同一画素におけるコントラストの対比に基づいて、当該各画素における前記撮像手段から前記部品配置部の合焦点位置を求める測距処理部と、前記撮像手段による撮像エリア内の前記各画素における合焦点位置と、前記複数の画像データにおける前記各画素の輝度値とから、前記撮像エリアの一部範囲内の画素における合焦点位置での輝度値を求め、当該合焦点位置での輝度値からなる局所全焦点画像を生成する局所全焦点画像生成部とを備えることを特徴とする。
【０００７】
請求項２記載の発明は、請求項１記載の発明と同様の構成を備えると共に、前記コントラスト又は前記合焦点位置に対してその範囲に制限を設けることで前記局所全焦点画像を生成することを特徴とする。
【０００８】
請求項３記載の発明は、請求項１又は２記載の発明と同様の構成を備えると共に、電子部品の前記局所全焦点画像のテンプレート画像である局所全焦点テンプレート画像の画像データを記憶するテンプレート画像記憶部と、前記局所全焦点画像生成部で生成した前記局所全焦点画像が局所全焦点テンプレート画像と合致しているかの判断に基づいて部品不良か否かを判定する不良検査部とを備えることを特徴とする。
局所全焦点テンプレート画像は、部品の3DCADデータから作成しても良いし、良品サンプル部品の撮像データから作成しても良い。
【発明の効果】
【０００９】
請求項１記載の発明は、複数の画像データの撮像範囲内の各画素でのコントラストから合焦点位置を取得する。即ち、部品配置部と撮像手段の距離（以下、「撮像距離」とする）が異なる複数の撮像を行い、当該各撮像に基づく画像データにおいて、各画素について周囲とのコントラストを求め、複数の画像データの同じ画素についてコントラストを比較する。その結果、コントラストの値が最大値となった画像データの撮像距離において、当該画素の焦点が合っている状態となる。
なお、一つの画素についてコントラストが最大値となった画像データは、最も合焦点に近い状態であり、合焦点位置に完全一致するとは限らないので、コントラストが最大値となった画像データの撮像時における撮像距離を近似的に合焦点位置と見なしても良いし、また、コントラストの大きさが１番目と２番目となる二つの画像データの撮像距離からより正確に合焦点位置を求めても良い。
そして、部品配置部と撮像手段の合焦点位置から、電子部品上の各画素での高さを算出することができる。
撮像エリアの一部の範囲内における各画素について、上記手法により電子部品上の複数の点までの高さを算出することで、電子部品の表面における随所の高さが求まることとなる。
そして、電子部品の表面上の各点において高さが求まると、電子部品の表面上の各点について、当該各点における合焦点位置に合致する撮像距離の画像データから、対応する画素位置の輝度値（輝度値）を取得する。なお、合焦点位置に合致する画像データが存在しない場合には、合焦点位置に近似する画像データの輝度値を採用しても良いし、合焦点位置に近似する複数の画像データの輝度値から合焦点位置における輝度値を近似的に算出しても良い。
そして、撮像エリアの一部範囲内の画素について、焦点が合っている状態の輝度値を取得することで局所全焦点画像（データ）を生成することができる。
この局所全焦点画像は、全画素での焦点が合っているため、画像全体をより鮮明とすることが可能である。
このため、かかる局所全焦点画像を得ることにより、撮像画像に基づく電子部品の特徴部位や中心位置を抽出或いは特定する場合等の画像処理や画像分析において高い精度を得ることが可能となる。
また、撮像エリアの一部の範囲に制限して全焦点画像を生成するので、撮像画像に基づく電子部品の特徴部位や中心位置を抽出或いは特定する場合等の画像処理をより迅速を行うと共に処理負担の軽減を図ることが可能となる。
【００１０】
請求項２記載の発明は、コントラスト又は合焦点位置に対して範囲に制限を設けて局所全焦点画像を生成するので、画像内で不要となる部位、例えば電子部品の背景などを容易に排除することが可能となる。
例えば、いずれの画像データでもある程度のコントラストが得られない場合には、各画像データの撮像を行った撮像距離の範囲内に合焦点位置が含まれないこととなる。つまり、撮像手段から最も遠くなるであろう部品配置部の配置面（背景部分）は、コントラストの制限により容易に排除することができる。
また、合焦点位置を得られた場合でもあっても合焦点位置そのものに制限を設けることにより、突出している部分、窪んでいる部分など、実装作業の必要性に応じて検出すべき部位のみを抽出して全焦点画像を取得することができ、処理データ量を低減して、効率よく処理することが可能となる。
【００１１】
請求項３記載の発明は、生成される局所全焦点画像を元に、局所全焦点テンプレート画像との合致の判断を例えばマッチング処理により行い、これにより、部品の良否判定を行うので、形状に異常のある電子部品の搭載を防止することができる。
例えば、搭載しようとしている電子部品が正常な部品である場合、局所全焦点画像と局所全焦点テンプレート画像の相関度が高くなり、正常な電子部品と判別される。一方、電子部品にそりが生じている場合などは、局所全焦点画像が一部しか得られないため、相関度が低くなり、不良と判断することができる。上記不良の判断時には、例えば、部品実装の動作制御を実行する制御に対してエラー通知を発行することが望ましい。
【図面の簡単な説明】
【００１２】
【図１】本実施形態たる電子部品実装装置の斜視図である。
【図２】撮像装置の周辺の構成を示す斜視図である。
【図３】電子部品実装装置の制御系を示すブロック図である。
【図４】１次フィルタ演算部でコントラストを求める手法を示した説明図である。
【図５】２次フィルタ演算部で平滑化を行う手法を示した説明図である。
【図６】一つの着目画素について撮像高さの異なる画像データにおける平滑化されたコントラスト値を示す線図である。
【図７】一つの着目画素について撮像高さの異なる画像データにおける平滑化されたコントラスト値を示す線図であって、ピークが得られない場合を示している。
【図８】表示装置における高さ画像データの表示例である。
【図９】表示装置における局所全焦点画像データの表示例である。
【図１０】良品の電子部品の側面図である。
【図１１】図１０に示す良品である電子部品の局所全焦点画像の例である。
【図１２】不良の電子部品の側面図である。
【図１３】図１２に示す不良である電子部品の局所全焦点画像の例である。
【図１４】吸着ノズルに吸着された電子部品の複数回の撮像から電子部品の姿勢、位置等の算出までの処理について示すフローチャートである。
【図１５】図１４の処理に不良検査を行う処理を加えた例について示すフローチャートである。
【図１６】部品配置部を電子部品を載置するステージとした例を示す斜視図である。
【発明を実施するための形態】
【００１３】
（発明の実施形態）
発明の実施形態について、図１乃至図１５に基づいて説明する。図１は、本実施形態たる電子部品実装装置１００の斜視図である。以下、図示のように、水平面において互いに直交する二方向をそれぞれＸ軸方向とＹ軸方向とし、これらに直交する鉛直方向をＺ軸方向というものとする。
電子部品実装装置１００は、基板Ｓに各種の電子部品Ｃの搭載を行うものであって、図１に示すように、搭載される電子部品Ｃを供給する複数の部品供給装置としての電子部品フィーダ１０８を複数（図１では一つのみ図示）並べて保持する設置部としてのフィーダバンク１０２からなる部品供給部と、Ｘ軸方向に基板を搬送する基板搬送手段１０３と、当該基板搬送手段１０３による基板搬送経路の途中に設けられた基板Ｓに対する電子部品搭載作業を行うための基板保持部としての基板クランプ機構１０４と、部品配置部としての複数の吸着ノズル１０５を昇降可能に保持して電子部品Ｃの保持を行うヘッド１０６と、実装動作に要する各種の情報を得るために吸着ノズル１０５に吸着された電子部品Ｃの撮像を行う撮像手段としての撮像装置１と（図３参照）、ヘッド１０６を部品供給部と基板クランプ機構１０４とを含んだ作業エリア内の任意の位置に駆動搬送する移動機構としてのＸ−Ｙガントリ１０７と、上記各構成を搭載支持するベースフレーム１１４と、上記各構成の動作制御を行う動作制御手段としてのホストコントローラ１２０と、撮像装置１の撮像により得られる画像データを処理する画像処理装置１０を備えている。
【００１４】
かかる電子部品実装装置１００は、ホストコントローラ１２０が、電子部品Ｃの実装に関する各種の設定内容が記録された実装データを保有し、実装データから実装すべき電子部品Ｃと、電子部品Ｃの電子部品フィーダ１０８等の設置位置に基づく部品受け取り位置１０８ａと、基板上の実装位置を示すデータとを読み出すと共に、Ｘ−Ｙガントリ１０７を制御してヘッド１０６を電子部品Ｃの受け取り位置１０８ａと実装位置とに移送し、各位置においてヘッド１０６を制御して吸着ノズル１０５の昇降動作及び吸着又は解放動作を行い、電子部品Ｃの実装の動作制御を実行する。
【００１５】
（基板搬送手段及び基板保持部）
基板搬送手段１０３は、図示しない搬送ベルトを備えており、その搬送ベルトにより基板をＸ軸方向に沿って搬送する。
また、前述したように、基板搬送手段１０３による基板搬送経路の途中には、電子部品Ｃを基板へ搭載する際の作業位置で基板Ｓを固定保持するための基板クランプ機構１０４が設けられている。かかる基板クランプ機構１０４が装備されており、基板搬送方向に直交する方向における両端部で基板Ｓをクランプするようになっている。また、基板クランプ機構１０４の下方には、クランプ時に基板Ｓの下面側に当接して電子部品搭載時に基板Ｓが下方に撓まぬように支承する複数の支持棒が設けられている。基板Ｓはこれらにより保持された状態で安定した電子部品Ｃの搭載作業が行われる。
【００１６】
（Ｘ−Ｙガントリ）
Ｘ−Ｙガントリ１０７は、Ｘ軸方向にヘッド１０６の移動を案内するＸ軸ガイドレール１０７ａと、このＸ軸ガイドレール１０７ａと共にヘッド１０６をＹ軸方向に案内する二本のＹ軸ガイドレール１０７ｂと、Ｘ軸方向に沿ってヘッド１０６を移動させる駆動源であるＸ軸モータ１０９と、Ｘ軸ガイドレール１０７ａを介してヘッド１０６をＹ軸方向に移動させる駆動源であるＹ軸モータ１１０とを備えている。そして、各モータ１０９、１１０の駆動により、ヘッド１０６を二本のＹ軸ガイドレール１０７ｂの間となる領域のほぼ全体に搬送することを可能としている。
なお、各モータ１０９、１１０は、それぞれの回転量がホストコントローラ１２０に認識され、所望の回転量となるように制御されることにより、ヘッド１０６を介して吸着ノズル１０５の位置決めを行っている。
また、電子部品実装作業の必要上、前記した二つのフィーダバンク１０２，基板クランプ機構１０４とはいずれもＸ−Ｙガントリ１０７によるヘッド１０６の搬送可能領域内に配置されている。
【００１７】
（ヘッド）
ヘッド１０６は、その先端部で空気吸引により電子部品Ｃを保持する吸着ノズル１０５（図１参照）と、吸着ノズル１０５をＺ軸方向に沿って昇降させる昇降機構としてのＺ軸モータ１１１と、吸着ノズル１０５を回転させて保持された電子部品ＣをＺ軸方向回りに角度調節するためのθ軸モータ１１２とが設けられている。
また、上記吸着ノズル１０５は、Ｚ軸方向に沿った状態で昇降可能且つ回転可能にヘッド１０６に支持されており、昇降による電子部品Ｃの受け取り又は実装及び回転による電子部品Ｃの角度調節が可能となっている。
【００１８】
（フィーダバンク及び電子部品フィーダ）
フィーダバンク１０２は、ベースフレーム１１４のＹ軸方向一端部（図１手前側）にＸ軸方向に沿った状態で設けられている。フィーダバンク１０２は、Ｘ−Ｙ平面に沿った長尺の平坦部を備え、当該平坦部の上面に複数の電子部品フィーダ１０８等がＸ軸方向に沿って羅列して載置装備される（図１では電子部品フィーダ１０８を一つのみ図示しているが実際には複数の電子部品フィーダ１０８等が並んで装備される）。
また、フィーダバンク１０２は、各電子部品フィーダ１０８等を保持するための図示しないラッチ機構を備えており、必要に応じて、各電子部品フィーダ１０８等をフィーダバンク１０２に対して装着又は分離することを可能としている。
【００１９】
上述した電子部品フィーダ１０８は、後端部には電子部品Ｃが均一間隔で並んで封止されたテープを巻回したテープリールを保持し、先端上部にはヘッド１０６に対する電子部品Ｃの供給位置である受け渡し部を有している。そして、電子部品フィーダ１０８がフィーダバンク１０２に取り付けられた状態における電子部品Ｃの受け渡し部の位置を示すＸ、Ｙ座標値は前述した実装データに記録されている。
【００２０】
（撮像装置）
図２は撮像装置１の周辺の構成を示す斜視図である。
撮像装置１は、基板搬送手段１０３を挟んでフィーダバンク１０２の反対側においてベースフレーム１１４に設けられたカメラであり、その視線を垂直上方に向けて配設されている。即ち、吸着ノズル１０５に吸着された電子部品Ｃに対して下方から撮像を行うようになっている。
上記撮像手段１のカメラは、被写体画像を撮像するＣＣＤ又はＣＭＯＳ撮像素子と、当該撮像素子の眼前に設けられた固定焦点レンズからなる光学系が配設されている。つまり、撮像手段１は固定焦点のカメラである。なお、この撮像装置１の撮像時に得られる画像信号は、画像処理装置１０に出力される。
【００２１】
撮像手段１のすぐ上側には、照明装置２が設けられている。この照明装置２は、平面視正方形状であって内部中空の直方体のケース２ａとケース内底部の四方から光照射を行う複数の発光素子２ｂとケース内上部の四方から光照射を行う複数の発光素子２ｃとから構成される。
照明装置２のケース２ａは、上部と下部とが開口している。そして、上側の開口部から吸着ノズル１０５に吸着された電子部品ＣがＺ軸モータ１１１の駆動により下降してケース２ａ内に侵入し、四方から光照射が行われた状態で下側の開口部を通じて撮像装置１により電子部品Ｃの撮像が行われる。
【００２２】
（電子部品実装装置の制御系）
図３は電子部品実装装置１００の制御系を示すブロック図である。図示のように、Ｘ−Ｙガントリ１０７のＸ軸モータ１０９、Ｙ軸モータ１１０、ヘッド１０６において吸着ノズル１０５の昇降を行うＺ軸モータ１１１、吸着ノズル１０５の回転を行うθ軸モータ１１２は、それぞれ図示しない駆動回路を介してホストコントローラ１２０に接続されている。
また、撮像装置１の撮像の実行と照明装置２の光照射の実行とは、ホストコントローラ１２０により制御される。そして、撮像装置１の撮像による画像信号は、前述したように、画像処理装置１０に入力されるようになっている。
【００２３】
ホストコントローラ１２０は、実装対象となる電子部品Ｃのリスト及びその搭載の順番、各電子部品Ｃの基板Ｓ上における搭載位置、各電子部品Ｃがいずれの電子部品フィーダ１０８から受け取るかを示す受け取り位置等が定められた実装スケジュールデータを記憶する図示しないメモリと、実装動作制御プログラムを実行するＣＰＵ１２１とを主に備えている。
そして、電子部品の実装時には、実装スケジュールデータを読み込んで、Ｘ軸及びＹ軸モータ１０９，１１０を制御して所定の電子部品フィーダ１０８の受け取り位置にヘッド１０６を搬送し、Ｚ軸モータ１１１を制御して吸着ノズル１０５にて電子部品Ｃを吸着し、撮像装置１に移動して下方から電子部品Ｃの撮像を行ってから実装スケジュールデータに定められた基板実装位置に電子部品Ｃを搬送して実装を行う。
そして、実装スケジュールデータに定められた全ての電子部品Ｃについて実装を行い、動作制御を終了するようになっている。
【００２４】
また、ホストコントローラ１２０は、画像処理装置１０と通信可能に接続されている。そして、電子部品Ｃの撮像により生成される全焦点画像の解析の結果に基づいて得られる電子部品Ｃの中心位置及びＺ軸周りの角度の情報を画像処理装置１０から受信し、吸着ノズル１０５に対する電子部品Ｃの中心位置ズレ及びＺ軸周りの角度ズレをＸ軸及びＹ軸モータ１０９，１１０とθ軸モータ１１２の制御により補正してから基板Ｓへの実装動作制御を行うようになっている。
【００２５】
また、ホストコントローラ１２０は、電子部品Ｃの実装時において、Ｚ軸方向について一定の間隔で吸着ノズル１０５の高さを変えるようにＺ軸モータ１１１を制御し、それぞれの高さで吸着ノズル１０５に吸着された電子部品Ｃを鉛直下方から撮像するよう撮像装置１を制御する。即ち、ホストコントローラ１２０は、撮像制御部として機能する。
例えば、吸着ノズル１０５の下端部が撮像装置１の焦点に合っている位置を起点として所定の高さまで吸着ノズル１０５を上昇させると共に、均一間隔ごとに電子部品Ｃの撮像を行うよう撮像装置１を制御する。
撮像時の吸着ノズル１０５の上昇移動量と撮像回数とは、図示しないメモリに記憶されており、外部から任意に設定することが可能となっている。
なお、同範囲について吸着ノズル１０５を下降させながら撮像を行っても良い。
【００２６】
（画像処理装置）
そして、画像処理装置１０は、上記複数回の撮像により複数の画像データを取得し、画像を構成する各画素の位置における合焦点位置（一つの画素について焦点が合っている場合における撮像装置１と吸着ノズル１０５との相対的な位置又は距離）を求め、全画素について焦点のあった画像からなる全焦点画像又は電子部品Ｃにおける一定の高さ範囲内となる部分の画素について焦点のあった画像からなる局所全焦点画像を生成する処理を行うものである。
【００２７】
このため、図３に示すように、画像処理装置１０は、上記撮像装置１の複数回の撮像による画像信号をＡ／Ｄ変換して各撮像ごとの画像データを生成するＡ／Ｄコンバータ１１と、これらの画像データを格納する画像記憶部１２と、各画像データから電子部品Ｃの高さデータ、高さ画像データ及び全焦点画像データを生成する処理部２０と、高さデータを記憶する高さデータ記憶部３１と高さ画像データを記憶する高さ画像記憶部３２と全焦点画像データを記憶する全焦点画像記憶部３３とからなる処理結果記憶部３０と、全焦点画像データ及び高さデータから局所全焦点画像データを生成する局所全焦点画像生成部４１と、生成された局所全焦点画像データを記憶する局所全焦点画像記憶部４２と、局所全焦点画像データに対する画像処理を行って電子部品Ｃの姿勢や位置を算出する部品位置検出処理部１３と、電子部品の局所全焦点画像のテンプレート画像である局所全焦点テンプレート画像の画像データを記憶するテンプレート画像記憶部５２とテンプレート画像記憶部５２に保持されている局所全焦点テンプレート画像の画像データと局所全焦点画像記憶部４２に保持されている局所全焦点画像データとから不良検査を行う不良検査部５１と不良検査結果を保持する検査結果記憶部５３とからなる三次元形状検査部５０と、各部の処理の実行及びデータの格納について制御するＣＰＵ１４とを備えている。
【００２８】
また、処理部２０は、全画像データの各画素におけるコントラスト値を算出する１次フィルタ演算部２１と、各画素におけるコントラスト値を平滑化する２次フィルタ演算部２２と、平滑化されたコントラスト値から各画素での合焦点位置を算出する高さ算出部２３と、電子部品Ｃの各画素位置における高さをその高さに応じた輝度値で示した高さ画像データを生成する高さ画像生成部２４と、電子部品Ｃの各部を撮像する各画素について各々が焦点が合っている画像からなる全焦点画像データを生成する全焦点画像生成部２５とを備えている。
以下、画像処理装置１０の各部について順に説明する。
【００２９】
上記Ａ／Ｄコンバータ１１は、吸着ノズル１０５の１ストロークの移動における各撮像時に撮像装置１から出力される画像信号をアナログからデジタルに変換して各撮像ごとの画像データを生成する。一つの画像データは、１フレームを構成する全画素について個々に検出された輝度値を記録したものである。
各画像データは、全て、画像記憶部１２に格納される。
【００３０】
処理部２０の１次フィルタ演算部２１は、各撮像の画像データにおける全画素についてコントラストを算出する。
図４は、１次フィルタ演算部２１でコントラストを求める手法を示した説明図である。コントラストを求める対象となる画素を着目画素（ｉ，ｊ）（ｉ，ｊは画素位置を示すＸ−Ｙ座標値）とし、その輝度値をＩ（ｉ，ｊ）とした場合に、式（１）に示すように、当該着目画素を中心に縦方向と横方向と45°斜めの二方向からなる四方向について、Ｘ軸方向については±ｄｘ、Ｙ軸方向については±ｄｙ、斜め方向については±ｄｘ且つ±ｄｙだけ離れて並んだ合計八つの画素と着目画素の輝度値の差分の総和を着目画素におけるコントラストＬｍ（ｉ，ｊ）として求めている。
なお、コントラストＬｍ（ｉ，ｊ）は、式（２）に示すように、より簡易的に、斜め方向の各画素との対比を省略して求めても良い。
【数１】
【００３１】
なお、ｄｘ，ｄｙは、予め定められた整数であり、一例として、画素１〜１０個分程度とする場合を示すが、増減させても良い。
また、上記手法でコントラストを求める場合、厳密には平面に並んだ全画素の内、その外縁からｄｘ列分又はｄｙ列分の画素についてはコントラストを求めることができず、処理対象から除かれることになるが、全体からすればごくわずかの範囲なので、便宜上、「全画素のコントラスト」と記載するものとする。
【００３２】
２次フィルタ演算部２２は、各撮像の画像データにおける全画素について、１次フィルタ演算部２１で算出されたコントラストＬｍ（ｉ，ｊ）に基づいて次式（３）に従って平滑化を行う。
【数２】
【００３３】
即ち、着目画素（ｉ，ｊ）についてコントラストの平滑化を行う場合には、着目画素を中心として、図５に示す加算領域、即ち、一辺が２Ｎ＋１個の正方形の範囲内の全画素のコントラストの値を平均化することで算出される。
なお、Ｎは予め定められた整数であり、例えば、その値は解像度に応じて適宜選択される。
また、上記のような手法で平滑化を行うため、コントラストが算出された全画素の内、厳密には、その外縁からＮ列分の画素については平滑化を行うことができず、その処理対象から除かれることになるが、この場合も、全体からすればごくわずかの範囲なので、便宜上、「全画素について平滑化」と記載するものとする。
【００３４】
高さ算出部２３は、全画像データの全画素の平滑化されたコントラスト値（２次フィルタ結果）に基づいて、各画像データの同じ画素位置での平滑化されたコントラスト値を比較して、各画素における合焦点位置を取得する。即ち、高さ算出部２３は、測距処理部として機能することとなる。
図６は、着目画素について、撮像高さ（吸着ノズル１０５の先端部から撮像装置１までの距離）の異なる画像データにおける平滑化されたコントラスト値を示す線図である。
コントラスト値（平滑化された場合も同様）は、撮像手段の焦点が合った状態に近い程、高い値を示すこととなる。
従って、着目画素について、平滑化されたコントラスト値が最大値となる高さを求めることで、当該着目画素における合焦点位置を求めることが可能となる。
なお、実際に撮像を行った撮像高さが合焦点位置に完全一致するとは限らないが、その場合には、平滑化されたコントラスト値が最大となる撮像高さを近似的に合焦点位置としても良いし、平滑化されたコントラスト値が予め定めた閾値（例えば、得られた平滑化されたコントラスト値の最大値の８０％の値を閾値とする等）を超える二つの撮像高さからその平均をとって合焦点位置としても良い。
また、着目画素について、各画像データの撮像高さ（吸着ノズル１０５の先端部から撮像装置１までの距離）における平滑化されたコントラスト値が、正規分布曲線に近似するので、正規分布式Ｎ（μ，σ２）を生成し、その平均値μを合焦点位置として算出しても良い。
上記高さ算出部２３は、全画素における合焦点位置を算出し、これを高さデータとして高さデータ記憶部３１に格納する。
【００３５】
なお、吸着ノズル１０５に吸着された電子部品Ｃを下方から撮像した場合、電子部品Ｃの周囲の背景は、撮像装置１に対して電子部品Ｃよりもずっと遠方にあり、吸着ノズル１０５の昇降を行っても焦点が合うことはないため、このような背景を撮像した画素については、図７に示すように、平滑化されたコントラスト値にピークが現れず、合焦点位置が求めることができないか或いは誤った撮像高さを合焦点位置と認定するおそれがある。
従って、高さ算出部２３では、図７に示すように、平滑化されたコントラスト値に対して所定の閾値Ｋを予め定めておき、いずれの撮像高さでも当該閾値を超えない場合には、その画素については処理対象から除外する処理を行う。これにより、不要な背景領域を除外し、電子部品Ｃを撮像した画素のみを処理対象とすることができる。
なお、閾値Ｋについては、試験的に電子部品と背景とを撮像して、背景画像では得られないコントラスト値を求める等の手法により容易に取得することが可能である。
【００３６】
高さ画像生成部２４は、高さデータ記憶部３１に格納されている高さデータを輝度値に正規化して高さ画像を生成し、高さ画像記憶部３２に格納する。
正規化の手法としては、高さデータに含まれる全画素（除外された背景画素は除く）の合焦点位置の最小値から最大値までの範囲内の各合焦点位置に対して、画素の輝度値の階調の全範囲を割り振るようにする。例えば256階調であれば最小値に輝度値255、最大値に輝度値0を割り振る。これにより、高さデータに含まれる全画素（除外された背景画素は除く）の合焦点位置が、高さに応じた輝度値に置き換えられてなる高さ画像データが生成され、高さ画像記憶部３２に格納される。なお、この高さ画像データでは、電子部品Ｃの撮像装置１に近い点ほど高輝度となる画像が生成されることになる。
また、高さ算出部２３において除外された画素については輝度値0が格納される。
【００３７】
また、正規化の手法としては、実際に得られた合焦点位置の最小値から最大値の範囲で正規化せずに、例えば、合焦点位置の範囲を予め定めると共に、当該範囲内の合焦点位置に対して全階調の輝度値を割り振ると共に、高さデータ記憶部３１に格納されている高さデータ内の各合焦点位置データに対して、対応する輝度値に置き換えることで正規化を行っても良い。
【００３８】
なお、画像処理装置１０に表示装置を接続し、生成された高さ画像データの表示を行うよう制御する表示制御部を設けても良い。
図８は、表示装置における高さ画像データの表示例を示している。このように、電子部品Ｃの下面における撮像装置１側に近接する部位を高い明度で表示し、撮像装置１に遠い部位ほど暗く表示させることができ、立体形状を２次元画像により視覚的に容易に認識させることが可能である。なお、電子部品の遠近部位と表示画像の明度との関係は逆としても良い。また、電子部品Ｃの各部の高さに応じて色分けするように表示を行っても良い。
【００３９】
全焦点画像生成部２５は、高さデータ記憶部３１に格納されている高さデータから全焦点画像データを生成する処理を行う。
即ち、各画素について、高さ画像データに含まれる各画素の合焦点位置に合致又は最も近似する画像データの同一画素における輝度値を画像記憶部１２から読み出して各画素における輝度値とすることで、全画素が、個々に焦点の合った画像となり、全焦点画像データが生成されることとなる。
なお、画素における合焦点位置と撮像高さが完全一致する画像データが存在しない場合には、最も撮像高さが近い二つの画像データにおけるそれぞれの撮像高さと合焦点位置との距離比による重み付けをして当該各画像データの輝度値を平均化して、合焦点位置における輝度値を近似的に算出しても良い。
【００４０】
そして、全焦点画像生成部２５は、生成された全焦点画像データを全焦点画像記憶部３３に格納する。
なお、この全焦点画像データについても、画像処理装置１０に接続した表示装置で表示可能としても良い。
【００４１】
局所全焦点画像生成部４１は、高さデータ記憶部３１を参照し、合焦点位置が予め設定した範囲内の高さとなる画素の座標情報を取得する。そして、これら所定の高さ範囲内となる各画素の座標情報に従って、全焦点画像記憶部３３内の輝度値を抽出し、電子部品Ｃの所定の高さ範囲内となる部分のみの局所全焦点画像データを生成する。
そして、局所全焦点画像生成部４１は、局所全焦点画像データを局所全焦点画像記憶部４２内に格納する。
なお、合焦点位置が予め設定した範囲外の高さとなる画素及び既に処理対象から除外された画素については輝度値0が格納される。
【００４２】
なお、局所全焦点画像生成部４１において局所全焦点画像データを抽出する範囲を決定する高さ範囲については、図示しないメモリによりその設定値が記憶されている。また、このメモリ内の設定値については、入力手段を設けて任意に設定可能としても良い。
また、この局所全焦点画像データも、前述した表示装置を用いて表示可能としても良い。
図９は、表示装置における局所全焦点画像データの表示例を示している。このように、電子部品Ｃの下面において、所定の高さ範囲内となる部位のみについて異なる高さでありながら全点において焦点が合った画像を表示することができる。
【００４３】
３次元形状検査部５０の不良検査部５１は、局所全焦点画像記憶部４２を参照し、予めテンプレート画像記憶部５２に保存されている画像との相関度を検査する。そして、相関度が予め設定した範囲内であれば良品と判断し、良品であることを検査結果記憶部５３に記憶させる。予め設定した範囲外であれば不良と判断し、不良であることを検査結果記憶部５３に記憶させる。
なお、この不良検査結果も、前述した表示装置を用いて表示可能としても良い。
図１０は電子部品Ｃの良品の側面図であり、図１１は図１０に示す局所全焦点画像生成部４１で定められている所定の高さ範囲Ｈにおける局所全焦点画像であり、良品と判断される局所全焦点画像の例である。この図１１をテンプレート画像にしても良い。
また、図１２は電子部品Ｃに反りが生じた不良部品の側面図であり、図１３は図１２に示す所定の高さ範囲Ｈにおける局所全焦点画像である。電子部品Ｃに反りがあるため、局所全焦点画像を生成した場合に、全焦点画像が一部しか得ることができず、極端な場合には全く得られないこともある。そのため、テンプレート画像との相関値が低くなり、図１３は不良と判断される。
【００４４】
部品位置検出処理部１３は、検査結果記憶部５３の結果を元に、局所全焦点画像記憶部４２内の局所全焦点画像データに基づいて所定の画像処理、例えば、マッチング等により電子部品の所定形状の部分の向きを求めたり、重心位置を演算して、電子部品Ｃの中心位置を求めたりする。
そして、これにより、吸着ノズル１０５の中心に対する電子部品Ｃの位置ズレ量、吸着ノズル１０５の中心に対する電子部品Ｃの角度、電子部品Ｃの姿勢などを求め、部品位置検出処理部１３は、これらの情報をホストコントローラ１２０側に送信する。
これにより、ホストコントローラ１２０のＣＰＵ１２１は、吸着ノズル１０５をθ軸モータ１１２の回転制御により吸着された電子部品Ｃの向きを補正し、吸着ノズル１０５に対する位置ズレ量を補正して電子部品Ｃの基板Ｓに対する位置決めを行うことができる。
【００４５】
図１４は、吸着ノズル１０５に吸着された電子部品Ｃの複数回の撮像から電子部品Ｃの姿勢、位置等の算出までの処理について示すフローチャートである。
図１４に従って上記処理内容を順番に説明する。
まず、ホストコントローラ１２０は、メモリ内に設定されている吸着ノズル１０５の上昇移動量と撮像回数の読み取りを行う（ステップＳ１）。
そして、撮像装置１を制御して、吸着ノズル１０５が撮像開始位置にある状態で電子部品Ｃを撮像し（ステップＳ３）、Ｚ軸モータ１１１を制御して次の撮像高さまで吸着ノズル１０５を上昇させる（ステップＳ５）。撮像装置１の撮像による画像信号は、画像処理装置１０に送信され、Ａ／Ｄ変換されて画像データとして画像記憶部１２に格納される。
そして、ホストコントローラ１２０は、設定された撮像回数分の撮像が終了したか判定し、まだ、終了してない場合には、ステップＳ３に処理を戻して次の位置で撮像を行う。
また、設定された撮像回数分の撮像が終了した場合には、画像処理装置１０側での処理に移行する。さらに、処理タクトを向上させるため、ホストコントローラ１２０と画像処理装置１０が連携して、撮像、Z軸移動、画像処理を効率良く行ってもよい。
【００４６】
画像処理装置１０の１次フィルタ演算部２１は、各画像データの各画素についてコントラストを算出する（ステップＳ９）。そして、２次フィルタ演算部２２は、各画素におけるコントラストの平滑化を行う（ステップＳ１１）。
高さ算出部２３は、全画像データにおける各画素の平滑化されたコントラストの値から、各画素位置においてピーク位置、即ち、合焦点位置を求め、高さデータとして高さデータ記憶部３１に格納する（ステップＳ１３）。
【００４７】
次いで、高さ画像生成部２４は、高さデータを輝度値に正規化して高さ画像を生成する（ステップＳ１５）。
また、全焦点画像生成部２５は、高さデータが示す各画素位置における高さ（合焦点位置）と各画像データから全焦点画像データを生成する（ステップＳ１７）。
【００４８】
次に、局所全焦点画像生成部４１は、全焦点画像データから局所の抽出を行うための高さ範囲の設定値の読み出しを行い（ステップＳ１９）、電子部品Ｃにおける設定高さ範囲内の全焦点画像データのみを抽出してなる局所全焦点画像データを生成して（ステップＳ２１）、部品位置検出処理部１３に出力する（ステップＳ２３）。
部品位置検出処理部１３では、局所全焦点画像データから電子部品Ｃの姿勢、向き、位置を算出し、ホストコントローラ１２０に送信する（ステップＳ２５）。
これにより、ホストコントローラ１２０は、電子部品Ｃの向き及び位置補正を行って基板Ｓに対する実装動作を行い、制御を終了する。
【００４９】
図１５は、図１４に示した処理に加え、不良検査を行う処理について示すフローチャートである。
図１５に従って上記検査内容を順番に説明する。まず、後に行われるマッチング処理に使用する局所全焦点テンプレート画像を作成し、テンプレート画像記憶部５２に格納する（ステップＳ３１）。
この局所全焦点テンプレート画像は、部品の3DCADデータから作成しても良いし、良品のサンプル品を撮像してその画像データから局所全焦点画像を生成し、局所全焦点テンプレート画像としても良い。
そして、図１４のステップＳ１〜ステップＳ２３までの処理と同様の処理を行い、局所全焦点画像を取得する（ステップＳ３３）。
次いで、局所全焦点画像記憶部４２とテンプレート画像記憶部５２に格納された局所全焦点テンプレート画像を用いてマッチング処理を行う（ステップＳ３５）。
さらに、マッチング結果に対する不良判断基準（例えば、予め設定された相関度の閾値）を取得し（ステップＳ３７）、マッチング結果と不良判断基準から、不良判別を行い（ステップＳ３９）、判別結果を検査結果記憶部５３に格納する。
格納された検査結果が基準を満たすものであれば、前述したステップＳ２５と同じ処理である部品認識処理を行う（ステップＳ４１）。検査結果が基準を満たさない場合は、不良をホストコントローラ１２０に通知し、電子部品Ｃの実装動作を行わない。
【００５０】
（電子部品実装装置の技術的効果）
電子部品実装装置１００は、その画像処理装置１０が全画素について焦点が合っている状態の一定の高さ範囲内の局所全焦点画像データとを得ることができるので、これにより、電子部品Ｃの位置、姿勢、特徴形状などを画像処理で求める場合に、その処理精度を向上させることが可能となる。また、撮像エリアの一部の範囲内となる局所全焦点画像データを生成するので、その後の画像処理において、処理負担を軽減し、処理の高速化を図ることが可能となる。
【００５１】
また、画像処理装置１０の高さ算出部２３が、平滑化されたコントラストに対して閾値を設定し、閾値を超える範囲で高さデータを生成するので、不要となる背景画像などを処理対象から除外することができ、その結果、高さ算出部２３以降の処理について処理負担を軽減し、また、処理時間を短縮することが可能となる。
【００５２】
さらに、画像処理装置１０で撮られた画像により局所全焦点画像データを生成し、局所全焦点テンプレート画像とのマッチング処理のみで、3次元の形状の検査が比較的容易に且つ軽微な処理負担で行うことが可能になる。
【００５３】
（その他）
画像処理装置１０の局所全焦点画像生成部４１は、全焦点画像生成部２５が生成した全焦点画像データに基づいて局所全焦点画像データを生成しているが、これに限定されない。
即ち、局所全焦点画像生成部４１は、高さデータ記憶部３１を参照し、合焦点位置が予め設定した範囲内の高さとなる画素の座標情報を取得すると共に、これらの画素について、高さ画像データに含まれる各画素の合焦点位置に合致又は最も近似する画像データの同一画素における輝度値を画像記憶部１２から読み出して各画素における輝度値とすることで、局所全焦点画像データを生成しても良い。
これにより、全焦点画像生成部２５を介することなく局所全焦点画像データを生成可能となり、全焦点画像生成部２５を省略し、構成の簡略化を図ることが可能となる。
【００５４】
また、電子部品実装装置１００では、吸着ノズル１０５を部品配置部として、当該吸着ノズル１０５に吸着された電子部品Ｃの撮像を行い、その画像データに基づいて全焦点画像データ及び局所全焦点画像データを生成し、電子部品Ｃの各種情報の取得を行っているが、その他の状態での電子部品Ｃの撮像を行い、その撮像画像から全焦点画像データ及び局所全焦点画像データを生成することも可能である。
例えば、図１６に示すように、部品配置部としてのステージ２０１と、上方からステージ２０１上の電子部品Ｃを撮像可能な撮像装置２０２と、ステージ２０１又は撮像装置２０２を昇降可能とする昇降装置（図示略）とを設け、ステージ２０１上に電子部品Ｃを載置した状態で相互間距離を変えながら上方から撮像装置２０２により撮像を行って、高さの異なる複数の画像データを取得し、当該各画像データから全焦点画像データ及び局所全焦点画像データを生成しても良い。
例えば、このような構成を電子部品実装装置１００に設けることにより、吸着ノズル１０５に吸着する前の電子部品Ｃにおける外形、向きなどの情報を得ることが可能である。
【００５５】
また、図１６に示すステージ２０１は昇降を行わずに固定し、撮像装置２０２を昇降可能として、ステージ２０１を上方から撮像することも可能である。
【符号の説明】
【００５６】
１ 撮像装置（撮像手段）
１０ 画像処理装置
２３ 高さ算出部（測距処理部）
２５ 全焦点画像生成部
４１ 局所全焦点画像生成部
５１ 不良検査部
５２ テンプレート画像記憶部
１００ 電子部品実装装置
１０５ 吸着ノズル（部品配置部）
１０６ ヘッド
１１１ Ｚ軸モータ（可動部）
１２０ ホストコントローラ（撮像制御部）
２０１ ステージ（部品配置部）
２０２ 撮像装置（撮像手段）
Ｃ 電子部品
Ｓ 基板
Ｈ 局所全焦点画像生成範囲
【特許請求の範囲】
【請求項１】
電子部品が配置される部品配置部と、
前記部品配置部に配置された電子部品を撮像する撮像手段と、
前記部品配置部と前記撮像手段との距離を可動調節する可動部と、
前記可動部及び撮像手段を制御して、前記電子部品について前記部品配置部と前記撮像手段の距離が異なる複数の画像データを取得する撮像制御部と、
前記複数の画像データの撮像範囲内の複数の画素の各々について、前記複数の画像データの同一画素におけるコントラストの対比に基づいて、当該各画素における前記撮像手段から前記部品配置部の合焦点位置を求める測距処理部と、
前記撮像手段による撮像エリア内の前記各画素における合焦点位置と、前記複数の画像データにおける前記各画素の輝度値とから、前記撮像エリアの一部範囲内の画素における合焦点位置での輝度値を求め、当該合焦点位置での輝度値からなる局所全焦点画像を生成する局所全焦点画像生成部とを備えることを特徴とする電子部品実装装置。
【請求項２】
前記コントラスト又は前記合焦点位置に対してその範囲に制限を設けることで前記局所全焦点画像を生成することを特徴とする請求項１記載の電子部品実装装置。
【請求項３】
電子部品の前記局所全焦点画像のテンプレート画像である局所全焦点テンプレート画像の画像データを記憶するテンプレート画像記憶部と、
前記局所全焦点画像生成部で生成した前記局所全焦点画像が局所全焦点テンプレート画像と合致しているかの判断に基づいて部品不良か否かを判定する不良検査部とを備えることを特徴とする請求項１又は２記載の電子部品実装装置。
【請求項１】
電子部品が配置される部品配置部と、
前記部品配置部に配置された電子部品を撮像する撮像手段と、
前記部品配置部と前記撮像手段との距離を可動調節する可動部と、
前記可動部及び撮像手段を制御して、前記電子部品について前記部品配置部と前記撮像手段の距離が異なる複数の画像データを取得する撮像制御部と、
前記複数の画像データの撮像範囲内の複数の画素の各々について、前記複数の画像データの同一画素におけるコントラストの対比に基づいて、当該各画素における前記撮像手段から前記部品配置部の合焦点位置を求める測距処理部と、
前記撮像手段による撮像エリア内の前記各画素における合焦点位置と、前記複数の画像データにおける前記各画素の輝度値とから、前記撮像エリアの一部範囲内の画素における合焦点位置での輝度値を求め、当該合焦点位置での輝度値からなる局所全焦点画像を生成する局所全焦点画像生成部とを備えることを特徴とする電子部品実装装置。
【請求項２】
前記コントラスト又は前記合焦点位置に対してその範囲に制限を設けることで前記局所全焦点画像を生成することを特徴とする請求項１記載の電子部品実装装置。
【請求項３】
電子部品の前記局所全焦点画像のテンプレート画像である局所全焦点テンプレート画像の画像データを記憶するテンプレート画像記憶部と、
前記局所全焦点画像生成部で生成した前記局所全焦点画像が局所全焦点テンプレート画像と合致しているかの判断に基づいて部品不良か否かを判定する不良検査部とを備えることを特徴とする請求項１又は２記載の電子部品実装装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−２３３４０（Ｐ２０１２−２３３４０Ａ）
【公開日】平成２４年２月２日（２０１２．２．２）
【国際特許分類】
【出願番号】特願２０１１−１２５１５６（Ｐ２０１１−１２５１５６）
【出願日】平成２３年６月３日（２０１１．６．３）
【出願人】（０００００３３９９）ＪＵＫＩ株式会社 (1,557)
【Ｆターム（参考）】
【公開日】平成２４年２月２日（２０１２．２．２）
【国際特許分類】
【出願日】平成２３年６月３日（２０１１．６．３）
【出願人】（０００００３３９９）ＪＵＫＩ株式会社 (1,557)
【Ｆターム（参考）】
[ Back to top ]