画像解析方法及び画像解析装置
【課題】対象物を効果的に識別する。
【解決手段】模様領域A2の単位領域A3について複数手法で特徴量を求め、抽出領域A4の各単位領域A5について同様に特徴量を求め、これらについて手法ごとに重み付けをして合成された一致度を求め、合成された一致度の値から抽出領域の各単位領域が識別対象か背景かを判定し、当該判定に従って識別対象と背景の境界線を求め、撮像画像における実際の境界線上の位置と判定により取得された境界線との誤差を求め、当該誤差が十分に小さくなるように重み付けのパターンを逐次変更しつ好適化を図り、好適化された重み付けパターンに従って撮像画像から識別対象を識別する。
【解決手段】模様領域A2の単位領域A3について複数手法で特徴量を求め、抽出領域A4の各単位領域A5について同様に特徴量を求め、これらについて手法ごとに重み付けをして合成された一致度を求め、合成された一致度の値から抽出領域の各単位領域が識別対象か背景かを判定し、当該判定に従って識別対象と背景の境界線を求め、撮像画像における実際の境界線上の位置と判定により取得された境界線との誤差を求め、当該誤差が十分に小さくなるように重み付けのパターンを逐次変更しつ好適化を図り、好適化された重み付けパターンに従って撮像画像から識別対象を識別する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象物を識別するための画像解析方法及び画像解析装置に関する。
【背景技術】
【0002】
撮像画像の各画素について輝度値が定められてなる撮像画像データから、識別対象物の識別を行う方法としては、撮像画像データに基づく輝度勾配情報から識別対象物の輪郭線を得る方法や、画像データに基づく濃淡画像から対象物のエッジ情報を抽出し、エッジ点列による対象物の抽出及び位置検出を行う方法などが知られている(例えば、特許文献1及び2)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平9−171553号公報
【特許文献2】特許2981382号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献1に示す輝度勾配に基づいて輪郭線を取得する方法では、対象物と背景との間に十分な輝度勾配が得られるような輝度差が生じていなければ明瞭な輪郭線を得ることができず、対象物と背景とに十分な明度の差がなければ識別することができないという問題があった。
また、特許文献2に示す先行技術の場合には、対象物からエッジ情報が得られることを前提としており、対象物と背景とに十分な明度の差がなければ十分なエッジ情報が得られず、識別が困難となるという問題があった。
【0005】
本発明は、安定して対象物の識別を可能とすることをその目的とする。
【課題を解決するための手段】
【0006】
請求項1記載の発明は、表面が特定の模様からなる識別対象とその周囲の背景とを含んだ撮像画像の撮像画像データに基づいて前記識別対象の識別を行う画像解析装置が行う画像解析方法であって、前記撮像画像中の予め指定された前記特定の模様のみからなる模様領域における所定の単位領域について複数の手法により基準となるテクスチャ模様の特徴量を求める基準特徴量取得工程と、前記撮像画像中の少なくとも前記模様領域及びその周囲の背景を含んだ抽出領域を、前記模様領域の単位領域と同じ大きさの単位領域に分割し、当該各単位領域について前記各手法により特徴量を求める比較特徴量取得工程と、前記抽出領域の各単位領域について、前記各手法の特徴量ごとに前記模様領域との一致度を求め、前記各手法の特徴量ごとの一致度を個々に重み付けをして合成した一致度を求める一致度取得工程と、前記合成された一致度の値から前記抽出領域の各単位領域が識別対象か背景かを判定する判定工程と、前記判別工程で識別対象と判別された複数の単位領域から前記抽出領域における識別対象と背景の境界線を求める境界線取得工程と、予め指定された前記撮像画像における実際の境界線上の位置と前記境界線取得工程で取得された境界線との誤差を検出する誤差検出工程と、を備え、前記各手法の特徴量ごとの一致度に対する重み付けのパターンを逐次変更しつつ前記一致度取得工程、判定工程、境界線取得工程及び誤差検出工程を繰り返すことで前記誤差が閾値以下又は最少となる重み付けのパターンを特定し、前記取得された重み付けパターンに従って撮像画像から前記識別対象を識別することを特徴とする。
【0007】
請求項2記載の発明は、請求項1記載の発明と同様の構成を備えると共に、前記特徴量を求める複数の手法は、同時生起行列の14の特徴量の算出方法の一部又は全部を用いることを特徴とする。
【0008】
請求項3記載の発明は、表面が特定の模様からなる識別対象とその周囲の背景とを含んだ撮像画像の撮像画像データに基づいて前記識別対象の識別を行う画像解析装置であって、前記撮像画像中の予め指定された前記特定の模様のみからなる模様領域における所定の単位領域について複数の手法により基準となるテクスチャ模様の特徴量を求める基準特徴量取得手段と、前記撮像画像中の少なくとも前記模様領域及びその周囲の背景を含んだ抽出領域を、前記模様領域の単位領域と同じ大きさの単位領域に分割し、当該各単位領域について前記各手法により特徴量を求める比較特徴量取得手段と、前記抽出領域の各単位領域について、前記各手法の特徴量ごとに前記模様領域との一致度を求め、前記各手法の特徴量ごとの一致度を個々に重み付けをして合成した一致度を求める一致度取得手段と、前記合成された一致度の値から前記抽出領域の各単位領域が識別対象か背景かを判定する判定手段と、前記判別手段により識別対象と判別された複数の単位領域から前記抽出領域における識別対象と背景の境界線を求める境界線取得手段と、予め指定された前記撮像画像における実際の境界線上の位置と前記境界線取得手段で取得された境界線との誤差を検出する誤差検出手段と、を備え、前記各手法の特徴量ごとの一致度に対する重み付けのパターンを逐次変更しつつ前記一致度取得手段により一致度の取得、前記判定手段により判定、前記境界線取得手段よる前記境界線の取得及び誤差検出手段による誤差検出を繰り返すことで前記誤差が閾値以下又は最少となる重み付けのパターンを特定し、前記取得された重み付けパターンに従って撮像画像から前記識別対象を識別する。
【0009】
請求項4記載の発明は、請求項3記載の発明と同様の構成を備えると共に、前記特徴量を求める複数の手法は、同時生起行列の14の特徴量の算出方法の一部又は全部を用いることを特徴とする。
【発明の効果】
【0010】
請求項1及び3記載の発明は、撮像画像データ中の識別対象物の模様領域から複数の手法により特徴量を取得し且つ合成し、特徴量が一致する単位領域から識別対象の背景との境界線を求め、実際の境界位置との誤差が小さくなるようにリトライを繰り返すことで特徴量の一致度に関する重み付けパターンを特定する。このため、識別対象の固有の模様に基づく特徴量から対象物を識別することとなり、背景との明度差の有無にかかわらず、効果的に識別対象を識別することが可能となる。
また、テクスチャ模様に関する複数の手法に関する重み付けの好適なパターンを特定するので、手法の識別精度の偏りの影響を排除し、より正確な識別を実現することが可能となる。
【0011】
請求項2及び4記載の発明は、テクスチャ模様の特徴量を得るための手法として確立されている同時生起行列の14の特徴量の算出方法を用いるので、種々の模様の識別対象をより効果的に識別することが可能となる。
【図面の簡単な説明】
【0012】
【図1】本実施の形態に係る電子部品実装装置の全体を示す平面図である。
【図2】電子部品実装装置の制御系を示すブロック図である。
【図3】画像解析装置の機能ブロック図である。
【図4】学習データ作成処理のフローチャートである。
【図5】撮像画像データの撮像画像内に設定される各種の領域を示す説明図である。
【図6】図6(A)は模様領域と単位領域との関係を示す説明図、図6(B)は抽出領域と単位領域との関係を示す説明図である。
【図7】図7(A)は単位領域の各画素における輝度値の例を示した説明図、図7(B)は同時生起行列における変位の概念を示す説明図、図7(C)は同時生起行列を示す説明図である。
【図8】模様領域の特徴量の正規分布を示す線図である。
【図9】特徴量の誤差と一致度との関係を示す線図である。
【図10】各単位領域が半田か否かを示した説明図である。
【図11】実際の輪郭線と生成輪郭線とを重ねて図示した説明図である。
【図12】実際の搭載動作時の撮像画像の例を示す説明図である。
【発明を実施するための形態】
【0013】
(実施形態の全体構成)
本発明の実施形態について、図1乃至図12に基づいて説明する。本実施形態は、撮像画像内で特定のテクスチャからなる識別対象物を背景と識別するための画像解析装置10が電子部品搭載装置100に適用され、電子部品の搭載位置である半田パターンを識別対象物として識別する目的に利用される場合の例を示している。
【0014】
(電子部品実装装置)
電子部品搭載装置100は、基板に各種の電子部品の搭載を行うものであって、電子部品の搭載手段として、図1に示すように、搭載される電子部品を供給する複数の電子部品フィーダー101と、電子部品フィーダー101を複数並べて保持する電子部品供給部としてのフィーダーバンク102と、一定方向に基板を搬送する基板搬送手段103と、当該基板搬送手段103による基板搬送経路の途中に設けられた基板に対する電子部品搭載作業を行うための搭載作業部104と、電子部品を吸着する吸着ノズル105を保持して電子部品の保持を行う部品保持手段としてのヘッド106と、ヘッド106を所定範囲内の任意の位置に駆動搬送するヘッド移動手段としてのX−Yガントリ107と、ヘッド106に搭載され、基板の撮像を行い、電子部品の搭載を行う半田パターンを識別するための撮像手段としてのCCDカメラ108と、電子部品搭載装置100の各構成に対して制御を行う制御装置120とを備えている。
画像解析装置10は、制御装置120に組み込まれ、電子部品の搭載のためにCCDカメラ108の基板の撮像画像から半田パターンを識別し、正確な位置情報をヘッド106の位置決め動作に反映させるために利用される。
なお、以下の説明において、水平面に沿って互いに直交する一の方向をX軸方向とし、他の方向をY軸方向とし、垂直上下方向をZ軸方向と称することとする。
【0015】
基板搬送手段103は、図示しない搬送ベルトを備えており、その搬送ベルトにより基板をX軸方向に沿って搬送する。
また、前述したように、基板搬送手段103による基板搬送経路の途中には、電子部品を基板へ搭載する搭載作業部104が設けられている。基板搬送手段103は、搭載作業部104まで基板を搬送すると共に停止して、図示しない保持機構により基板の保持を行う。つまり、基板は保持機構により保持された状態で安定した電子部品の搭載作業が行われる。
【0016】
ヘッド106は、その先端部で空気吸引により電子部品を保持する吸着ノズル105と、この吸着ノズル105をZ軸方向に駆動する駆動源であるZ軸モータ111(図2参照)と、吸着ノズル105を介して保持された電子部品をZ軸方向を中心として回転駆動させる回転駆動源である回転モータ112(図2参照)とが設けられている。
また、各吸着ノズル105は負圧発生源に接続され、当該吸着ノズル105の先端部において吸気吸引を行うことにより電子部品の吸着及び保持が行われる。
つまりこれらの構造により、搭載作業時には、吸着ノズル105の先端部で所定の電子部品フィーダー101から電子部品を吸着し、所定位置で基板に向かって吸着ノズル105を下降させると共に吸着ノズル105を回転させて電子部品の向きの調整を行いつつ搭載作業が行われる。
また、前述したCCDカメラ108は、ヘッド106に搭載されており、X−Yガントリ107によりヘッド106が駆動されることで、基板の撮像位置に位置決めされるようになっている。
【0017】
X−Yガントリ107は、X軸方向にヘッド106の移動を案内するX軸ガイドレール107aと、このX軸ガイドレール107aと共にヘッド106をY軸方向に案内する二本のY軸ガイドレール107bと、X軸方向に沿ってヘッド106を移動させる駆動源であるX軸モータ109(図2参照)と、X軸ガイドレール107aを介してヘッド106をY軸方向に移動させる駆動源であるY軸モータ110(図2参照)とを備えている。そして、各モータ109,110の駆動により、ヘッド106を二本のY軸ガイドレール107bの間となる領域のほぼ全体に搬送することを可能としている。
なお、各モータは、ぞれぞれの回転量が制御装置120に認識され、所望の回転量となるように制御されることにより、ヘッド106を介して吸着ノズル105やCCDカメラ108の位置決めを行っている。
また、電子部品の必要上、前記したフィーダーバンク102,搭載作業部104とはいずれもX−Yガントリ107によるヘッド106の搬送可能領域内に配置されている。
【0018】
フィーダーバンク102は、複数のX−Y平面に沿った平坦部を備え、当該平坦部に複数の電子部品フィーダー101がX軸方向に沿って羅列して載置装備される。
CCDカメラ108は、ヘッド106により下方に向けられた状態で保持されており、基板を上方から撮像することで半田パターンを識別する。
【0019】
(制御装置)
図2は電子部品搭載装置100の制御系を示すブロック図である。図2に示すように、制御装置120は、主に、X−Yガントリ107のX軸モータ109、Y軸モータ110、ヘッド106において吸着ノズル105の昇降を行うZ軸モータ111、吸着ノズル105の回転を行う回転モータ112、CCDカメラ108の動作制御を行い、所定の制御プログラムに従って各種の処理及び制御を実行するCPU121と、各種の処理及び制御を実行するためのプログラムが格納されたシステムROM122と、各種のデータを格納することで各種の処理の作業領域となるRAM123と、CPU121と各種の機器との接続を図る図示しないI/F(インターフェース)と、各種の設定や操作に要するデータの入力を行うための操作パネル124と、各種の処理及び制御を実行するための設定データが格納されたEEPROM126と、各種設定の内容や後述する検査の結果等を表示する表示モニタ125とを有している。また、前述した各モータ109〜112は、図示しないモータドライバを介して制御装置120に接続されている。
【0020】
(画像解析装置)
図3は画像解析装置10の機能ブロック図である。画像解析装置10の後述する各機能は、実際には、制御装置120のCPU121が所定のプログラムを実行することにより実現されている。
画像解析装置10は、全体を統括制御する主制御部11と、CCDカメラ108の出力から撮像画像データを取得する画像入力部20と、撮像画像データに基づく矩形の画像領域を分割する画像分割部30と、オペレータが操作パネル124により撮像画像内の半田パターンとその背景との境界線上に指定する複数の点を誤差測定点に設定する誤差測定点入力部40と、半田パターンのテクスチャ(模様)の特徴量を抽出する特徴量抽出部50と、抽出した特徴量を合成するための後述するパラメータを決定して特徴量を合成する特徴量合成部60と、誤差測定点と出力形状との誤差を検出して判定を行う誤差検出部70とを備えている。
これらの構成により、画像解析装置10は、電子部品の搭載動作を行う前に、半田パターンの特徴量を合成するための適正なパラメータを取得するための学習データ作成処理を予め実行し、搭載動作時には、学習データ作成処理で得られたパラメータによりCCDカメラ108の撮像画像から半田パターンを識別する処理を実行する。
【0021】
(学習データ作成処理)
次に、上記画像解析装置10が行う半田パターンの模様の学習データ作成処理について図4のフローチャートに示す処理の順番で説明する。
まず、画像入力部20によりCCDカメラ108で半田パターンを含む基板の撮像が行われ、その画像が撮像画像データとして記憶される(ステップS1)。
【0022】
次に、オペレータによる誤差測定点Gの入力が行われ、誤差測定点入力部40は、その入力操作により指定された画像内の位置を記録する処理を行う(ステップS2)。
図5はCCDカメラ108で撮像された撮像画像を示しており、一番外側の矩形のエリアA1は撮像画像の範囲を示し、Hは撮像された半田パターンを示す。
半田の表面は半田に特有な粒状の模様で一様に覆われているので、電子部品の搭載動作時には、当該模様の特徴量を求めて背景と識別し、半田パターンHと背景との境界線としての輪郭線Rを求めて電子部品を搭載する。この学習データ作成処理では、撮像画像から輪郭線Rを識別するために必要な適正なパラメータ(後述)を取得するために、表示装置125に表示された撮像画像に基づいてオペレータが輪郭線Rを視覚的に認識して、当該輪郭線上の任意の複数箇所(この例では6個)を誤差測定点Gとして操作パネル124から、例えばカーソル操作等により位置指定して入力し、画像解析装置10では、入力された誤差測定点Gの撮像画像エリア内の位置座標をRAM123に記憶する。
【0023】
次に、オペレータによる半田の模様の特徴量を取得するための模様領域A2の入力が行われ、特徴量抽出部50は、その入力操作により指定された領域の位置及び範囲を記録する処理を行う(ステップS3)。
この模様領域A2は、大きさに制限はないが、後述する8×8画素の単位領域A3が少なくとも30個程度得られる範囲とすることがより望ましく、また、模様領域A2の領域内に半田以外の部分が含まれないことが要求される。
即ち、前述した誤差測定点Gの入力と同様に、表示装置125に表示された撮像画像に基づいてオペレータが、操作パネル124から、例えばカーソル操作等により指定範囲の四隅を位置指定して入力することで模様領域A2を指定入力し、画像解析装置10では、入力された模様領域A2の撮像画像エリア内の位置及び範囲を示す座標をRAM123に記憶する。
【0024】
次に、特徴量抽出部50は、入力された模様領域A2からテクスチャ模様の画像特徴量を取得する処理を行う(ステップS4:基準特徴量取得工程)。この処理では、特徴量抽出部50は「基準特徴量取得手段」として機能することとなる。
テクスチャ模様の画像特徴量の取得には同時生起行列が使用される。同時生起行列とは,テクスチャ特徴量のうち統計的なテクスチャ特徴の計算方法の一つであり,以下に定義される同時生起行列から画像の空間的模様の一つであるコントラストや局所一様性等14種の要素について特徴量を求めることができる。
【0025】
まず、同時生起行列を生成するために、図6(A)に示すように、前述した模様領域A2を水平方向分割線LHと垂直方向分割線LVで分割し、8×8画素の正方形の単位領域A3を切り出す処理を行う。前述したように、分割により得られる単位領域A3の数は30個程度(図では48個)あれば足りる。後述するが、各単位領域A3に基づく特徴量は平均化され、標準偏差が求められるので、統計学的に十分な数として30個(図では48個)の単位領域A3を用意している。
そして、各単位領域A3について個々に同時生起行列が生成される。
図7(A)に示した8×8の単位画像A3を例にして説明すると、図7(B)に示すように、画像の輝度値i(32階調とする:i=0〜31)の画素から角度θの方向に長さrの変位δ=(r,θ)だけ離れた画素の輝度値がjである確率Pδ(i,j)を要素とする図7(C)に示す行列が同時生起行列である。なお、本実施形態では、i行j列の要素に前述した変位で輝度値iの画素に対して輝度値がjとなる画素の個体数が入力されている。なお、本実施形態では、変位についてr=1で角度θ=0°とθ=180°の双方向について一つの同時生起行列を生成している。また、同様にして、θ=45(225),90(270),135(315)の同時生起行列も生成される。
【0026】
そして、各単位領域A3の同時生起行列について、次式(1)〜(14)の計算式により14種類の特徴量fi(i=1〜14)が算出される。なお、fi値は実数である。例えばf1=角二次モーメント、f2=コントラスト、f3=エントロピーなどである。fi値がテクスチャ模様を区別する能力を持つことは公知である。これらのテクスチャ特徴量が示す意義については、「新編,画像解析ハンドブック,高木幹雄・下田陽久監修」に詳しく説明されているのでここでは説明書を省略する。
【0027】
【数1】
【数2】
なお、各式において、n=31(最大輝度値)であり、また、次式(15)〜(18)の通り定義されるものとする。
【数3】
【0028】
上記処理により、全ての単位領域A3について特徴量fi値(i=1〜14)が得られると、特徴量の種類ごとに(iの値ごとに)全単位領域A3の平均値μiと標準偏差σiを算出し、これらを模様領域A2の特徴量として学習fi値としてRAM123又はEEPRO126に記憶する。なお、模様領域A2の特徴量fiは一般に図8に示すように正規分布に従うものと考えられる。
【0029】
次に、特徴量合成部60は、特徴量の合成パラメータを初期化する(ステップS5)。
前述した各式(1)〜(14)ごとの各種の特徴量fiは、後の処理において、模様領域以外の他の画像の単位領域について同様に算出された特徴量との一致度Eが求められることとなり、その際、各種の特徴量ごと(iごと)に求められた一致度Eが個々に重み付けされて合成される。合成パラメータは、各種の特徴量ごとの一致度Eに対して重み付けとして乗じる係数wi(i=1〜14)の組み合わせパターンを示すものである。
合成パラメータは、w1+w2+w3+…+w14=1となるように規定されており、合成パラメータの初期化の際には、w1=1とする。つまり、その他のw2,w3,w4,…についてはいずれも0とする。つまり、特徴量f1に関する一致度Eのみが求められることとなる。
【0030】
次に、入力画像5に半田全体を包み込む新たな抽出領域A4を設定する。
特徴量合成部60は、上記合成パラメータに基づいて半田の模様か否かを識別し、半田パターンの輪郭線を形成するために、オペレータによる半田全体を包み込む新たな抽出領域A4の入力が行われ、特徴量合成部60は、その入力操作により指定された領域の位置及び範囲を記録する処理を行う(ステップS6)。
この抽出領域A4は、半田パターンを含む範囲であれば大きさに制限はないが、図5に示すように、前述した全ての誤差測定点Gを含む範囲とすることが要求され、さらには、半田パターンを取り囲むことができる範囲が望ましい。入力方法は前述した模様領域A2の場合と同様である。
【0031】
さらに、特徴量合成部60は、図6(B)で示すように、抽出領域A4を模様領域A2の場合と同じ8×8画素の単位領域A5で分割する(ステップS7:比較特徴量取得工程)。
そして、抽出領域A4の各単位領域A5ごとに前述した14の式から求まる特徴量fiを算出する。このとき、合成パラメータの中でwi(i=1〜14)≠0となるものから特徴量を算出する。なお、このとき、特徴量合成部60は、「比較特徴量取得手段」として機能することとなる。
【0032】
次に、特徴量合成部60は、抽出領域A4の各単位領域A5と模様領域A2の領域A3の学習fi値との一致度Eを算出する(ステップS8:一致度取得工程)。
即ち、各単位領域A5ごとに各特徴量fiについて対応する学習fi値の平均値μiとの誤差δiを計算する。そして、各単位領域A5の個々の特徴量fiについて一致度eiを算出する。
各一致度eiの算出については、図9に示す関数evalを用いる。この関数evalは、縦軸が最大値1とする一致度eiであり、横軸が誤差δiである。そして、この関数evalは単調減少であれば足り、その傾きの変化については任意である。つまり、単調減少となる直線でも良いが、ここでは、一致度が0と1に近づくにつれて傾きが0に近くなり、中間で傾きが最大となる曲線を採用している。即ち、eiの値は0≦ei≦1であり、ei=1(δi=0)、ei=0(δi≧βσi)、中間は単調減少である。σiは学習fi値の標準偏差、βは特徴量fi値と学習fi値の平均値μiとの誤差δiを評価する係数であり、βを大きくすればするほど対象模様であるとみなされやすくなる。
本実施例では例えばβ=1.5とする。
これにより、各単位領域A5の各特徴量fiについて一致度eiを算出する。そして、合成パラメータの各係数wiに従って、各eiに乗算し合計して、各単位領域A5ごとに一致度Eを算出する。
なお、このとき、特徴量合成部60は「一致度取得手段」として機能する。
【0033】
次に、特徴量合成部60は、抽出領域A4の各単位領域A5の一致度Eに基づいて、当該各単位領域A5が半田か否かを判定する(ステップS9:判定工程)。
かかる判定は、予め一致度の閾値Cを用意しておき、各単位領域の一致度Eが閾値以上か否かで行う。即ち、Eが閾値C以上なら半田とし、そうでなければ背景とする。
なお、閾値Cの値は適当(試験等で求めるなど)で良いが、ここでは例えばC=0.8とする。
なお、このとき、特徴量合成部60は「判定手段」として機能する。
【0034】
上記抽出領域A4の各単位領域A5の一致度Eの判定結果に従って、図10に示すように、単位領域A5をひとつの単位とする半田と背景に識別された‘2値画像’(1=半田、0=背景)を得ることができる(半田である単位領域A5は網掛けで図示)。
これに対して、誤差検出部70は、半田とされた単位領域A5の内で背景とされた単位領域A5に隣接するものの中心を線でつないで半田パターンの輪郭線RAを生成する(ステップS10:境界線取得工程)。
なお、このとき、誤差検出部70は「境界線取得手段」として機能する。
【0035】
そして、誤差検出部70は、実際の輪郭線Rに対する生成輪郭線RAの誤差Dを検出する(ステップS11:誤差検出工程)。
実際の輪郭線Rと生成輪郭線RAとを重ねて図11に示す。誤差DはステップS2で登録した誤差測定点Gに基づいて算出する。即ち、生成輪郭線RAに対して各誤差測定点Gからの最短距離d(画素距離)を算出する。これにより得られた最短距離をd1,d2,・・・とすると誤差D=max{d1,d2,・・・}により取得する。
なお、このとき、誤差検出部70は「誤差検出手段」として機能する。
【0036】
次に、誤差検出部70は、誤差Dを予め設定された基準値αと比較し(ステップS12)、基準値αを超えている場合には、現在の合成パラメータの設定が半田を背景と識別するために適正な一致度を導き出すことが可能であるものとして、処理を終了する。このように、基準値αは、合成パラメータの適否を判定するために重要な値であり、これを大きく設定すれば、適正とされる合成パラメータを容易に取得可能となるが、半田パターンの識別精度は低下する。また、基準値αを小さく設定すれば、適正とされる合成パラメータは容易には求まらなくなるが、半田パターンの識別精度は向上する。従って、試験などにより目的に応じて適切な値に設定する必要がある。
【0037】
一方、ステップS12の判定において、誤差Dが基準値α以下の場合には、現在の合成パラメータの設定は適正ではないものとして、合成パラメータの設定を変更する(ステップS13)。
すなわち特徴量fi値に対する一致度の係数wiを、それぞれ独立に変更する。例えば、各特徴量fi値に対する一致度の係数wiを0,0.2,0.4,0.6,0.8,1.0の0.2刻みで6段階に変更する(より細かく分けても良い)。なお、前述したように係数wi全体で正規化しておく。本実施形態ではパラメータは積空間w1×w2×・・・全体で変化させる。
そして、新たな合成パラメータが定まると、ステップS8に処理を戻して、新たに抽出領域A4の各単位領域A5の一致度Eを求めなおし、半田とされる単位領域A5を求め、それらから輪郭線RAを生成し、誤差Dを基準値αと比較する処理をリトライする。
これにより、誤差Dが基準値α以下となる合成パラメータが見つかるまで処理を繰り返すこととなる。
また、ステップS12で誤差Dが基準値α以下となった場合には、そのときの合成パラメータの各係数wiの数値の組み合わせ(例えばw6=0.5、w8=0.5、その他のw=0等のような数値群)を学習データ(学習合成パラメータ)として記録する。
これにより、学習データ作成処理が終了する。
【0038】
(電子部品搭載時の処理)
次に、電子部品の搭載時に行われる処理について説明する。
前述した吸着ノズル106に電子部品が吸着され、ヘッド105が基板の搭載位置近傍まで移動した状態において、CCDカメラ108により基板の搭載位置の撮像が実行され、撮像画像データが取得される。
そして、特徴量合成部60により、撮像画像の一部(例えば中央部)が抽出領域として切り出され、前述したステップS7〜10と同様の処理が実行される。
即ち、撮像画像の抽出領域が単位領域に分割され、一致度eiの係数wi=0ではないiについての特徴量が算出され、学習データ作成処理に取得された合成パラメータに従って各単位領域の半田との一致度が算出される。そして、半田であると判定された単位領域に基づいて輪郭線を算出する。当該輪郭線に囲まれた領域が搭載位置の半田パターンであることから、吸着ノズル106を輪郭線に囲まれた位置に位置決めするようにヘッド105を移動して、電子部品の搭載が実行される。
【0039】
(実施形態の効果)
上記画像解析装置10では、撮像画像データ中の半田Hの模様領域A2から同時生起行列の14式により特徴量を取得し且つ合成し、特徴量が一致する単位領域A5から半田H識別対象の背景との境界線を求め、実際の境界位置との誤差が小さくなるようにリトライを繰り返すことで特徴量の一致度に関する重み付けパターンを特定する。このため、半田Hの固有の模様に基づく特徴量から当該半田Hを識別することとなり、背景との明度差の有無にかかわらず、効果的に識別対象を識別することが可能となる。
このため、例えば図12に示すように、半田Hと当該半田と模様の異なる基板K、配線パターンN、パッドUが撮像領域A1内に存在する状態でも、半田形状を示す輪郭線RAを的確に識別することができる。
【0040】
また、テクスチャ模様に関する同時生起行列の14式に関する好適な合成パラメータを特定するので、各手法の識別精度の偏りの影響を排除し、より正確な識別を実現することが可能となる。
テクスチャ模様の特徴量を得るための手法として確立されている同時生起行列の14の特徴量の算出方法を用いるので、種々の模様の識別対象をより効果的に識別することが可能となる。
【0041】
(その他)
上述した画像解析装置10では、半田模様の特徴量の算出として同時生起行列由来の手法を使ったが、模様を特徴づけることが可能な他の手法を用いても良いし、同時生起行列の手法と他の手法とを組み合わせて用いても良い。例えば、模様の解析の手法としては、例えば領域画像をフーリエ変換して得られた周波数、濃度ヒストグラム,ランレングス行列,フラクタル次元を用いても良い。
その場合も上記実施形態と同様の効果を得ることが可能である。
【0042】
また、上述した画像解析装置10では、学習データ作成処理において、模様領域A2のみを利用し、半田の背景領域の画像情報を使用していないが、使用することも可能である。その場合、例えば誤差測定点ごとに背景から単位領域A6(図5参照)を切り出し、その単位領域A6からfi値を求める。それにより模様領域A2のfi値と比較することにより、例えば、fi値同士の開きが大きいものとそうでないfi値に分けることができる。その結果、重みとなる係数wiの積空間全域で回す必要がなくなり、繰り返し回数を低減し、迅速に適正な合成パラメータを取得することが可能となり得る。
【0043】
また、上述した画像解析装置10では、学習データ作成処理において、ステップ12のリトライの判定において、誤差Dに対する基準値αとの比較により判定を行って終了条件としたが、誤差Dを表示装置125に表示し、オペレータがリトライを実行するか判断するようにしても良い。その場合も上記実施形態と同様の効果を得ることが可能である。
【0044】
また、上述した画像解析装置10では、学習データ作成処理において、ステップ12のリトライの判定において、誤差Dが基準値αを下回ることで処理の終了条件としたが、これに限らず、繰り返しに規定回数を設け、規定回数内で誤差が最小となる合成パラメータを学習データとしても良い。その場合も上記実施形態とほぼ同様の効果を得ることが可能であって、さらに、処理の迅速化を図ることが可能である。
【0045】
また、誤差測定点Gは、前述した6点に限られるものではない。最少で1個でもよく、また、より多くしても良い。その場合も上記実施形態と同様の効果を得ることが可能である。
また、前述の誤差Dの対象として輪郭線RAとRとの最短距離dを使ったが、他のものでも良い。例えば、誤差測定点Gの数をより多く設定して半田領域同士で面積や重心を求めて比較するようにしても良い。その場合も上記実施形態と同様の効果を得ることが可能である。
【符号の説明】
【0046】
10 画像解析装置
11 主制御部
20 画像入力部
30 画像分割部
40 誤差測定点入力部
50 特徴量抽出部
60 特徴量合成部
70 誤差検出部
100 電子部品搭載装置
120 制御装置
A1 撮像画像
A2 模様領域
A3 単位領域
A4 抽出領域
A5 単位領域
G 誤差測定点(境界点)
H 半田パターン(識別対象)
【技術分野】
【0001】
本発明は、対象物を識別するための画像解析方法及び画像解析装置に関する。
【背景技術】
【0002】
撮像画像の各画素について輝度値が定められてなる撮像画像データから、識別対象物の識別を行う方法としては、撮像画像データに基づく輝度勾配情報から識別対象物の輪郭線を得る方法や、画像データに基づく濃淡画像から対象物のエッジ情報を抽出し、エッジ点列による対象物の抽出及び位置検出を行う方法などが知られている(例えば、特許文献1及び2)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平9−171553号公報
【特許文献2】特許2981382号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献1に示す輝度勾配に基づいて輪郭線を取得する方法では、対象物と背景との間に十分な輝度勾配が得られるような輝度差が生じていなければ明瞭な輪郭線を得ることができず、対象物と背景とに十分な明度の差がなければ識別することができないという問題があった。
また、特許文献2に示す先行技術の場合には、対象物からエッジ情報が得られることを前提としており、対象物と背景とに十分な明度の差がなければ十分なエッジ情報が得られず、識別が困難となるという問題があった。
【0005】
本発明は、安定して対象物の識別を可能とすることをその目的とする。
【課題を解決するための手段】
【0006】
請求項1記載の発明は、表面が特定の模様からなる識別対象とその周囲の背景とを含んだ撮像画像の撮像画像データに基づいて前記識別対象の識別を行う画像解析装置が行う画像解析方法であって、前記撮像画像中の予め指定された前記特定の模様のみからなる模様領域における所定の単位領域について複数の手法により基準となるテクスチャ模様の特徴量を求める基準特徴量取得工程と、前記撮像画像中の少なくとも前記模様領域及びその周囲の背景を含んだ抽出領域を、前記模様領域の単位領域と同じ大きさの単位領域に分割し、当該各単位領域について前記各手法により特徴量を求める比較特徴量取得工程と、前記抽出領域の各単位領域について、前記各手法の特徴量ごとに前記模様領域との一致度を求め、前記各手法の特徴量ごとの一致度を個々に重み付けをして合成した一致度を求める一致度取得工程と、前記合成された一致度の値から前記抽出領域の各単位領域が識別対象か背景かを判定する判定工程と、前記判別工程で識別対象と判別された複数の単位領域から前記抽出領域における識別対象と背景の境界線を求める境界線取得工程と、予め指定された前記撮像画像における実際の境界線上の位置と前記境界線取得工程で取得された境界線との誤差を検出する誤差検出工程と、を備え、前記各手法の特徴量ごとの一致度に対する重み付けのパターンを逐次変更しつつ前記一致度取得工程、判定工程、境界線取得工程及び誤差検出工程を繰り返すことで前記誤差が閾値以下又は最少となる重み付けのパターンを特定し、前記取得された重み付けパターンに従って撮像画像から前記識別対象を識別することを特徴とする。
【0007】
請求項2記載の発明は、請求項1記載の発明と同様の構成を備えると共に、前記特徴量を求める複数の手法は、同時生起行列の14の特徴量の算出方法の一部又は全部を用いることを特徴とする。
【0008】
請求項3記載の発明は、表面が特定の模様からなる識別対象とその周囲の背景とを含んだ撮像画像の撮像画像データに基づいて前記識別対象の識別を行う画像解析装置であって、前記撮像画像中の予め指定された前記特定の模様のみからなる模様領域における所定の単位領域について複数の手法により基準となるテクスチャ模様の特徴量を求める基準特徴量取得手段と、前記撮像画像中の少なくとも前記模様領域及びその周囲の背景を含んだ抽出領域を、前記模様領域の単位領域と同じ大きさの単位領域に分割し、当該各単位領域について前記各手法により特徴量を求める比較特徴量取得手段と、前記抽出領域の各単位領域について、前記各手法の特徴量ごとに前記模様領域との一致度を求め、前記各手法の特徴量ごとの一致度を個々に重み付けをして合成した一致度を求める一致度取得手段と、前記合成された一致度の値から前記抽出領域の各単位領域が識別対象か背景かを判定する判定手段と、前記判別手段により識別対象と判別された複数の単位領域から前記抽出領域における識別対象と背景の境界線を求める境界線取得手段と、予め指定された前記撮像画像における実際の境界線上の位置と前記境界線取得手段で取得された境界線との誤差を検出する誤差検出手段と、を備え、前記各手法の特徴量ごとの一致度に対する重み付けのパターンを逐次変更しつつ前記一致度取得手段により一致度の取得、前記判定手段により判定、前記境界線取得手段よる前記境界線の取得及び誤差検出手段による誤差検出を繰り返すことで前記誤差が閾値以下又は最少となる重み付けのパターンを特定し、前記取得された重み付けパターンに従って撮像画像から前記識別対象を識別する。
【0009】
請求項4記載の発明は、請求項3記載の発明と同様の構成を備えると共に、前記特徴量を求める複数の手法は、同時生起行列の14の特徴量の算出方法の一部又は全部を用いることを特徴とする。
【発明の効果】
【0010】
請求項1及び3記載の発明は、撮像画像データ中の識別対象物の模様領域から複数の手法により特徴量を取得し且つ合成し、特徴量が一致する単位領域から識別対象の背景との境界線を求め、実際の境界位置との誤差が小さくなるようにリトライを繰り返すことで特徴量の一致度に関する重み付けパターンを特定する。このため、識別対象の固有の模様に基づく特徴量から対象物を識別することとなり、背景との明度差の有無にかかわらず、効果的に識別対象を識別することが可能となる。
また、テクスチャ模様に関する複数の手法に関する重み付けの好適なパターンを特定するので、手法の識別精度の偏りの影響を排除し、より正確な識別を実現することが可能となる。
【0011】
請求項2及び4記載の発明は、テクスチャ模様の特徴量を得るための手法として確立されている同時生起行列の14の特徴量の算出方法を用いるので、種々の模様の識別対象をより効果的に識別することが可能となる。
【図面の簡単な説明】
【0012】
【図1】本実施の形態に係る電子部品実装装置の全体を示す平面図である。
【図2】電子部品実装装置の制御系を示すブロック図である。
【図3】画像解析装置の機能ブロック図である。
【図4】学習データ作成処理のフローチャートである。
【図5】撮像画像データの撮像画像内に設定される各種の領域を示す説明図である。
【図6】図6(A)は模様領域と単位領域との関係を示す説明図、図6(B)は抽出領域と単位領域との関係を示す説明図である。
【図7】図7(A)は単位領域の各画素における輝度値の例を示した説明図、図7(B)は同時生起行列における変位の概念を示す説明図、図7(C)は同時生起行列を示す説明図である。
【図8】模様領域の特徴量の正規分布を示す線図である。
【図9】特徴量の誤差と一致度との関係を示す線図である。
【図10】各単位領域が半田か否かを示した説明図である。
【図11】実際の輪郭線と生成輪郭線とを重ねて図示した説明図である。
【図12】実際の搭載動作時の撮像画像の例を示す説明図である。
【発明を実施するための形態】
【0013】
(実施形態の全体構成)
本発明の実施形態について、図1乃至図12に基づいて説明する。本実施形態は、撮像画像内で特定のテクスチャからなる識別対象物を背景と識別するための画像解析装置10が電子部品搭載装置100に適用され、電子部品の搭載位置である半田パターンを識別対象物として識別する目的に利用される場合の例を示している。
【0014】
(電子部品実装装置)
電子部品搭載装置100は、基板に各種の電子部品の搭載を行うものであって、電子部品の搭載手段として、図1に示すように、搭載される電子部品を供給する複数の電子部品フィーダー101と、電子部品フィーダー101を複数並べて保持する電子部品供給部としてのフィーダーバンク102と、一定方向に基板を搬送する基板搬送手段103と、当該基板搬送手段103による基板搬送経路の途中に設けられた基板に対する電子部品搭載作業を行うための搭載作業部104と、電子部品を吸着する吸着ノズル105を保持して電子部品の保持を行う部品保持手段としてのヘッド106と、ヘッド106を所定範囲内の任意の位置に駆動搬送するヘッド移動手段としてのX−Yガントリ107と、ヘッド106に搭載され、基板の撮像を行い、電子部品の搭載を行う半田パターンを識別するための撮像手段としてのCCDカメラ108と、電子部品搭載装置100の各構成に対して制御を行う制御装置120とを備えている。
画像解析装置10は、制御装置120に組み込まれ、電子部品の搭載のためにCCDカメラ108の基板の撮像画像から半田パターンを識別し、正確な位置情報をヘッド106の位置決め動作に反映させるために利用される。
なお、以下の説明において、水平面に沿って互いに直交する一の方向をX軸方向とし、他の方向をY軸方向とし、垂直上下方向をZ軸方向と称することとする。
【0015】
基板搬送手段103は、図示しない搬送ベルトを備えており、その搬送ベルトにより基板をX軸方向に沿って搬送する。
また、前述したように、基板搬送手段103による基板搬送経路の途中には、電子部品を基板へ搭載する搭載作業部104が設けられている。基板搬送手段103は、搭載作業部104まで基板を搬送すると共に停止して、図示しない保持機構により基板の保持を行う。つまり、基板は保持機構により保持された状態で安定した電子部品の搭載作業が行われる。
【0016】
ヘッド106は、その先端部で空気吸引により電子部品を保持する吸着ノズル105と、この吸着ノズル105をZ軸方向に駆動する駆動源であるZ軸モータ111(図2参照)と、吸着ノズル105を介して保持された電子部品をZ軸方向を中心として回転駆動させる回転駆動源である回転モータ112(図2参照)とが設けられている。
また、各吸着ノズル105は負圧発生源に接続され、当該吸着ノズル105の先端部において吸気吸引を行うことにより電子部品の吸着及び保持が行われる。
つまりこれらの構造により、搭載作業時には、吸着ノズル105の先端部で所定の電子部品フィーダー101から電子部品を吸着し、所定位置で基板に向かって吸着ノズル105を下降させると共に吸着ノズル105を回転させて電子部品の向きの調整を行いつつ搭載作業が行われる。
また、前述したCCDカメラ108は、ヘッド106に搭載されており、X−Yガントリ107によりヘッド106が駆動されることで、基板の撮像位置に位置決めされるようになっている。
【0017】
X−Yガントリ107は、X軸方向にヘッド106の移動を案内するX軸ガイドレール107aと、このX軸ガイドレール107aと共にヘッド106をY軸方向に案内する二本のY軸ガイドレール107bと、X軸方向に沿ってヘッド106を移動させる駆動源であるX軸モータ109(図2参照)と、X軸ガイドレール107aを介してヘッド106をY軸方向に移動させる駆動源であるY軸モータ110(図2参照)とを備えている。そして、各モータ109,110の駆動により、ヘッド106を二本のY軸ガイドレール107bの間となる領域のほぼ全体に搬送することを可能としている。
なお、各モータは、ぞれぞれの回転量が制御装置120に認識され、所望の回転量となるように制御されることにより、ヘッド106を介して吸着ノズル105やCCDカメラ108の位置決めを行っている。
また、電子部品の必要上、前記したフィーダーバンク102,搭載作業部104とはいずれもX−Yガントリ107によるヘッド106の搬送可能領域内に配置されている。
【0018】
フィーダーバンク102は、複数のX−Y平面に沿った平坦部を備え、当該平坦部に複数の電子部品フィーダー101がX軸方向に沿って羅列して載置装備される。
CCDカメラ108は、ヘッド106により下方に向けられた状態で保持されており、基板を上方から撮像することで半田パターンを識別する。
【0019】
(制御装置)
図2は電子部品搭載装置100の制御系を示すブロック図である。図2に示すように、制御装置120は、主に、X−Yガントリ107のX軸モータ109、Y軸モータ110、ヘッド106において吸着ノズル105の昇降を行うZ軸モータ111、吸着ノズル105の回転を行う回転モータ112、CCDカメラ108の動作制御を行い、所定の制御プログラムに従って各種の処理及び制御を実行するCPU121と、各種の処理及び制御を実行するためのプログラムが格納されたシステムROM122と、各種のデータを格納することで各種の処理の作業領域となるRAM123と、CPU121と各種の機器との接続を図る図示しないI/F(インターフェース)と、各種の設定や操作に要するデータの入力を行うための操作パネル124と、各種の処理及び制御を実行するための設定データが格納されたEEPROM126と、各種設定の内容や後述する検査の結果等を表示する表示モニタ125とを有している。また、前述した各モータ109〜112は、図示しないモータドライバを介して制御装置120に接続されている。
【0020】
(画像解析装置)
図3は画像解析装置10の機能ブロック図である。画像解析装置10の後述する各機能は、実際には、制御装置120のCPU121が所定のプログラムを実行することにより実現されている。
画像解析装置10は、全体を統括制御する主制御部11と、CCDカメラ108の出力から撮像画像データを取得する画像入力部20と、撮像画像データに基づく矩形の画像領域を分割する画像分割部30と、オペレータが操作パネル124により撮像画像内の半田パターンとその背景との境界線上に指定する複数の点を誤差測定点に設定する誤差測定点入力部40と、半田パターンのテクスチャ(模様)の特徴量を抽出する特徴量抽出部50と、抽出した特徴量を合成するための後述するパラメータを決定して特徴量を合成する特徴量合成部60と、誤差測定点と出力形状との誤差を検出して判定を行う誤差検出部70とを備えている。
これらの構成により、画像解析装置10は、電子部品の搭載動作を行う前に、半田パターンの特徴量を合成するための適正なパラメータを取得するための学習データ作成処理を予め実行し、搭載動作時には、学習データ作成処理で得られたパラメータによりCCDカメラ108の撮像画像から半田パターンを識別する処理を実行する。
【0021】
(学習データ作成処理)
次に、上記画像解析装置10が行う半田パターンの模様の学習データ作成処理について図4のフローチャートに示す処理の順番で説明する。
まず、画像入力部20によりCCDカメラ108で半田パターンを含む基板の撮像が行われ、その画像が撮像画像データとして記憶される(ステップS1)。
【0022】
次に、オペレータによる誤差測定点Gの入力が行われ、誤差測定点入力部40は、その入力操作により指定された画像内の位置を記録する処理を行う(ステップS2)。
図5はCCDカメラ108で撮像された撮像画像を示しており、一番外側の矩形のエリアA1は撮像画像の範囲を示し、Hは撮像された半田パターンを示す。
半田の表面は半田に特有な粒状の模様で一様に覆われているので、電子部品の搭載動作時には、当該模様の特徴量を求めて背景と識別し、半田パターンHと背景との境界線としての輪郭線Rを求めて電子部品を搭載する。この学習データ作成処理では、撮像画像から輪郭線Rを識別するために必要な適正なパラメータ(後述)を取得するために、表示装置125に表示された撮像画像に基づいてオペレータが輪郭線Rを視覚的に認識して、当該輪郭線上の任意の複数箇所(この例では6個)を誤差測定点Gとして操作パネル124から、例えばカーソル操作等により位置指定して入力し、画像解析装置10では、入力された誤差測定点Gの撮像画像エリア内の位置座標をRAM123に記憶する。
【0023】
次に、オペレータによる半田の模様の特徴量を取得するための模様領域A2の入力が行われ、特徴量抽出部50は、その入力操作により指定された領域の位置及び範囲を記録する処理を行う(ステップS3)。
この模様領域A2は、大きさに制限はないが、後述する8×8画素の単位領域A3が少なくとも30個程度得られる範囲とすることがより望ましく、また、模様領域A2の領域内に半田以外の部分が含まれないことが要求される。
即ち、前述した誤差測定点Gの入力と同様に、表示装置125に表示された撮像画像に基づいてオペレータが、操作パネル124から、例えばカーソル操作等により指定範囲の四隅を位置指定して入力することで模様領域A2を指定入力し、画像解析装置10では、入力された模様領域A2の撮像画像エリア内の位置及び範囲を示す座標をRAM123に記憶する。
【0024】
次に、特徴量抽出部50は、入力された模様領域A2からテクスチャ模様の画像特徴量を取得する処理を行う(ステップS4:基準特徴量取得工程)。この処理では、特徴量抽出部50は「基準特徴量取得手段」として機能することとなる。
テクスチャ模様の画像特徴量の取得には同時生起行列が使用される。同時生起行列とは,テクスチャ特徴量のうち統計的なテクスチャ特徴の計算方法の一つであり,以下に定義される同時生起行列から画像の空間的模様の一つであるコントラストや局所一様性等14種の要素について特徴量を求めることができる。
【0025】
まず、同時生起行列を生成するために、図6(A)に示すように、前述した模様領域A2を水平方向分割線LHと垂直方向分割線LVで分割し、8×8画素の正方形の単位領域A3を切り出す処理を行う。前述したように、分割により得られる単位領域A3の数は30個程度(図では48個)あれば足りる。後述するが、各単位領域A3に基づく特徴量は平均化され、標準偏差が求められるので、統計学的に十分な数として30個(図では48個)の単位領域A3を用意している。
そして、各単位領域A3について個々に同時生起行列が生成される。
図7(A)に示した8×8の単位画像A3を例にして説明すると、図7(B)に示すように、画像の輝度値i(32階調とする:i=0〜31)の画素から角度θの方向に長さrの変位δ=(r,θ)だけ離れた画素の輝度値がjである確率Pδ(i,j)を要素とする図7(C)に示す行列が同時生起行列である。なお、本実施形態では、i行j列の要素に前述した変位で輝度値iの画素に対して輝度値がjとなる画素の個体数が入力されている。なお、本実施形態では、変位についてr=1で角度θ=0°とθ=180°の双方向について一つの同時生起行列を生成している。また、同様にして、θ=45(225),90(270),135(315)の同時生起行列も生成される。
【0026】
そして、各単位領域A3の同時生起行列について、次式(1)〜(14)の計算式により14種類の特徴量fi(i=1〜14)が算出される。なお、fi値は実数である。例えばf1=角二次モーメント、f2=コントラスト、f3=エントロピーなどである。fi値がテクスチャ模様を区別する能力を持つことは公知である。これらのテクスチャ特徴量が示す意義については、「新編,画像解析ハンドブック,高木幹雄・下田陽久監修」に詳しく説明されているのでここでは説明書を省略する。
【0027】
【数1】
【数2】
なお、各式において、n=31(最大輝度値)であり、また、次式(15)〜(18)の通り定義されるものとする。
【数3】
【0028】
上記処理により、全ての単位領域A3について特徴量fi値(i=1〜14)が得られると、特徴量の種類ごとに(iの値ごとに)全単位領域A3の平均値μiと標準偏差σiを算出し、これらを模様領域A2の特徴量として学習fi値としてRAM123又はEEPRO126に記憶する。なお、模様領域A2の特徴量fiは一般に図8に示すように正規分布に従うものと考えられる。
【0029】
次に、特徴量合成部60は、特徴量の合成パラメータを初期化する(ステップS5)。
前述した各式(1)〜(14)ごとの各種の特徴量fiは、後の処理において、模様領域以外の他の画像の単位領域について同様に算出された特徴量との一致度Eが求められることとなり、その際、各種の特徴量ごと(iごと)に求められた一致度Eが個々に重み付けされて合成される。合成パラメータは、各種の特徴量ごとの一致度Eに対して重み付けとして乗じる係数wi(i=1〜14)の組み合わせパターンを示すものである。
合成パラメータは、w1+w2+w3+…+w14=1となるように規定されており、合成パラメータの初期化の際には、w1=1とする。つまり、その他のw2,w3,w4,…についてはいずれも0とする。つまり、特徴量f1に関する一致度Eのみが求められることとなる。
【0030】
次に、入力画像5に半田全体を包み込む新たな抽出領域A4を設定する。
特徴量合成部60は、上記合成パラメータに基づいて半田の模様か否かを識別し、半田パターンの輪郭線を形成するために、オペレータによる半田全体を包み込む新たな抽出領域A4の入力が行われ、特徴量合成部60は、その入力操作により指定された領域の位置及び範囲を記録する処理を行う(ステップS6)。
この抽出領域A4は、半田パターンを含む範囲であれば大きさに制限はないが、図5に示すように、前述した全ての誤差測定点Gを含む範囲とすることが要求され、さらには、半田パターンを取り囲むことができる範囲が望ましい。入力方法は前述した模様領域A2の場合と同様である。
【0031】
さらに、特徴量合成部60は、図6(B)で示すように、抽出領域A4を模様領域A2の場合と同じ8×8画素の単位領域A5で分割する(ステップS7:比較特徴量取得工程)。
そして、抽出領域A4の各単位領域A5ごとに前述した14の式から求まる特徴量fiを算出する。このとき、合成パラメータの中でwi(i=1〜14)≠0となるものから特徴量を算出する。なお、このとき、特徴量合成部60は、「比較特徴量取得手段」として機能することとなる。
【0032】
次に、特徴量合成部60は、抽出領域A4の各単位領域A5と模様領域A2の領域A3の学習fi値との一致度Eを算出する(ステップS8:一致度取得工程)。
即ち、各単位領域A5ごとに各特徴量fiについて対応する学習fi値の平均値μiとの誤差δiを計算する。そして、各単位領域A5の個々の特徴量fiについて一致度eiを算出する。
各一致度eiの算出については、図9に示す関数evalを用いる。この関数evalは、縦軸が最大値1とする一致度eiであり、横軸が誤差δiである。そして、この関数evalは単調減少であれば足り、その傾きの変化については任意である。つまり、単調減少となる直線でも良いが、ここでは、一致度が0と1に近づくにつれて傾きが0に近くなり、中間で傾きが最大となる曲線を採用している。即ち、eiの値は0≦ei≦1であり、ei=1(δi=0)、ei=0(δi≧βσi)、中間は単調減少である。σiは学習fi値の標準偏差、βは特徴量fi値と学習fi値の平均値μiとの誤差δiを評価する係数であり、βを大きくすればするほど対象模様であるとみなされやすくなる。
本実施例では例えばβ=1.5とする。
これにより、各単位領域A5の各特徴量fiについて一致度eiを算出する。そして、合成パラメータの各係数wiに従って、各eiに乗算し合計して、各単位領域A5ごとに一致度Eを算出する。
なお、このとき、特徴量合成部60は「一致度取得手段」として機能する。
【0033】
次に、特徴量合成部60は、抽出領域A4の各単位領域A5の一致度Eに基づいて、当該各単位領域A5が半田か否かを判定する(ステップS9:判定工程)。
かかる判定は、予め一致度の閾値Cを用意しておき、各単位領域の一致度Eが閾値以上か否かで行う。即ち、Eが閾値C以上なら半田とし、そうでなければ背景とする。
なお、閾値Cの値は適当(試験等で求めるなど)で良いが、ここでは例えばC=0.8とする。
なお、このとき、特徴量合成部60は「判定手段」として機能する。
【0034】
上記抽出領域A4の各単位領域A5の一致度Eの判定結果に従って、図10に示すように、単位領域A5をひとつの単位とする半田と背景に識別された‘2値画像’(1=半田、0=背景)を得ることができる(半田である単位領域A5は網掛けで図示)。
これに対して、誤差検出部70は、半田とされた単位領域A5の内で背景とされた単位領域A5に隣接するものの中心を線でつないで半田パターンの輪郭線RAを生成する(ステップS10:境界線取得工程)。
なお、このとき、誤差検出部70は「境界線取得手段」として機能する。
【0035】
そして、誤差検出部70は、実際の輪郭線Rに対する生成輪郭線RAの誤差Dを検出する(ステップS11:誤差検出工程)。
実際の輪郭線Rと生成輪郭線RAとを重ねて図11に示す。誤差DはステップS2で登録した誤差測定点Gに基づいて算出する。即ち、生成輪郭線RAに対して各誤差測定点Gからの最短距離d(画素距離)を算出する。これにより得られた最短距離をd1,d2,・・・とすると誤差D=max{d1,d2,・・・}により取得する。
なお、このとき、誤差検出部70は「誤差検出手段」として機能する。
【0036】
次に、誤差検出部70は、誤差Dを予め設定された基準値αと比較し(ステップS12)、基準値αを超えている場合には、現在の合成パラメータの設定が半田を背景と識別するために適正な一致度を導き出すことが可能であるものとして、処理を終了する。このように、基準値αは、合成パラメータの適否を判定するために重要な値であり、これを大きく設定すれば、適正とされる合成パラメータを容易に取得可能となるが、半田パターンの識別精度は低下する。また、基準値αを小さく設定すれば、適正とされる合成パラメータは容易には求まらなくなるが、半田パターンの識別精度は向上する。従って、試験などにより目的に応じて適切な値に設定する必要がある。
【0037】
一方、ステップS12の判定において、誤差Dが基準値α以下の場合には、現在の合成パラメータの設定は適正ではないものとして、合成パラメータの設定を変更する(ステップS13)。
すなわち特徴量fi値に対する一致度の係数wiを、それぞれ独立に変更する。例えば、各特徴量fi値に対する一致度の係数wiを0,0.2,0.4,0.6,0.8,1.0の0.2刻みで6段階に変更する(より細かく分けても良い)。なお、前述したように係数wi全体で正規化しておく。本実施形態ではパラメータは積空間w1×w2×・・・全体で変化させる。
そして、新たな合成パラメータが定まると、ステップS8に処理を戻して、新たに抽出領域A4の各単位領域A5の一致度Eを求めなおし、半田とされる単位領域A5を求め、それらから輪郭線RAを生成し、誤差Dを基準値αと比較する処理をリトライする。
これにより、誤差Dが基準値α以下となる合成パラメータが見つかるまで処理を繰り返すこととなる。
また、ステップS12で誤差Dが基準値α以下となった場合には、そのときの合成パラメータの各係数wiの数値の組み合わせ(例えばw6=0.5、w8=0.5、その他のw=0等のような数値群)を学習データ(学習合成パラメータ)として記録する。
これにより、学習データ作成処理が終了する。
【0038】
(電子部品搭載時の処理)
次に、電子部品の搭載時に行われる処理について説明する。
前述した吸着ノズル106に電子部品が吸着され、ヘッド105が基板の搭載位置近傍まで移動した状態において、CCDカメラ108により基板の搭載位置の撮像が実行され、撮像画像データが取得される。
そして、特徴量合成部60により、撮像画像の一部(例えば中央部)が抽出領域として切り出され、前述したステップS7〜10と同様の処理が実行される。
即ち、撮像画像の抽出領域が単位領域に分割され、一致度eiの係数wi=0ではないiについての特徴量が算出され、学習データ作成処理に取得された合成パラメータに従って各単位領域の半田との一致度が算出される。そして、半田であると判定された単位領域に基づいて輪郭線を算出する。当該輪郭線に囲まれた領域が搭載位置の半田パターンであることから、吸着ノズル106を輪郭線に囲まれた位置に位置決めするようにヘッド105を移動して、電子部品の搭載が実行される。
【0039】
(実施形態の効果)
上記画像解析装置10では、撮像画像データ中の半田Hの模様領域A2から同時生起行列の14式により特徴量を取得し且つ合成し、特徴量が一致する単位領域A5から半田H識別対象の背景との境界線を求め、実際の境界位置との誤差が小さくなるようにリトライを繰り返すことで特徴量の一致度に関する重み付けパターンを特定する。このため、半田Hの固有の模様に基づく特徴量から当該半田Hを識別することとなり、背景との明度差の有無にかかわらず、効果的に識別対象を識別することが可能となる。
このため、例えば図12に示すように、半田Hと当該半田と模様の異なる基板K、配線パターンN、パッドUが撮像領域A1内に存在する状態でも、半田形状を示す輪郭線RAを的確に識別することができる。
【0040】
また、テクスチャ模様に関する同時生起行列の14式に関する好適な合成パラメータを特定するので、各手法の識別精度の偏りの影響を排除し、より正確な識別を実現することが可能となる。
テクスチャ模様の特徴量を得るための手法として確立されている同時生起行列の14の特徴量の算出方法を用いるので、種々の模様の識別対象をより効果的に識別することが可能となる。
【0041】
(その他)
上述した画像解析装置10では、半田模様の特徴量の算出として同時生起行列由来の手法を使ったが、模様を特徴づけることが可能な他の手法を用いても良いし、同時生起行列の手法と他の手法とを組み合わせて用いても良い。例えば、模様の解析の手法としては、例えば領域画像をフーリエ変換して得られた周波数、濃度ヒストグラム,ランレングス行列,フラクタル次元を用いても良い。
その場合も上記実施形態と同様の効果を得ることが可能である。
【0042】
また、上述した画像解析装置10では、学習データ作成処理において、模様領域A2のみを利用し、半田の背景領域の画像情報を使用していないが、使用することも可能である。その場合、例えば誤差測定点ごとに背景から単位領域A6(図5参照)を切り出し、その単位領域A6からfi値を求める。それにより模様領域A2のfi値と比較することにより、例えば、fi値同士の開きが大きいものとそうでないfi値に分けることができる。その結果、重みとなる係数wiの積空間全域で回す必要がなくなり、繰り返し回数を低減し、迅速に適正な合成パラメータを取得することが可能となり得る。
【0043】
また、上述した画像解析装置10では、学習データ作成処理において、ステップ12のリトライの判定において、誤差Dに対する基準値αとの比較により判定を行って終了条件としたが、誤差Dを表示装置125に表示し、オペレータがリトライを実行するか判断するようにしても良い。その場合も上記実施形態と同様の効果を得ることが可能である。
【0044】
また、上述した画像解析装置10では、学習データ作成処理において、ステップ12のリトライの判定において、誤差Dが基準値αを下回ることで処理の終了条件としたが、これに限らず、繰り返しに規定回数を設け、規定回数内で誤差が最小となる合成パラメータを学習データとしても良い。その場合も上記実施形態とほぼ同様の効果を得ることが可能であって、さらに、処理の迅速化を図ることが可能である。
【0045】
また、誤差測定点Gは、前述した6点に限られるものではない。最少で1個でもよく、また、より多くしても良い。その場合も上記実施形態と同様の効果を得ることが可能である。
また、前述の誤差Dの対象として輪郭線RAとRとの最短距離dを使ったが、他のものでも良い。例えば、誤差測定点Gの数をより多く設定して半田領域同士で面積や重心を求めて比較するようにしても良い。その場合も上記実施形態と同様の効果を得ることが可能である。
【符号の説明】
【0046】
10 画像解析装置
11 主制御部
20 画像入力部
30 画像分割部
40 誤差測定点入力部
50 特徴量抽出部
60 特徴量合成部
70 誤差検出部
100 電子部品搭載装置
120 制御装置
A1 撮像画像
A2 模様領域
A3 単位領域
A4 抽出領域
A5 単位領域
G 誤差測定点(境界点)
H 半田パターン(識別対象)
【特許請求の範囲】
【請求項1】
表面が特定の模様からなる識別対象とその周囲の背景とを含んだ撮像画像の撮像画像データに基づいて前記識別対象の識別を行う画像解析装置が行う画像解析方法であって、
前記撮像画像中の予め指定された前記特定の模様のみからなる模様領域における所定の単位領域について複数の手法により基準となるテクスチャ模様の特徴量を求める基準特徴量取得工程と、
前記撮像画像中の少なくとも前記模様領域及びその周囲の背景を含んだ抽出領域を、前記模様領域の単位領域と同じ大きさの単位領域に分割し、当該各単位領域について前記各手法により特徴量を求める比較特徴量取得工程と、
前記抽出領域の各単位領域について、前記各手法の特徴量ごとに前記模様領域との一致度を求め、前記各手法の特徴量ごとの一致度を個々に重み付けをして合成した一致度を求める一致度取得工程と、
前記合成された一致度の値から前記抽出領域の各単位領域が識別対象か背景かを判定する判定工程と、
前記判別工程で識別対象と判別された複数の単位領域から前記抽出領域における識別対象と背景の境界線を求める境界線取得工程と、
予め指定された前記撮像画像における実際の境界線上の位置と前記境界線取得工程で取得された境界線との誤差を検出する誤差検出工程と、
を備え、
前記各手法の特徴量ごとの一致度に対する重み付けのパターンを逐次変更しつつ前記一致度取得工程、判定工程、境界線取得工程及び誤差検出工程を繰り返すことで前記誤差が閾値以下又は最少となる重み付けのパターンを特定し、
前記取得された重み付けパターンに従って撮像画像から前記識別対象を識別することを特徴とする画像解析方法。
【請求項2】
前記特徴量を求める複数の手法は、同時生起行列の14の特徴量の算出方法の一部又は全部を用いることを特徴とする請求項1記載の画像解析方法。
【請求項3】
表面が特定の模様からなる識別対象とその周囲の背景とを含んだ撮像画像の撮像画像データに基づいて前記識別対象の識別を行う画像解析装置であって、
前記撮像画像中の予め指定された前記特定の模様のみからなる模様領域における所定の単位領域について複数の手法により基準となるテクスチャ模様の特徴量を求める基準特徴量取得手段と、
前記撮像画像中の少なくとも前記模様領域及びその周囲の背景を含んだ抽出領域を、前記模様領域の単位領域と同じ大きさの単位領域に分割し、当該各単位領域について前記各手法により特徴量を求める比較特徴量取得手段と、
前記抽出領域の各単位領域について、前記各手法の特徴量ごとに前記模様領域との一致度を求め、前記各手法の特徴量ごとの一致度を個々に重み付けをして合成した一致度を求める一致度取得手段と、
前記合成された一致度の値から前記抽出領域の各単位領域が識別対象か背景かを判定する判定手段と、
前記判別手段により識別対象と判別された複数の単位領域から前記抽出領域における識別対象と背景の境界線を求める境界線取得手段と、
予め指定された前記撮像画像における実際の境界線上の位置と前記境界線取得手段で取得された境界線との誤差を検出する誤差検出手段と、
を備え、
前記各手法の特徴量ごとの一致度に対する重み付けのパターンを逐次変更しつつ前記一致度取得手段により一致度の取得、前記判定手段により判定、前記境界線取得手段よる前記境界線の取得及び誤差検出手段による誤差検出を繰り返すことで前記誤差が閾値以下又は最少となる重み付けのパターンを特定し、
前記取得された重み付けパターンに従って撮像画像から前記識別対象を識別することを特徴とする画像解析装置。
【請求項4】
前記特徴量を求める複数の手法は、同時生起行列の14の特徴量の算出方法の一部又は全部を用いることを特徴とする請求項3記載の画像解析装置。
【請求項1】
表面が特定の模様からなる識別対象とその周囲の背景とを含んだ撮像画像の撮像画像データに基づいて前記識別対象の識別を行う画像解析装置が行う画像解析方法であって、
前記撮像画像中の予め指定された前記特定の模様のみからなる模様領域における所定の単位領域について複数の手法により基準となるテクスチャ模様の特徴量を求める基準特徴量取得工程と、
前記撮像画像中の少なくとも前記模様領域及びその周囲の背景を含んだ抽出領域を、前記模様領域の単位領域と同じ大きさの単位領域に分割し、当該各単位領域について前記各手法により特徴量を求める比較特徴量取得工程と、
前記抽出領域の各単位領域について、前記各手法の特徴量ごとに前記模様領域との一致度を求め、前記各手法の特徴量ごとの一致度を個々に重み付けをして合成した一致度を求める一致度取得工程と、
前記合成された一致度の値から前記抽出領域の各単位領域が識別対象か背景かを判定する判定工程と、
前記判別工程で識別対象と判別された複数の単位領域から前記抽出領域における識別対象と背景の境界線を求める境界線取得工程と、
予め指定された前記撮像画像における実際の境界線上の位置と前記境界線取得工程で取得された境界線との誤差を検出する誤差検出工程と、
を備え、
前記各手法の特徴量ごとの一致度に対する重み付けのパターンを逐次変更しつつ前記一致度取得工程、判定工程、境界線取得工程及び誤差検出工程を繰り返すことで前記誤差が閾値以下又は最少となる重み付けのパターンを特定し、
前記取得された重み付けパターンに従って撮像画像から前記識別対象を識別することを特徴とする画像解析方法。
【請求項2】
前記特徴量を求める複数の手法は、同時生起行列の14の特徴量の算出方法の一部又は全部を用いることを特徴とする請求項1記載の画像解析方法。
【請求項3】
表面が特定の模様からなる識別対象とその周囲の背景とを含んだ撮像画像の撮像画像データに基づいて前記識別対象の識別を行う画像解析装置であって、
前記撮像画像中の予め指定された前記特定の模様のみからなる模様領域における所定の単位領域について複数の手法により基準となるテクスチャ模様の特徴量を求める基準特徴量取得手段と、
前記撮像画像中の少なくとも前記模様領域及びその周囲の背景を含んだ抽出領域を、前記模様領域の単位領域と同じ大きさの単位領域に分割し、当該各単位領域について前記各手法により特徴量を求める比較特徴量取得手段と、
前記抽出領域の各単位領域について、前記各手法の特徴量ごとに前記模様領域との一致度を求め、前記各手法の特徴量ごとの一致度を個々に重み付けをして合成した一致度を求める一致度取得手段と、
前記合成された一致度の値から前記抽出領域の各単位領域が識別対象か背景かを判定する判定手段と、
前記判別手段により識別対象と判別された複数の単位領域から前記抽出領域における識別対象と背景の境界線を求める境界線取得手段と、
予め指定された前記撮像画像における実際の境界線上の位置と前記境界線取得手段で取得された境界線との誤差を検出する誤差検出手段と、
を備え、
前記各手法の特徴量ごとの一致度に対する重み付けのパターンを逐次変更しつつ前記一致度取得手段により一致度の取得、前記判定手段により判定、前記境界線取得手段よる前記境界線の取得及び誤差検出手段による誤差検出を繰り返すことで前記誤差が閾値以下又は最少となる重み付けのパターンを特定し、
前記取得された重み付けパターンに従って撮像画像から前記識別対象を識別することを特徴とする画像解析装置。
【請求項4】
前記特徴量を求める複数の手法は、同時生起行列の14の特徴量の算出方法の一部又は全部を用いることを特徴とする請求項3記載の画像解析装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2011−43998(P2011−43998A)
【公開日】平成23年3月3日(2011.3.3)
【国際特許分類】
【出願番号】特願2009−191904(P2009−191904)
【出願日】平成21年8月21日(2009.8.21)
【出願人】(000003399)JUKI株式会社 (1,557)
【Fターム(参考)】
【公開日】平成23年3月3日(2011.3.3)
【国際特許分類】
【出願日】平成21年8月21日(2009.8.21)
【出願人】(000003399)JUKI株式会社 (1,557)
【Fターム(参考)】
[ Back to top ]