部品の検査システム及び検査方法
【課題】本発明の目的は、被検物が正しい箇所に取り付けられる前の状態を撮像した画像をテンプレート画像とし、最初に被検物との比較を実施することで、被検物の良否を判定することにある。
【解決手段】本発明の検査装置では、画像比較を行うテンプレートを被検物が正しい箇所に取り付けられる前の状態を撮像した画像をテンプレート画像にし、最初に披見物との比較を行うこととした。これにより不良として除外できるものを積極的に排除し、可能な限り早期に検査の完了を図ることができる。
【解決手段】本発明の検査装置では、画像比較を行うテンプレートを被検物が正しい箇所に取り付けられる前の状態を撮像した画像をテンプレート画像にし、最初に披見物との比較を行うこととした。これにより不良として除外できるものを積極的に排除し、可能な限り早期に検査の完了を図ることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は部品の取り付け状態を自動で検査する検査方法に関し、特に、被検物の有無をパターンマッチング法にて判定する方法に関する。
【背景技術】
【０００２】
製品の部品取付け状態を認識し良否判定を自動で行う方法として、一般にパターンマッチング法を用いた画像処理方法が良く知られている。通常、画像比較を行うためのテンプレート画像は、被検物が正しい位置に取り付けられた状態で撮像された画像（正しい状態を表す画像）を使用している。そして、該テンプレート画像と検査対象となる画像を比較して、類似度が高い場合、被検物が有ると判断し良否判定を行う。また、特開２００１−１４８０１４号公報（以下特許文献１）に記載のように、知識や熟練度合いに頼ることなく最適なテンプレートを自動的に決定する方法や、その他照明の色、角度など工夫し判定精度を上げるといった工夫がなされている。
【特許文献１】特開２００１−１４８０１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、この方法では被検物の撮像状態が輝度、回転角度により影響を受けやすい場合、外部光の遮断や、被検物の位置決め精度の向上など検査環境を整備する必要があった。
【０００４】
また、テンプレート画像１枚では検知精度が低いため、テンプレート画像自体を、様々な輝度、回転角度の状態で複数枚準備して、複数回、検査対象画像の比較を行なう必要があり、判定が出来ない、また判定に時間がかかるといった問題があった。
【０００５】
本発明の目的は、被検物が正しい箇所に取り付けられる前の状態を撮像した画像をテンプレート画像とし、最初に被検物との比較を実施することで、被検物の良否を判定することにある。
【０００６】
本発明の前記並びにその他の目的と新規な特徴は、本明細書の記述及び添付図面から明らかになるであろう。
【課題を解決するための手段】
【０００７】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次の通りである。
【０００８】
本願発明に関わる検査システムは、製品の部品取り付け状態の検査を行うものであって、画像処理装置及びカメラを含み、前記画像処理装置は被検物が正しい箇所に取り付けられる前の状態を撮像した画像を不正時テンプレート画像として保持し、該不正時テンプレート画像と前記カメラより入力された被検物の画像を比較することを特徴とする。
【０００９】
また本願発明に関わる製品の部品取り付け状態をパターンマッチングで検査する検査方法は、部品が取り付けられていない状態を撮像した画像又は誤った部品が取り付けられた状態を撮像した画像を不正時テンプレートとして準備し、検査対象の部品を撮像した画像と前記不正時テンプレートとの比較を行い、類似度が所定の閾値より大きい場合に、部品が取り付けられていない又は誤った部品が取り付けられていると判定することを特徴とする。
【００１０】
また、この検査方法における不正時テンプレートの準備とは画像処理装置の記憶装置内にＮＧパターンを記憶することを特徴としても良い。
【発明の効果】
【００１１】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下の通りである。
【００１２】
本発明によれば、高度な検査環境を整える必要が無く安価で、判定時間が早く精度の良い良否判定が可能になる。
【００１３】
また、不良発見が早く確実に行えるため、後工程での不良対処作業や代替品の供給も早期に実施でき、生産効率の向上が図れる。
【発明を実施するための最良の形態】
【００１４】
以下、図を用いて本発明の実施の形態について説明する。
【００１５】
本発明の実施の形態において説明する外装チェックの検査システム下においては、組立の完了した電子機器の製品外観を撮像してパターンマッチングを行う。対象ネジが取り付けられていない場合に、ＮＧ警告を表示して再作業を促す仕組みを画像処理装置が持つ。以下、図１ないし図８を用いて、本願発明の実施の形態に関する外装チェック用の検査環境（検査システム）を説明する。
【００１６】
図１は外装チェックを行う際の検査システムを表す図である。
【００１７】
被検物も含めたこの外装チェック用の検査システムは画像処理装置１、カメラ２、位置決め台座３、検査の対象となる対象ネジ４、検査の対象範囲を概念的に表す検査対象範囲５、被検物である電子機器６からなる。
【００１８】
図２は、本発明の実施の形態におけるテンプレート画像を用いた電子機器６の外装チェック方法及び、製品画像との比較方法を示す図である。また、図３は、図２で用いられたテンプレート画像の作成方法を示す図である。
【００１９】
図２においては、製品を撮影した製品画像７と製品画像７と対比するテンプレート画像としてＮＧパターンテンプレート８（１）、８（２）、ＯＫパターンテンプレート９（１）、９（２）、９（３）が記載されている。
【００２０】
カメラ２により撮像された製品画像７とＮＧパターンテンプレート８（１）、８（２）及びＯＫパターンテンプレート９（１）、９（２）、９（３）との近似を画像処理装置１が判断し、最も近い画像によって、当該対象ネジ４の取り付けが正常か否かを判断する。
【００２１】
なお、ＮＧパターンテンプレート８（１）は対象ネジ４の取り付け忘れに関するものであり、ＮＧパターンテンプレート８（２）は対象ネジ４として不正なネジを用いたときのものである。
【００２２】
一方、ＯＫパターンテンプレート９（１）は対象ネジ４のネジ穴１０の傾きがなく、右上方に光源が設けられている例である。ＯＫパターンテンプレート９（２）は対象ネジ４のネジ穴１０の傾きがなく、左上方に光源が設けられている例である。また、ＯＫパターンテンプレート９（３）は対象ネジ４のネジ穴１０が傾いており、右上方に光源が設けられている例である。
【００２３】
図４は、本発明の実施形態における、ＮＧパターンターゲット画像（不正時ターゲット画像）及びＯＫパターンターゲット画像の準備を示す図である。また、図５は、本発明の実施形態における、ＯＫパターンテンプレート画像を適用した際の、検査合否を判定するための閾値が設定可能な範囲を示す図である。ここでターゲット画像とは、テンプレート画像を使用した際の検査の合否を判定するための閾値を割り出すための画像を言う。
【００２４】
図６は、本発明の実施形態における、ＯＫパターンテンプレート９を適用した際の、製品画像との比較方法を示す図、図７は、本発明の実施形態における、ＮＧパターンテンプレート８の作成方法を示す図である。図８は本発明の実施形態における、ＮＧパターンテンプレート８を適用した際の、検査合否を判定するための閾値が設定可能な範囲を示す模式図である。
【００２５】
これらの図を用いて、以下パターンマッチングを行う為に必要となるテンプレート画像の準備及び、検査の合否判定方法に関して説明する。
【００２６】
（従来技術）
まず、従来技術であるＯＫパターンテンプレート９（１）ないし（３）のみを使用した場合の検査の合否判定方法を適用したときの、作業の流れを説明する。
【００２７】
始めに、電子機器６を準備して、位置決め台座３に置く。次に、検査対象となるネジ４を取り付けて、カメラ２で撮像する。
【００２８】
撮像した画像から、検査対象範囲５の部分を切り出し、ＯＫパターンテンプレート９を作成する。この際、対象ネジ４の取り付け状態によってはネジ穴１０の角度をばらつかせ、また、対象ネジ４の表面が鏡面に近い状態のため、検査環境の照明灯や装置周囲の人影により、反射光１１の影響があると考えられる。
【００２９】
これらの対策のため、図２や図３に示すようにネジ穴１０については、ネジ穴１０（１）やネジ穴１０（２）など複数の角度パターン、反射光１１については、反射光１１（１）や反射光１１（２）など複数の反射光１１を再現する光源位置パターンを組み合わせて、複数のＯＫパターンテンプレート画像９を準備する。
【００３０】
次に、テンプレート画像を使用した際の検査の合否を判定するための閾値を割り出すため、ターゲット画像を準備する。その際に、検査対象の製品は、組立作業者の違いや、材料の寸法誤差などにより、製品毎に若干の外観誤差があることを考慮に入れ、テンプレート画像作成用に撮像した電子機器６とは同機種同構成であるが製番の異なる電子機器６を準備して、位置決め台座３に置く。
【００３１】
その後、図４に示すように電子機器６に対象ネジ４が取り付けられていない状態で撮像して、ＮＧパターンターゲット画像１２を作成する。また、電子機器６に対象ネジ４が取り付けられた状態で撮像して、ＯＫパターンターゲット画像１３とする。
【００３２】
この後、ＯＫパターンテンプレート９に対してＯＫパターンターゲット画像１３との類似度、及びＮＧパターンターゲット画像１２との類似度を取得する。
【００３３】
以上のように得られた類似度を元に、図５に示すように、ＯＫパターンテンプレート９を使用した場合においての検査合否を判定するための閾値設定可能範囲１４を取得する。そして、該検査環境を操作する操作者が、ＯＫパターンテンプレート９での閾値設定可能範囲１４の範囲内で閾値を決定する。仮に、ＮＧパターンターゲット画像１２との類似度が５０％、ＯＫパターンターゲット画像１３との類似度が７０％の場合、中間の６０％に閾値を設定する。
【００３４】
上記のように用意されたＯＫパターンテンプレート９と閾値のデータを、画像処理装置１に入力して、製品外観チェックが可能な状態にする。
【００３５】
次に、検査対象となる組立済みの電子機器６を準備して、位置決め台座３に置き、カメラ２で撮像して電子機器６の製品画像７を取得する。その後、パターンマッチングを行い、図６のようにＯＫパターンテンプレート９（１）と製品画像７の類似度を取得して、類似度が閾値を上回れば対象ネジ４が有ると判断して検査ＯＫの表示をする。
【００３６】
類似度が閾値を下回る場合、別のＯＫパターンテンプレート９（２）と製品画像７の類似度を取得して閾値と比較を行い、類似度が閾値を上回れば対象ネジ４が有ると判断して検査ＯＫの表示をする。
【００３７】
以上の処理を繰り返し、登録されているすべてのＯＫパターンテンプレート９と製品画像７の類似度が閾値を下回っている場合、対象ネジ４は無いと判断してＮＧ警告を表示して、作業者による目視確認を行う。
【００３８】
（本願発明に関わる技術）
しかしながら、上記の準備の後にこの外装チェックの環境で電子機器６の検査を行う場合、対象ネジ４が取り付けられていないために検査ＮＧ判定を受ける状況にある電子機器６を検査にかけると、すべてのＯＫパターンテンプレート９とのパターンマッチング処理が終了した後でなければ、検査ＮＧ判定は下されない。そのため、ＯＫパターンテンプレート９の数量が多いほど検査ＮＧ判定までに時間がかかる。
【００３９】
本発明はＮＧパターンテンプレート８を用いた検査合否判定方法を外観チェック装置に導入することで、検査ＮＧとなるべき電子機器６を早期に摘出することができる。本発明の適用に伴う作業の流れを以下に説明する。
【００４０】
始めに、ＮＧパターンテンプレート８（１）、（２）を準備するために、電子機器６を準備して、位置決め台座３に置き、カメラ２で撮像する。撮像した画像から、検査対象範囲５の部分を切り出し、ＮＧパターンテンプレート８を作成する。
【００４１】
この際、作業ＮＧのパターンとしては、対象ネジ４が取り付けられていない状況と、他品種ネジ１６が取り付けられている状況が挙げられる。これらに対応するため、図７に示すように、ネジ穴１５のみを撮像してＮＧパターンテンプレート８（１）を準備する。また、他品種ネジ１６のネジ頭がフラットであるなど識別しやすいのであれば、対象ネジ４の代わりに他品種ネジ１６を取り付けた状態で撮像してＮＧパターンテンプレート８（２）を準備する。
【００４２】
次に、従来技術の説明で挙げたターゲット画像を用いて、閾値の検討を行う。まず、ＮＧパターンテンプレート８に対してＯＫパターンのターゲット画像１３との類似度を取得して、次に、ＮＧパターンのターゲット画像１２との類似度を取得する。
【００４３】
以上のように得られた類似度を元に、図８に示すように、ＮＧパターンテンプレート８を使用した場合においての検査合否を判定するための閾値設定可能範囲１７を取得する。そして、ＮＧパターンテンプレートでの閾値設定可能範囲１７の範囲内で閾値を決定する。仮に、ＮＧパターンターゲット画像１２との類似度が９０％、ＯＫパターンターゲット画像１３との類似度が５０％の場合、中間の７０％に閾値を設定する。この処理を、ＮＧパターンテンプレート８全てに対して行う。
【００４４】
上記のように用意されたＮＧパターンテンプレート８及び閾値のデータと、従来技術で説明したＯＫパターンテンプレート９及び閾値のデータを、画像処理装置１に入力して、製品外観チェックが可能な状態にする。次に、検査対象となる組立済みの電子機器６を準備して、位置決め台座３に置き、カメラ２で撮像して電子機器６の製品画像７を取得する。その後、図２に示すようにパターンマッチングを行う。
【００４５】
まず始めに、ＮＧパターンテンプレート８と製品画像７においての比較を行う。方法として、ＮＧパターンテンプレート８（１）と製品画像７の類似度を取得して、類似度が閾値を上回れば対象ネジ４が無いと判断してＮＧ警告を表示する。類似度が閾値を下回る場合、別のＮＧパターンテンプレート８（２）と製品画像７の類似度を取得して閾値と比較を行い、類似度が閾値を上回れば対象ネジ４が無いと判断してＮＧ警告を表示する。
【００４６】
以上の処理を繰り返し、登録されているすべてのＮＧパターンテンプレート８と製品画像７の類似度が閾値を下回っている場合、従来技術であるＯＫパターンテンプレート９を用いた検査合否判定の処理を行い、すべての類似度が閾値を下回った場合は、作業者による目視確認を行う。
【００４７】
上記の準備を終えることで、この外装チェック用の環境下で電子機器６の検査を行う場合、対象ネジ４が取り付けられていない、または他品種ネジ１６が取り付けられているなど検査ＮＧ判定を受ける状況にある電子機器６を検査にかけると、ＯＫパターンテンプレート９の数量に関係なく、早期に検査ＮＧの判定が下される。
【００４８】
本発明によるパターンマッチング手法は、検査対象となる物品が、実施の形態に挙げた対象ネジ４のように、取り付け角度や照明光に影響を受けやすい物品である場合、特に有効である。
【００４９】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更が可能であることは言うまでもない。
【産業上の利用可能性】
【００５０】
本発明は、部品の取り付け忘れを自動で早期に検出可能な方法であり、組み立て作業分野のあらゆる工程で実用可能な方法である。
【００５１】
また、傷の有無を確認する工程においても利用可能であり、適用分野は広いと考えられる。
【図面の簡単な説明】
【００５２】
【図１】本発明に関わる外装チェックを行う際の環境を表す図である。
【図２】電子機器の外装チェック方法及び、製品画像との比較方法を示す図である。
【図３】ＯＫパターンテンプレートの作成方法を示す図である。
【図４】検査合否の閾値を決めるために使用するＮＧパターンターゲット及びＯＫパターンターゲットの準備を示す図である。
【図５】ＯＫパターンテンプレートを適用した際の、検査合否を判定するための閾値が設定可能な範囲を示す模式図である。
【図６】ＯＫパターンテンプレートを適用した際の、製品画像との比較方法を示す図である。
【図７】本発明の実施形態における、ＮＧパターンテンプレートの作成方法を示す図である。
【図８】本発明の実施形態における、ＮＧパターンテンプレートを適用した際の、検査合否を判定するための閾値が設定可能な範囲を示す模式図である。
【符号の説明】
【００５３】
１…画像処理装置、２…カメラ、３…位置決め台座、４…対象ネジ、
５…検査対象範囲、６…電子機器、７…製品画像、
８（１）（２）…ＮＧパターンテンプレート、
９（１）（２）（３）…ＯＫパターンテンプレート、１０…ネジ穴、１１…反射光、
１２…ＮＧパターンターゲット画像、１３…ＯＫパターンターゲット画像、
１４…閾値設定可能範囲、１５…ネジ穴、
１６…他品種ネジ、１７…閾値設定可能範囲
【技術分野】
【０００１】
本発明は部品の取り付け状態を自動で検査する検査方法に関し、特に、被検物の有無をパターンマッチング法にて判定する方法に関する。
【背景技術】
【０００２】
製品の部品取付け状態を認識し良否判定を自動で行う方法として、一般にパターンマッチング法を用いた画像処理方法が良く知られている。通常、画像比較を行うためのテンプレート画像は、被検物が正しい位置に取り付けられた状態で撮像された画像（正しい状態を表す画像）を使用している。そして、該テンプレート画像と検査対象となる画像を比較して、類似度が高い場合、被検物が有ると判断し良否判定を行う。また、特開２００１−１４８０１４号公報（以下特許文献１）に記載のように、知識や熟練度合いに頼ることなく最適なテンプレートを自動的に決定する方法や、その他照明の色、角度など工夫し判定精度を上げるといった工夫がなされている。
【特許文献１】特開２００１−１４８０１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、この方法では被検物の撮像状態が輝度、回転角度により影響を受けやすい場合、外部光の遮断や、被検物の位置決め精度の向上など検査環境を整備する必要があった。
【０００４】
また、テンプレート画像１枚では検知精度が低いため、テンプレート画像自体を、様々な輝度、回転角度の状態で複数枚準備して、複数回、検査対象画像の比較を行なう必要があり、判定が出来ない、また判定に時間がかかるといった問題があった。
【０００５】
本発明の目的は、被検物が正しい箇所に取り付けられる前の状態を撮像した画像をテンプレート画像とし、最初に被検物との比較を実施することで、被検物の良否を判定することにある。
【０００６】
本発明の前記並びにその他の目的と新規な特徴は、本明細書の記述及び添付図面から明らかになるであろう。
【課題を解決するための手段】
【０００７】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次の通りである。
【０００８】
本願発明に関わる検査システムは、製品の部品取り付け状態の検査を行うものであって、画像処理装置及びカメラを含み、前記画像処理装置は被検物が正しい箇所に取り付けられる前の状態を撮像した画像を不正時テンプレート画像として保持し、該不正時テンプレート画像と前記カメラより入力された被検物の画像を比較することを特徴とする。
【０００９】
また本願発明に関わる製品の部品取り付け状態をパターンマッチングで検査する検査方法は、部品が取り付けられていない状態を撮像した画像又は誤った部品が取り付けられた状態を撮像した画像を不正時テンプレートとして準備し、検査対象の部品を撮像した画像と前記不正時テンプレートとの比較を行い、類似度が所定の閾値より大きい場合に、部品が取り付けられていない又は誤った部品が取り付けられていると判定することを特徴とする。
【００１０】
また、この検査方法における不正時テンプレートの準備とは画像処理装置の記憶装置内にＮＧパターンを記憶することを特徴としても良い。
【発明の効果】
【００１１】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下の通りである。
【００１２】
本発明によれば、高度な検査環境を整える必要が無く安価で、判定時間が早く精度の良い良否判定が可能になる。
【００１３】
また、不良発見が早く確実に行えるため、後工程での不良対処作業や代替品の供給も早期に実施でき、生産効率の向上が図れる。
【発明を実施するための最良の形態】
【００１４】
以下、図を用いて本発明の実施の形態について説明する。
【００１５】
本発明の実施の形態において説明する外装チェックの検査システム下においては、組立の完了した電子機器の製品外観を撮像してパターンマッチングを行う。対象ネジが取り付けられていない場合に、ＮＧ警告を表示して再作業を促す仕組みを画像処理装置が持つ。以下、図１ないし図８を用いて、本願発明の実施の形態に関する外装チェック用の検査環境（検査システム）を説明する。
【００１６】
図１は外装チェックを行う際の検査システムを表す図である。
【００１７】
被検物も含めたこの外装チェック用の検査システムは画像処理装置１、カメラ２、位置決め台座３、検査の対象となる対象ネジ４、検査の対象範囲を概念的に表す検査対象範囲５、被検物である電子機器６からなる。
【００１８】
図２は、本発明の実施の形態におけるテンプレート画像を用いた電子機器６の外装チェック方法及び、製品画像との比較方法を示す図である。また、図３は、図２で用いられたテンプレート画像の作成方法を示す図である。
【００１９】
図２においては、製品を撮影した製品画像７と製品画像７と対比するテンプレート画像としてＮＧパターンテンプレート８（１）、８（２）、ＯＫパターンテンプレート９（１）、９（２）、９（３）が記載されている。
【００２０】
カメラ２により撮像された製品画像７とＮＧパターンテンプレート８（１）、８（２）及びＯＫパターンテンプレート９（１）、９（２）、９（３）との近似を画像処理装置１が判断し、最も近い画像によって、当該対象ネジ４の取り付けが正常か否かを判断する。
【００２１】
なお、ＮＧパターンテンプレート８（１）は対象ネジ４の取り付け忘れに関するものであり、ＮＧパターンテンプレート８（２）は対象ネジ４として不正なネジを用いたときのものである。
【００２２】
一方、ＯＫパターンテンプレート９（１）は対象ネジ４のネジ穴１０の傾きがなく、右上方に光源が設けられている例である。ＯＫパターンテンプレート９（２）は対象ネジ４のネジ穴１０の傾きがなく、左上方に光源が設けられている例である。また、ＯＫパターンテンプレート９（３）は対象ネジ４のネジ穴１０が傾いており、右上方に光源が設けられている例である。
【００２３】
図４は、本発明の実施形態における、ＮＧパターンターゲット画像（不正時ターゲット画像）及びＯＫパターンターゲット画像の準備を示す図である。また、図５は、本発明の実施形態における、ＯＫパターンテンプレート画像を適用した際の、検査合否を判定するための閾値が設定可能な範囲を示す図である。ここでターゲット画像とは、テンプレート画像を使用した際の検査の合否を判定するための閾値を割り出すための画像を言う。
【００２４】
図６は、本発明の実施形態における、ＯＫパターンテンプレート９を適用した際の、製品画像との比較方法を示す図、図７は、本発明の実施形態における、ＮＧパターンテンプレート８の作成方法を示す図である。図８は本発明の実施形態における、ＮＧパターンテンプレート８を適用した際の、検査合否を判定するための閾値が設定可能な範囲を示す模式図である。
【００２５】
これらの図を用いて、以下パターンマッチングを行う為に必要となるテンプレート画像の準備及び、検査の合否判定方法に関して説明する。
【００２６】
（従来技術）
まず、従来技術であるＯＫパターンテンプレート９（１）ないし（３）のみを使用した場合の検査の合否判定方法を適用したときの、作業の流れを説明する。
【００２７】
始めに、電子機器６を準備して、位置決め台座３に置く。次に、検査対象となるネジ４を取り付けて、カメラ２で撮像する。
【００２８】
撮像した画像から、検査対象範囲５の部分を切り出し、ＯＫパターンテンプレート９を作成する。この際、対象ネジ４の取り付け状態によってはネジ穴１０の角度をばらつかせ、また、対象ネジ４の表面が鏡面に近い状態のため、検査環境の照明灯や装置周囲の人影により、反射光１１の影響があると考えられる。
【００２９】
これらの対策のため、図２や図３に示すようにネジ穴１０については、ネジ穴１０（１）やネジ穴１０（２）など複数の角度パターン、反射光１１については、反射光１１（１）や反射光１１（２）など複数の反射光１１を再現する光源位置パターンを組み合わせて、複数のＯＫパターンテンプレート画像９を準備する。
【００３０】
次に、テンプレート画像を使用した際の検査の合否を判定するための閾値を割り出すため、ターゲット画像を準備する。その際に、検査対象の製品は、組立作業者の違いや、材料の寸法誤差などにより、製品毎に若干の外観誤差があることを考慮に入れ、テンプレート画像作成用に撮像した電子機器６とは同機種同構成であるが製番の異なる電子機器６を準備して、位置決め台座３に置く。
【００３１】
その後、図４に示すように電子機器６に対象ネジ４が取り付けられていない状態で撮像して、ＮＧパターンターゲット画像１２を作成する。また、電子機器６に対象ネジ４が取り付けられた状態で撮像して、ＯＫパターンターゲット画像１３とする。
【００３２】
この後、ＯＫパターンテンプレート９に対してＯＫパターンターゲット画像１３との類似度、及びＮＧパターンターゲット画像１２との類似度を取得する。
【００３３】
以上のように得られた類似度を元に、図５に示すように、ＯＫパターンテンプレート９を使用した場合においての検査合否を判定するための閾値設定可能範囲１４を取得する。そして、該検査環境を操作する操作者が、ＯＫパターンテンプレート９での閾値設定可能範囲１４の範囲内で閾値を決定する。仮に、ＮＧパターンターゲット画像１２との類似度が５０％、ＯＫパターンターゲット画像１３との類似度が７０％の場合、中間の６０％に閾値を設定する。
【００３４】
上記のように用意されたＯＫパターンテンプレート９と閾値のデータを、画像処理装置１に入力して、製品外観チェックが可能な状態にする。
【００３５】
次に、検査対象となる組立済みの電子機器６を準備して、位置決め台座３に置き、カメラ２で撮像して電子機器６の製品画像７を取得する。その後、パターンマッチングを行い、図６のようにＯＫパターンテンプレート９（１）と製品画像７の類似度を取得して、類似度が閾値を上回れば対象ネジ４が有ると判断して検査ＯＫの表示をする。
【００３６】
類似度が閾値を下回る場合、別のＯＫパターンテンプレート９（２）と製品画像７の類似度を取得して閾値と比較を行い、類似度が閾値を上回れば対象ネジ４が有ると判断して検査ＯＫの表示をする。
【００３７】
以上の処理を繰り返し、登録されているすべてのＯＫパターンテンプレート９と製品画像７の類似度が閾値を下回っている場合、対象ネジ４は無いと判断してＮＧ警告を表示して、作業者による目視確認を行う。
【００３８】
（本願発明に関わる技術）
しかしながら、上記の準備の後にこの外装チェックの環境で電子機器６の検査を行う場合、対象ネジ４が取り付けられていないために検査ＮＧ判定を受ける状況にある電子機器６を検査にかけると、すべてのＯＫパターンテンプレート９とのパターンマッチング処理が終了した後でなければ、検査ＮＧ判定は下されない。そのため、ＯＫパターンテンプレート９の数量が多いほど検査ＮＧ判定までに時間がかかる。
【００３９】
本発明はＮＧパターンテンプレート８を用いた検査合否判定方法を外観チェック装置に導入することで、検査ＮＧとなるべき電子機器６を早期に摘出することができる。本発明の適用に伴う作業の流れを以下に説明する。
【００４０】
始めに、ＮＧパターンテンプレート８（１）、（２）を準備するために、電子機器６を準備して、位置決め台座３に置き、カメラ２で撮像する。撮像した画像から、検査対象範囲５の部分を切り出し、ＮＧパターンテンプレート８を作成する。
【００４１】
この際、作業ＮＧのパターンとしては、対象ネジ４が取り付けられていない状況と、他品種ネジ１６が取り付けられている状況が挙げられる。これらに対応するため、図７に示すように、ネジ穴１５のみを撮像してＮＧパターンテンプレート８（１）を準備する。また、他品種ネジ１６のネジ頭がフラットであるなど識別しやすいのであれば、対象ネジ４の代わりに他品種ネジ１６を取り付けた状態で撮像してＮＧパターンテンプレート８（２）を準備する。
【００４２】
次に、従来技術の説明で挙げたターゲット画像を用いて、閾値の検討を行う。まず、ＮＧパターンテンプレート８に対してＯＫパターンのターゲット画像１３との類似度を取得して、次に、ＮＧパターンのターゲット画像１２との類似度を取得する。
【００４３】
以上のように得られた類似度を元に、図８に示すように、ＮＧパターンテンプレート８を使用した場合においての検査合否を判定するための閾値設定可能範囲１７を取得する。そして、ＮＧパターンテンプレートでの閾値設定可能範囲１７の範囲内で閾値を決定する。仮に、ＮＧパターンターゲット画像１２との類似度が９０％、ＯＫパターンターゲット画像１３との類似度が５０％の場合、中間の７０％に閾値を設定する。この処理を、ＮＧパターンテンプレート８全てに対して行う。
【００４４】
上記のように用意されたＮＧパターンテンプレート８及び閾値のデータと、従来技術で説明したＯＫパターンテンプレート９及び閾値のデータを、画像処理装置１に入力して、製品外観チェックが可能な状態にする。次に、検査対象となる組立済みの電子機器６を準備して、位置決め台座３に置き、カメラ２で撮像して電子機器６の製品画像７を取得する。その後、図２に示すようにパターンマッチングを行う。
【００４５】
まず始めに、ＮＧパターンテンプレート８と製品画像７においての比較を行う。方法として、ＮＧパターンテンプレート８（１）と製品画像７の類似度を取得して、類似度が閾値を上回れば対象ネジ４が無いと判断してＮＧ警告を表示する。類似度が閾値を下回る場合、別のＮＧパターンテンプレート８（２）と製品画像７の類似度を取得して閾値と比較を行い、類似度が閾値を上回れば対象ネジ４が無いと判断してＮＧ警告を表示する。
【００４６】
以上の処理を繰り返し、登録されているすべてのＮＧパターンテンプレート８と製品画像７の類似度が閾値を下回っている場合、従来技術であるＯＫパターンテンプレート９を用いた検査合否判定の処理を行い、すべての類似度が閾値を下回った場合は、作業者による目視確認を行う。
【００４７】
上記の準備を終えることで、この外装チェック用の環境下で電子機器６の検査を行う場合、対象ネジ４が取り付けられていない、または他品種ネジ１６が取り付けられているなど検査ＮＧ判定を受ける状況にある電子機器６を検査にかけると、ＯＫパターンテンプレート９の数量に関係なく、早期に検査ＮＧの判定が下される。
【００４８】
本発明によるパターンマッチング手法は、検査対象となる物品が、実施の形態に挙げた対象ネジ４のように、取り付け角度や照明光に影響を受けやすい物品である場合、特に有効である。
【００４９】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更が可能であることは言うまでもない。
【産業上の利用可能性】
【００５０】
本発明は、部品の取り付け忘れを自動で早期に検出可能な方法であり、組み立て作業分野のあらゆる工程で実用可能な方法である。
【００５１】
また、傷の有無を確認する工程においても利用可能であり、適用分野は広いと考えられる。
【図面の簡単な説明】
【００５２】
【図１】本発明に関わる外装チェックを行う際の環境を表す図である。
【図２】電子機器の外装チェック方法及び、製品画像との比較方法を示す図である。
【図３】ＯＫパターンテンプレートの作成方法を示す図である。
【図４】検査合否の閾値を決めるために使用するＮＧパターンターゲット及びＯＫパターンターゲットの準備を示す図である。
【図５】ＯＫパターンテンプレートを適用した際の、検査合否を判定するための閾値が設定可能な範囲を示す模式図である。
【図６】ＯＫパターンテンプレートを適用した際の、製品画像との比較方法を示す図である。
【図７】本発明の実施形態における、ＮＧパターンテンプレートの作成方法を示す図である。
【図８】本発明の実施形態における、ＮＧパターンテンプレートを適用した際の、検査合否を判定するための閾値が設定可能な範囲を示す模式図である。
【符号の説明】
【００５３】
１…画像処理装置、２…カメラ、３…位置決め台座、４…対象ネジ、
５…検査対象範囲、６…電子機器、７…製品画像、
８（１）（２）…ＮＧパターンテンプレート、
９（１）（２）（３）…ＯＫパターンテンプレート、１０…ネジ穴、１１…反射光、
１２…ＮＧパターンターゲット画像、１３…ＯＫパターンターゲット画像、
１４…閾値設定可能範囲、１５…ネジ穴、
１６…他品種ネジ、１７…閾値設定可能範囲
【特許請求の範囲】
【請求項１】
画像処理装置及びカメラを含み、製品の部品取り付け状態の検査を行う検査システムにおいて、
前記画像処理装置は被検物が正しい箇所に取り付けられる前の状態を撮像した画像を不正時テンプレートとして保持し、
前記画像処理装置は該不正時テンプレートと前記カメラより入力された被検物の画像を比較することを特徴とする検査システム。
【請求項２】
製品の部品取り付け状態をパターンマッチングで検査する検査方法において、部品が取り付けられていない状態を撮像した画像又は誤った部品が取り付けられた状態を撮像した画像を不正時テンプレートとして準備し、検査対象の部品を撮像した画像と前記不正時テンプレートとの比較を行い、類似度が所定の閾値より大きい場合に、部品が取り付けられていない又は誤った部品が取り付けられていると判定することを特徴とする検査方法。
【請求項３】
請求項２記載の検査方法において、前記不正時テンプレートの準備とは画像処理装置の記憶装置内にＮＧパターンを記憶することを特徴とする検査方法。
【請求項１】
画像処理装置及びカメラを含み、製品の部品取り付け状態の検査を行う検査システムにおいて、
前記画像処理装置は被検物が正しい箇所に取り付けられる前の状態を撮像した画像を不正時テンプレートとして保持し、
前記画像処理装置は該不正時テンプレートと前記カメラより入力された被検物の画像を比較することを特徴とする検査システム。
【請求項２】
製品の部品取り付け状態をパターンマッチングで検査する検査方法において、部品が取り付けられていない状態を撮像した画像又は誤った部品が取り付けられた状態を撮像した画像を不正時テンプレートとして準備し、検査対象の部品を撮像した画像と前記不正時テンプレートとの比較を行い、類似度が所定の閾値より大きい場合に、部品が取り付けられていない又は誤った部品が取り付けられていると判定することを特徴とする検査方法。
【請求項３】
請求項２記載の検査方法において、前記不正時テンプレートの準備とは画像処理装置の記憶装置内にＮＧパターンを記憶することを特徴とする検査方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００９−８５９００（Ｐ２００９−８５９００Ａ）
【公開日】平成２１年４月２３日（２００９．４．２３）
【国際特許分類】
【出願番号】特願２００７−２５９３６７（Ｐ２００７−２５９３６７）
【出願日】平成１９年１０月３日（２００７．１０．３）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２１年４月２３日（２００９．４．２３）
【国際特許分類】
【出願日】平成１９年１０月３日（２００７．１０．３）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]