説明

外観検査方法及び外観検査装置

【課題】 検査対象物における欠陥の形状や各検査対象物に形成されたそれぞれ異なる研磨筋等によらず、検査対象物の欠陥を確実に検出すること。
【解決手段】 本発明に係る外観検査方法は、検査対象物22を撮像して撮像画像P1を取得する工程と、軸X,Y方向における検査対象物画像P1aの平均輝度分布を算出する工程と、マスタ画像P2を平均輝度分布に基づいて生成する工程と、撮像画像P1とマスタ画像P2とから第1補正画像P3を生成する工程と、ソーベルフィルタにより第1補正画像P3における各画素の輝度値の変化量を算出してソーベル処理画像P4を生成する工程と、ソーベル処理画像P4と第1補正画像P3とから第2補正画像P5を生成する工程と、第2補正画像P5を2値化して連結領域を特定し、その連結領域の画素数と閾値とを対比する工程とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検査対象物の外観を検査するための外観検査方法及び外観検査装置に関する。
【背景技術】
【0002】
従来から、電子部品を撮像して画像データを出力する撮像手段と、撮像手段によって撮像された画像データに基づいて、電子部品上の検査対象範囲を特定すると共に、検査対象範囲の画像データにおける各画素に直交座標を割り当てる検査領域特定手段と、検査対象範囲内において直交座標における一方の座標軸に対して平行な方向に連なる複数の画素の平均輝度を、他方の座標毎に算出する平均輝度算出手段と、各画素の輝度とその画素に対応する平均輝度との輝度差を算出する輝度差算出手段と、を備える電子部品の外観検査装置が知られている(例えば、特許文献1参照)。
【特許文献1】特開平6−42935号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、特許文献1に記載されたような外観検査装置による検査方法を用いても、検査対象物が曲面を有している場合や、検査対象物毎にそれぞれ異なる研磨筋等が形成されているような場合、検査対象物に生じた欠陥の形状によっては欠陥を検出することが困難であった。
【0004】
本発明は、検査対象物における欠陥の形状や各検査対象物に形成されたそれぞれ異なる研磨筋等によらず、検査対象物の欠陥を確実に検出することができる外観検査方法及び外観検査装置を提供することを目的とする。
【課題を解決するための手段】
【0005】
本発明に係る外観検査方法は、検査対象物の外観検査を行うための外観検査方法であって、検査対象物を撮像して検査対象物画像を含む撮像画像を取得する工程と、検査対象物画像の外縁に沿う第1の方向に平行な一連の画素からなる第1の画素列毎にその第1の画素列に含まれる一連の画素の輝度値の平均を算出すると共に、第1の方向と直交する第2の方向に平行な一連の画素からなる第2の画素列毎にその第2の画素列に含まれる一連の画素の輝度値の平均を算出することで、第1の方向及び第2の方向における検査対象物画像の平均輝度分布を算出する工程と、検査対象物画像に対して基準となる基準画像を平均輝度分布に基づいて生成する工程と、撮像画像と基準画像とから第1補正画像を生成する工程と、ソーベルフィルタにより第1補正画像における各画素の輝度値の変化量を算出してソーベル処理画像を生成する工程と、ソーベル処理画像と第1補正画像とから第2補正画像を生成する工程と、第2補正画像を2値化して連結領域を特定し、その連結領域の画素数と閾値とを対比する工程とを備えることを特徴とする。
【0006】
本発明に係る外観検査方法では、検査対象物を撮像し、検査対象物画像の外縁に沿う第1の方向及び第2の方向について検査対象物毎にそれぞれ平均輝度分布を求めている。そして、検査対象物画像に対して基準となる基準画像を各平均輝度分布に基づいて生成し、撮像画像と基準画像とから第1補正画像を生成している。このため、各検査対象物毎に生成された基準画像に応じて、撮像画像が個別に補正されることとなるので、検査対象物に形成された研磨筋等が個々に異なる場合であっても、各検査対象物の欠陥を検出することができる。また、ソーベルフィルタによって第1補正画像の輝度値の変化量を算出して生成されたソーベル処理画像を用いて第1補正画像を処理することで、第2補正画像を生成しているため、高精度に検査対象物の欠陥を検出することができ、特に検査対象物のクラックや検査対象物に付着した異物が検出しやすくなる。
【0007】
また、第1補正画像を生成する工程では、撮像画像と基準画像とで対応する位置にある画素毎に、撮像画像の各画素における輝度値から基準画像の各画素における輝度値を減算することで第1補正画像を生成することが好ましい。このようにすると、第1補正画像の欠陥部分以外の領域において輝度値の変化量が極めて小さくなる(輝度値が略均一になる)一方、欠陥部分の領域において輝度値の変化量が極めて大きくなる。その結果、その後生成された第2補正画像を2値化するための閾値を設定することのできる範囲が広がり、容易に閾値を設定できる。
【0008】
また、第2補正画像を生成する工程では、第1補正画像とソーベル処理画像とで対応する位置にある画素毎に、第1補正画像の各画素における輝度値からソーベル処理画像の各画素における輝度値を減算することで第2補正画像を生成することが好ましい。このようにすると、第2補正画像において、欠陥部分の領域における輝度値の大きさと欠陥部分以外の輝度値の大きさとの差を広げることができるので、クラックや検査対象物に付着した異物といった欠陥をより検出しやすくなる。
【0009】
また、微分フィルタにより第1補正画像における各画素の輝度値の変化量を算出して微分処理画像を生成する工程と、微分処理画像と第1補正画像とから第3補正画像を生成する工程と、第3補正画像を2値化して連結領域を特定し、その連結領域の画素数と閾値とを対比する工程とを更に備えることが好ましい。このようにすると、欠陥部分の領域において輝度値の変化量が小さな値から大きな値をとりうる、欠けによる欠陥を検出しやすくなる。
【0010】
また、第3補正画像を生成する工程では、微分処理画像と第1補正画像とで対応する位置にある画素毎に、微分処理画像の各画素における輝度値と第1補正画像の各画素における輝度値とを加算することで第3補正画像を生成することが好ましい。このようにすると、第3補正画像において、欠陥部分の領域における輝度値の大きさと欠陥部分以外の領域における輝度値の大きさとの差を広げることができるので、欠けによる欠陥をより検出しやすくなる。
【0011】
また、撮像画像を2値化して連結領域を特定し、その連結領域の画素数と閾値とを対比する工程を更に備えることが好ましい。このようにすると、第1補正画像では補正されてしまうような、ある程度面積の大きな剥離による欠陥についても検出することができる。
【0012】
一方、本発明に係る外観検査装置は、検査対象物の外観検査を行うための外観検査装置であって、検査対象物を照明する照明手段と、照明手段によって照明された検査対象物を撮像する撮像手段と、撮像手段によって撮像された撮像画像に含まれる検査対象物画像の外縁に沿う第1の方向に平行な一連の画素からなる第1の画素列毎にその第1の画素列に含まれる一連の画素の輝度値の平均を算出すると共に、第1の方向と直交する第2の方向に平行な一連の画素からなる第2の画素列毎にその第2の画素列に含まれる一連の画素の輝度値の平均を算出することで、第1の方向及び第2の方向における検査対象物画像の平均輝度分布を算出する手段と、検査対象物画像に対して基準となる基準画像を平均輝度分布に基づいて生成する手段と、撮像画像と基準画像とから第1補正画像を生成する手段と、ソーベルフィルタにより第1補正画像における各画素の輝度値の変化量を算出してソーベル処理画像を生成する手段と、ソーベル処理画像と第1補正画像とから第2補正画像を生成する手段と、第2補正画像を2値化して連結領域を特定し、その連結領域の画素数と閾値とを対比する手段とを備えることを特徴とする。
【0013】
本発明に係る外観検査装置では、撮像手段によって検査対象物を撮像し、検査対象物画像の外縁に沿う第1の方向及び第2の方向について検査対象物毎にそれぞれ平均輝度分布を求めている。そして、各平均輝度分布に基づいて撮像した検査対象物に対応する基準画像を生成し、撮像画像と基準画像とから第1補正画像を生成している。このため、各検査対象物に生成された基準画像に応じて、撮像画像が個別に補正されるので、検査対象物形成された研磨筋等が個々に異なる場合であっても、各検査対象物の欠陥を検出することができる。また、ソーベルフィルタによって第1補正画像の輝度値の変化量を算出して生成されたソーベル処理画像を用いて第1補正画像を処理することで、第2補正画像を生成しているため、高精度に検査対象物の欠陥を検出することができ、特に検査対象物のクラックや検査対象物に付着した異物が検出しやすくなる。
【0014】
また、第1補正画像を生成する手段は、撮像画像と基準画像とで対応する位置にある画素毎に、撮像画像の各画素における輝度値から基準画像の各画素における輝度値を減算することで第1補正画像を生成することが好ましい。このようにすると、第1補正画像の欠陥部分以外の領域において輝度値の変化量が極めて小さくなる(輝度値が略均一になる)一方、欠陥部分の領域において輝度値の変化量が極めて大きくなる。その結果、その後生成された第2補正画像を2値化するための閾値を設定することのできる範囲が広がり、容易に閾値を設定できる。
【0015】
また、第2補正画像を生成する手段は、第1補正画像とソーベル処理画像とで対応する位置にある画素毎に、第1補正画像の各画素における輝度値からソーベル処理画像の各画素における輝度値を減算することで第2補正画像を生成することが好ましい。このようにすると、ソーベルフィルタにより得られた第1補正画像における各画素の輝度値の変化量(ソーベル処理画像における各画素の輝度値)を第1補正画像に反映させることで、欠陥部分の輝度値の大きさと欠陥部分以外の輝度値の大きさとの差が広がるので、このような第2補正画像を2値化することで、クラックや検査対象物に付着した異物といった欠陥をより検出しやすくなる。
【0016】
また、微分フィルタにより第1補正画像における各画素の輝度値の変化量を算出して微分処理画像を生成する手段と、微分処理画像と第1補正画像とから第3補正画像を生成する手段と、第3補正画像を2値化して連結領域を特定し、その連結領域の画素数と閾値とを対比する手段とを更に備えることが好ましい。このようにすると、欠陥部分の領域において輝度値の変化量が小さな値から大きな値をとりうる、欠けによる欠陥を検出しやすくなる。
【0017】
また、第3補正画像を生成する手段は、微分処理画像と第1補正画像とで対応する位置にある画素毎に、微分処理画像の各画素における輝度値と第1補正画像の各画素における輝度値とを加算することで第3補正画像を生成することが好ましい。このようにすると、微分フィルタにより得られた第1補正画像における各画素の輝度値の変化量(微分処理画像における各画素の輝度値)を第1補正画像に反映させることで、欠陥部分の輝度値の大きさと欠陥部分以外の輝度値の大きさとの差が広がるので、このような第2補正画像を2値化することで、欠けによる欠陥をより検出しやすくなる。
【0018】
また、第1補正画像を2値化して連結領域を特定し、その連結領域の画素数と閾値とを対比する工程を更に備えることが好ましい。このようにすると、第1補正画像では補正されてしまうような、ある程度大きな剥離による欠陥についても検出することができる。
【発明の効果】
【0019】
本発明によれば、検査対象物における欠陥の形状や各検査対象物に形成されたそれぞれ異なる研磨筋等によらず、検査対象物の欠陥を確実に検出することができる。
【発明を実施するための最良の形態】
【0020】
本発明の好適な実施形態について、図面を参照して説明する。なお、説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。
【0021】
(外観検査装置の構成)
図1を参照して、本実施形態に係る外観検査装置10の構成について説明する。図1は、(a)が外観検査装置の構成を概略的に示す斜視図であり、(b)が検査対象物の斜視図である。
【0022】
外観検査装置10は、後述する検査対象物22の外観を検査するための装置である。そのために、外観検査装置10は、カメラ12と、画像処理部14と、ディスプレイ16と、LED照明器18a,18bとを有している。
【0023】
カメラ12は、LED照明器18a,18bによって照明された検査対象物22の外側面を撮像するものであり、例えばCCD(Charge Coupled Device)カメラを用いることができる。カメラ12では、検査対象物22の撮像画像P1,P13(図7(a)、図10(a)参照)を取得すると、その撮像画像P1のデータを画像処理部14に出力する。なお、カメラ12は、少なくとも輝度情報が得られればよいので、CMOS(Complementary Metal Oxide Semiconductor)カメラ、赤外線カメラ、白黒カメラ、カラーカメラ等であってもよい。
【0024】
画像処理部14は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を含む図示しないECU(Electronic Control Unit)等を有し、カメラ12によって出力された撮像画像の画像処理を行うものである。画像処理部14では、撮像画像P1,P13等の画像処理を行うと、その処理された画像をディスプレイ16に表示させるように、ディスプレイ16に画像信号を出力する。
【0025】
ディスプレイ16は、撮像画像P1,P13、後述する第1補正画像P3等の各種画像や欠陥の有無を表示するものである。このため、ディスプレイ16に表示される各種画像をオペレータが観察することで、人間の目視によっても検査対象物22の外観を検査することができるようになっている。
【0026】
LED照明器18a,18bは、検査対象物22をその周囲360°方向から照明することのできるリング状の照明器具であり、検査対象物22の上方に検査対象物22が載置される載置板20と対向するようにそれぞれ設けられている。LED照明器18aは、載置板20側に配置されており、略円筒形状を呈し、その内側面に複数のLED光源が配列されている。このため、LED照明器18aでは、その内側面からLED照明器18aの中心方向に向かって照明することとなる。一方、LED照明器18bは、カメラ12側に配置されており、内側面が略円錐形状となっており、その内側面に複数のLED光源が配列されている。このため、LED照明器18bでは、その内側面から所定の角度をもって下方に向かって照明することとなる。これらのLED照明器18a,18bを用いることによって、検査対象物22に対して均一に照明を行っている。
【0027】
ここで、検査対象物22は、本実施形態において、円柱面状とされた外周面22a及び内周面22bを有し、且つ、側面22cが円弧状となっている。この検査対象物22の外周面22a及び内周面22bには、検査対象物22を製造する工程において、円柱面状をなす外周面22a及び内周面22bの軸方向に沿うと共に、各検査対象物22毎に異なる研磨筋が形成されている。検査対象物22は、例えば、クーラー等のモータ用のマグネットとして用いられる。
【0028】
検査対象物22に生じうる欠陥としては、例えば、クラック、欠け、剥離がある。クラックは、他の欠陥と比べてその欠陥の大きさ(面積)が比較的小さい。クラックは、検査対象物22の表面からの欠陥の深さ(欠陥深さ)が深いため、撮像画像の欠陥部分における輝度値の変化量が大きな値となる傾向にある。欠けは、欠陥の大きさ(面積)として小さなものから大きなものまで生じうる。欠けは、欠陥深さが浅いものから深いものまであるために、撮像画像の欠陥部分における輝度値の変化量についても小さな値から大きな値をとりうる。剥離は、欠陥の大きさ(面積)が比較的大きい。剥離では、欠陥深さが比較的浅いため、撮像画像の欠陥部分における輝度値の変化量が小さな値となる傾向にある。
【0029】
(外観検査装置による外観検査方法)
次に、図2〜図10を参照して、以上の構成を有する外観検査装置10を用いた検査対象物22の外観検査処理方法について説明する。なお、ここでは特に、検査対象物22のうち円柱面状となっている外周面22a又は内周面22bの外観検査を行う場合について説明する。
【0030】
図2は、外観検査処理の開始から終了までの手順を示すフローチャートである。図3は、補正画像作成処理の開始から終了までの手順を示すフローチャートである。図4は、第1欠陥検出処理の開始から終了までの手順を示すフローチャートである。図5は、第2欠陥検出処理の開始から終了までの手順を示すフローチャートである。図6は、第3欠陥検出処理の開始から終了までの手順を示すフローチャートである。図7は、欠陥検出第1処理における各画像を示し、(a)が撮像画像を示す図であり、(b)がマスタ画像を示す図であり、(c)が第1補正画像を示す図であり、(d)がソーベル処理画像を示す図であり、(e)が第2補正画像を示す図であり、(f)が2値化画像を示す図であり、(g)が欠陥検出結果画像を示す図である。図8は、(a)が平均輝度値の算出方法を説明するための検査対象物画像を示す図であり、(b)が軸X方向における平均輝度値の分布を示す図であり、(c)が軸Y方向における平均輝度値の分布を示す図である。図9は、欠陥検出第2処理における各画像を示し、(a)が第1補正画像を示す図であり、(b)が微分処理画像を示す図であり、(c)が第3補正画像を示す図であり、(d)が2値化画像を示す図であり、(e)が欠陥検出結果画像を示す図である。図10は、欠陥検出第3処理における各画像を示し、(a)が撮像画像を示す図であり、(b)が2値化画像を示す図である。なお、図2〜図6に示されるフローチャートでは、ステップをSと略記している。また、図7、図9及び図10では、それぞれ異なる検査対象物22を用いて、欠陥検出第1処理、欠陥検出第2処理及び欠陥検出第3処理を説明している。
【0031】
外観検査装置10によって外観検査処理が開始されると、図2に示されるステップ1に進んで、外観検査装置20のオペレータによる検査対象物22の位置決めが行われる。具体的には、載置板20に設けられたピン(図示せず)に対して検査対象物22をバネで押しつけることによって、検査対象物22の研磨筋が検査対象物画像P1aの短辺(図8(a)に示される軸Y方向)に沿うように、検査対象物22を載置板20に固定する。こうすると、撮像画像P1と撮像画像P1における検査対象物22を示す画像(検査対象物画像)P1aとの外縁が平行となり、撮像画像P1から後述する第1補正画像P3が容易に得られることとなる。
【0032】
続いて、ステップ2に進むと、各LED照明器18a,18bによって照明された検査対象物22をカメラ12によって撮像する(図7(a)参照)。カメラ12による検査対象物22の撮像が行われると、撮像された撮像画像P1のデータが画像処理部14に出力される。以下に述べる第1補正画像生成処理、欠陥検出第1処理、欠陥検出第2処理、欠陥検出第3処理では、撮像画像P1のデータに基づき、画像処理部14によって検査対象物22の欠陥を検出するための各種処理が行われることとなる。
【0033】
(第1補正画像生成処理)
続くステップ3では、第1補正画像生成処理が行われる。第1補正画像生成処理が開始されると、図3に示されるステップ11に進んで、撮像画像P1において輝度値が0でない連続する画素の領域を求めた後、その画素の領域に外接する長方形を求めることで、撮像画像P1における検査対象物画像P1aの外形領域A1を決定する処理を行う。このとき、決定された外形領域A1の面積(画素数)及び外形領域A1の位置する座標を算出する処理も行われる。ステップ12に進むと、ステップ11において決定された外形領域A1の面積が所定の閾値以上であるか否かを判定する。すなわち、欠陥を検出する対象である検査対象物画像P1aの面積(画素数)は、各検査対象物22において略同一であるから、外形領域A1の面積(画素数)が閾値以上であれば撮像されたものが検査対象物22であると判定してステップ13に進むが、そうでなければ撮像されたものが検査対象物22ではない(例えば、検査対象物22の破片)と判定して図2に示されるステップ8に進んで、外観検査処理を終了するようにしている。
【0034】
ステップ13に進むと、外形領域A1に基づいて、撮像画像P1において処理を行う対象となる領域(処理領域)A2を決定する。この処理領域A2を決定する処理について、図8を参照して、以下に具体的に説明する。なお、図8(a)に示される外形領域A1においては、白線の格子によって囲まれる矩形の各領域がそれぞれ画素に相当しており(図示の都合上、実際よりも大きさを誇張して描いている)、長辺と平行な軸X方向に沿う画素の座標が1〜xmax、短辺と平行で軸Xと直交する軸Y方向に沿う画素の座標が1〜ymaxとなっている。また、外形領域A1における任意座標(x,y)の画素の輝度値をI(x、y)と表すこととする。
【0035】
処理領域A2を決定する際、まず、軸X方向に平行な一連の画素についての輝度値I(1,y)〜I(xmax,y)の平均(平均輝度値)Yを、軸Y方向毎に算出する。また、軸Y方向に平行な一連の画素についての輝度値I(x,1)〜I(x、ymax)の平均(平均輝度値)Xを、軸X方向毎に算出する。図8(b),(c)に示される平均輝度分布L1、L2は、このように算出された平均輝度値X,Yの変化をそれぞれ表している。なお、Y座標がnであるときの平均輝度値Ynは下記の式(1)で表され、X座標がmであるときの平均輝度値Xmは下記の式(2)で表される。
【数1】

【数2】

これらの平均輝度値X,Yを求めた後、図8(b),(c)においてそれぞれ破線で示される閾値と平均輝度値X,Yとを比較して、閾値と等しい平均輝度値X,Yを示すx座標及びy座標をそれぞれ求める。そして、このように求められた各座標を通り、各座標が存在する軸X又は軸Yに垂直な直線によって囲まれる領域を、処理領域A2に決定する。なお、外形領域A1を複数に分割し、それぞれの領域について平均輝度値を求めることで、処理領域A2を決定してもよい。
【0036】
続いて、ステップ14に進むと、マスタ画像(基準画像)P2を生成する。マスタ画像P2の生成の際には、まず、処理領域A2において再び平均輝度値X´,Y´を求める。これらの平均輝度値X´,Y´に基づいて、下記の式(3)から座標(m,n)における画素の輝度値I´(m,n)を処理領域A2の全画素について算出し、マスタ画像P2を生成する(図7(b)参照)。
【数3】

ここで、式(3)におけるα,βは、それぞれ軸X,Y方向における平均輝度値の寄与率となっている。マスタ画像P2を生成する際、寄与率α,βのうち平均輝度値X´,Y´について優先させたい側の値を大きく設定することで、生成されるマスタ画像P2を調節することができる。なお、本実施形態では、軸X方向に沿う研磨筋の影響を考慮するため、βよりもαの値を大きくしている。
【0037】
続いて、ステップ15に進むと、処理領域A2における検査対象物画像P1aとマスタ画像P2とで対応する座標に位置する画素毎に、検査対象物画像P1aの各画素における輝度値からマスタ画像P2の各画素における輝度値を減算する。これにより、第1補正画像P3が生成され(図7(c)参照)、第1補正画像生成処理が終了する。
【0038】
(欠陥検出第1処理)
図2に戻り、ステップ4に進むと、欠陥検出第1処理が行われる。この欠陥検出第1処理では、例えば検査対象物22のクラックや検査対象物22に付着した異物による欠陥を検出している。欠陥検出第1処理が開始されると、図4に示されるステップ21に進んで、処理領域A2において第1補正画像P3をソーベルフィルタによって処理し、第1補正画像P3中における濃淡変化(エッジ部分)を検出する処理を行う。具体的には、第1補正画像P3における所定の画素とその画素の周囲における隣接画素とで、下記の式(4)による演算を第1補正画像P3の全ての画素について行う。これにより、第1補正画像P3における各画素の輝度値I´の変化量E1が求められ、濃淡変化が生じている箇所でエッジの検出が行われたソーベル処理画像P4が生成される(図7(d)参照)。
【数4】

また、ソーベル処理画像P4を生成した後、ソーベル処理画像P4における所定の画素とその画素の周囲における隣接画素とで、下記の式(5)による演算をソーベル処理画像P4の全ての画素について行う。これにより、ソーベル処理画像P4における各画素の輝度値I´の平均M1が求められ、ソーベル処理画像P4に生じているランダムなノイズを除去する平滑化が行われる。
【数5】

なお、本実施形態では、階調を256階調(8bit)としているため、変化量E1を求める際に、変化量E1が下限値である0を下回る場合には変化量E1を下限値である0に固定し、変化量E1が上限値である255を上回る場合には変化量E1を上限値である255に固定する処理を行っているが、階調を256階調以外として同様の処理を行ってもよい。
【0039】
続いて、ステップ22に進むと、処理領域A2における第1補正画像P3とソーベル処理画像P4とで対応する座標に位置する画素毎に、第1補正画像P3の各画素における輝度値からソーベル処理画像P4の各画素における輝度値を減算する。これにより、第2補正画像P5が生成される(図7(e)参照)。また、第2補正画像P5を生成後、第2補正画像P5に生じているランダムなノイズを除去するために、ステップ21と同じく第2補正画像P5の平滑化を行う。
【0040】
続いて、ステップ23に進むと、得られた第2補正画像P5を所定の閾値によって2値化処理し、その閾値以上の輝度値である画素を黒、その閾値より小さな輝度値である画素を白として表示した2値化画像P6を生成する(図7(f)参照)。ここで、このステップ23の2値化処理において用いられる閾値は、事前に実験を行うことによって得られた値となっている(後述するステップ33,41において用いられる閾値も同じ)。また、本実施形態では、ステップ23,33の閾値の大きさは共に同じになっており、ステップ41の閾値の大きさはステップ23,33の閾値の大きさよりも大きくなっている。これは、ステップ23,33で2値化処理を行う前の第2補正画像及び第3補正画像では、ソーベルフィルタ及び微分フィルタによって欠陥部分以外の領域における輝度値が略均一となっているので閾値を設定することのできる範囲が広いのに対し、ステップ41で2値化処理を行う前の検査対象物画像P13aでは、欠陥部分以外の領域における輝度値が略均一となっていないので閾値を設定することのできる範囲が狭いためである。そして、ステップ24に進むと、2値化画像P6のラベリング処理を行い、2値化画像P6において白で表示される画素が連結している連結領域を特定する。また、ステップ24では、特定された連結領域の数、各連結領域の面積(画素数)及び処理領域A2における各連結領域の位置を検出する処理を行う。
【0041】
続いて、ステップ25に進むと、ステップ24で検出された各連結領域について、各連結領域の面積(画素数)が所定の閾値より小さいか否かを判定する。その結果、全ての連結領域について連結領域の面積が閾値よりも小さいと判定された場合には欠陥検出第1処理が終了するが、そうでなければ図2のステップ8に進んで、現在外観検査が行われている検査対象物22に欠陥があると判定して、外観検査処理を終了する。ここで、このステップ25の判定において用いられる閾値も、事前に実験を行うことによって得られた値となっている(後述するステップ35,43において用いられる閾値も同じ)。また、本実施形態では、ステップ25,35の閾値の大きさは共に同じになっており、ステップ43の閾値の大きさはステップ25,35の閾値の大きさよりも大きくなっている。これは、欠陥検出第1処理で検出対象となっているクラックによる欠陥及び欠陥検出第2処理で検出対象となっている欠けによる欠陥の面積(画素数)が、欠陥検出第3処理で検出対象となっている剥離による欠陥の面積(画素数)よりも小さい傾向にあるためである。なお、図7(g)は、処理領域A2における検査対象物画像P1aと2値化画像P6とで対応する座標に位置する画素毎に、検査対象物画像P1aの各画素と2値化画像P6の各画素とを加算して得られた欠陥検出結果画像P7となっている。
【0042】
(欠陥検出第2処理)
図2に戻り、ステップ5に進むと、欠陥検出第2処理が行われる。この欠陥検出第1処理では、例えば検査対象物22の欠けによる欠陥を検出している。欠陥検出第2処理が開始されると、図5に示されるステップ31に進んで、処理領域A2において第1補正画像P8(図9(a)参照)を微分フィルタによって処理し、第1補正画像P8中における濃淡変化(エッジ部分)を検出する処理を行う。具体的には、第1補正画像P8における所定の画素とその画素の周囲における隣接画素とで、下記の式(6)による演算を第1補正画像P8の全ての画素について行う。これにより、第1補正画像P8における各画素の輝度値I´の変化量E2が求められ、濃淡変化が生じている箇所でエッジの検出が行われた微分処理画像P9が生成される(図9(b)参照)。
【数6】

また、微分処理画像P9を生成した後、微分処理画像P9における所定の画素とその画素の周囲における隣接画素とで、下記の式(7)による演算を微分処理画像P9の全ての画素について行う。これにより、微分処理画像P9における各画素の輝度値I´の平均M2が求められ、微分処理画像P9に生じているランダムなノイズを除去する平滑化が行われる。
【数7】

なお、欠陥検出第2処理においても、変化量E2が下限値を下回る場合には変化量E2を下限値に固定し、変化量E2が上限値を上回る場合には変化量E2を上限値に固定する処理を行っている。
【0043】
続いて、ステップ32に進むと、処理領域A2における第1補正画像P8と微分処理画像P9とで対応する座標に位置する画素毎に、第1補正画像P8の各画素における輝度値と微分処理画像P9の各画素における輝度値とを加算する。これにより、第3補正画像P10が生成される(図9(c)参照)。また、第3補正画像P10の生成後、第3補正画像P10に生じているランダムなノイズを除去するために、ステップ21と同じく第3補正画像P10の平滑化を行う。
【0044】
続いて、ステップ33に進むと、得られた第3補正画像P10を所定の閾値によって2値化処理し、その閾値以上の輝度値である画素を白、その閾値より小さな輝度値である画素を黒として表示した2値化画像P11を生成する(図9(d)参照)。そして、ステップ34に進むと、2値化画像P11のラベリング処理を行い、2値化画像P11において白で表示される画素が連結している連結領域を特定する。また、ステップ34では、特定された連結領域の数、各連結領域の面積(画素数)及び処理領域A2における各連結領域の位置を検出する処理を行う。
【0045】
続いて、ステップ35に進むと、ステップ34で検出された各連結領域について、各連結領域の面積(画素数)が所定の閾値より小さいか否かを判定する。その結果、全ての連結領域について連結領域の面積が閾値よりも小さいと判定された場合には欠陥検出第2処理が終了するが、そうでなければ図2のステップ8に進んで、現在外観検査が行われている検査対象物22に欠陥があると判定して、外観検査処理を終了する。なお、図9(e)は、処理領域A2における図示しない検査対象物画像と2値化画像P11とで対応する座標に位置する画素毎に、検査対象物画像の各画素と2値化画像P11の各画素とを加算して得られた欠陥検出結果画像P12となっている。
【0046】
(欠陥検出第3処理)
図2に戻り、ステップ6に進むと、欠陥検出第3処理が行われる。この欠陥検出第1処理では、例えば検査対象物22の剥離による欠陥を検出している。欠陥検出第3処理が開始されると、図6に示されるステップ41に進んで、処理領域A2における検査対象物画像P13aを所定の閾値によって2値化処理し、その閾値以上の輝度値である画素を白、その閾値より小さな輝度値である画素を黒として表示した2値化画像P14を生成する(図10(b)参照)。そして、ステップ42に進むと、2値化画像P14のラベリング処理を行い、2値化画像P14において白で表示される画素が連結している連結領域を特定する。また、ステップ42では、特定された連結領域の数、各連結領域の面積(画素数)及び処理領域A2における各連結領域の位置を検出する処理を行う。
【0047】
続いて、ステップ43に進むと、ステップ42で検出された各連結領域について、各連結領域の面積(画素数)が所定の閾値より小さいか否かを判定する。その結果、全ての連結領域について連結領域の面積が閾値よりも小さいと判定された場合には2値化処理が終了し、図2のステップ7に進んで、現在外観検査が行われている検査対象物22に欠陥がないと判定して、外観検査処理が終了する。一方、いずれかの連結領域の面積が閾値以上であると判定された場合には図2のステップ8に進んで、現在外観検査が行われている検査対象物22に欠陥があると判定して、外観検査処理が終了する。
【0048】
ところで、検査対象物22のような曲面を有する物体について外観検査を行う場合には、LED照明18a,18bから検査対象物22に入射する光が検査対象物22の外形に応じて反射してしまう。そのため、カメラ12によって検査対象物22を撮像した場合、局所的に明暗が生じてしまい、撮像画像P1,P13における輝度分布が不均一となってしまっていた。また、検査対象物22には、個別に異なる研磨筋が形成されているため、撮像画像P1,P13における輝度分布が検査対象物22毎に異なってしまっていた。従って、従来は、検査対象物22の欠陥を検出することが困難であるという問題があった。
【0049】
これに対し、本実施形態においては、検査対象物22毎に、軸X,Y方向についてそれぞれ平均輝度分布L1,L2を求め、これに基づいてマスタ画像P2を生成している。また、処理領域A2における検査対象物画像P1aの各画素における輝度値からマスタ画像P2の各画素における輝度値を減算することで、第1補正画像P3を生成している。このため、各検査対象物22に応じてマスタ画像P2が生成され、そのマスタ画像P2により個別に処理領域A2における検査対象物画像P1aが補正されるので、検査対象物22に形成された研磨筋が個々に異なる場合であっても、各検査対象物22の欠陥を検出することができる。また、ソーベルフィルタによって第1補正画像P3の輝度値の変化量を算出して生成されたソーベル処理画像P4を用いて第1補正画像P3を処理することで、第2補正画像P5を生成しているため、高精度に検査対象物22の欠陥を検出することができ、特に検査対象物のクラックや検査対象物に付着した異物が検出しやすくなる。
【0050】
また、本実施形態では、処理領域A2における検査対象物画像P1aとマスタ画像P2とで対応する位置にある画素毎に、検査対象物画像P1aの各画素における輝度値からマスタ画像P2の各画素における輝度値を減算することで第1補正画像P3を生成している。そのため、第1補正画像P3の欠陥部分以外の領域において輝度値の変化量が極めて小さくなる(輝度値が略均一になる)一方、欠陥部分の領域において輝度値の変化量が極めて大きくなる。その結果、その後生成された第2補正画像P5を2値化するための閾値を設定することのできる範囲が広がり、容易に閾値を設定できる
【0051】
また、本実施形態では、第1補正画像P3とソーベル処理画像P4とで対応する位置にある画素毎に、第1補正画像P3の各画素における輝度値からソーベル処理画像P4の各画素における輝度値を減算することで第2補正画像を生成している。そのため、ソーベルフィルタにより得られた第1補正画像P3における各画素の輝度値の変化量(ソーベル処理画像P4における各画素の輝度値)を第1補正画像P3に反映させることで、欠陥部分の輝度値の大きさと欠陥部分以外の輝度値の大きさとの差が広がるので、このような第2補正画像P5を2値化することで、クラックや検査対象物に付着した異物といった欠陥をより検出しやすくなる。
【0052】
また、本実施形態では、微分フィルタによって第1補正画像P3を処理することで第3補正画像P10を生成しているので、欠陥部分の領域において輝度値の変化量が小さな値から大きな値をとりうる、欠けによる欠陥を検出しやすくなる。
【0053】
また、本実施形態では、微分処理画像P9と第1補正画像P3とで対応する位置にある画素毎に、微分処理画像P9の各画素における輝度値と第1補正画像P3の各画素における輝度値とを加算することで第3補正画像P10を生成しているので、第3補正画像P10において、欠陥部分の領域における輝度値の大きさと欠陥部分以外の領域における輝度値の大きさとの差を広げることができ、欠けによる欠陥をより検出しやすくなる。
【0054】
また、本実施形態では、処理領域A2における検査対象物画像P13aを2値化して連結領域を特定しているので、検査対象物22にある程度面積の大きな剥離による欠陥についても検出することができる。
【0055】
以上、本発明の好適な実施形態について詳細に説明したが、本発明は上記した実施形態に限定されるものではない。例えば、本実施形態では外観検査処理において欠陥検出第1〜第3処理を行っているが、これらの処理のうち欠陥検出第1処理だけを行うものであってもよい。また、欠陥検出第1及び第2処理を行うものであってもよく、欠陥検出第1及び第3処理を行うものであってもよい。さらに、欠陥検出第1〜第3処理の各処理のうち、いずれの処理から実行を開始してもよい。
【0056】
また、本実施形態では曲面を有する検査対象物22について外観検査を行っていたが、これに限られず、平面状の検査対象物の外観検査を行ってもよい。
【0057】
また、ステップ11において、検査対象物画像P1aのエッジを4方向から探索することによって、外形領域A1を決定してもよい。
【図面の簡単な説明】
【0058】
【図1】(a)は外観検査装置の構成を概略的に示す斜視図であり、(b)は検査対象物の斜視図である。
【図2】外観検査処理の開始から終了までの手順を示すフローチャートである。
【図3】補正画像作成処理の開始から終了までの手順を示すフローチャートである。
【図4】第1欠陥検出処理の開始から終了までの手順を示すフローチャートである。
【図5】第2欠陥検出処理の開始から終了までの手順を示すフローチャートである。
【図6】第3欠陥検出処理の開始から終了までの手順を示すフローチャートである。
【図7】欠陥検出第1処理における各画像を示し、(a)は撮像画像を示す図であり、(b)はマスタ画像を示す図であり、(c)は第1補正画像を示す図であり、(d)はソーベル処理画像を示す図であり、(e)は第2補正画像を示す図であり、(f)は2値化画像を示す図であり、(g)は欠陥検出結果画像を示す図である。
【図8】(a)は平均輝度値の算出方法を説明するための検査対象物画像を示す図であり、(b)は軸X方向における平均輝度値の分布を示す図であり、(c)は軸Y方向における平均輝度値の分布を示す図である。
【図9】欠陥検出第2処理における各画像を示し、(a)は第1補正画像を示す図であり、(b)は微分処理画像を示す図であり、(c)は第3補正画像を示す図であり、(d)は2値化画像を示す図であり、(e)は欠陥検出結果画像を示す図である。
【図10】欠陥検出第3処理における各画像を示し、(a)が撮像画像を示す図であり、(b)が2値化画像を示す図である。
【符号の説明】
【0059】
10…外観検査装置、12…カメラ、14…画像処理部、22…検査対象物、P1,P13…撮像画像、P1a,P13a…検査対象物画像、P2…マスタ画像、P3,P8…第1補正画像、P4…ソーベル処理画像、P5…第2補正画像、P9…微分処理画像、P10…第3補正画像。

【特許請求の範囲】
【請求項1】
検査対象物の外観検査を行うための外観検査方法であって、
前記検査対象物を撮像して検査対象物画像を含む撮像画像を取得する工程と、
前記検査対象物画像の外縁に沿う第1の方向に平行な一連の画素からなる第1の画素列毎に該第1の画素列に含まれる前記一連の画素の輝度値の平均を算出すると共に、前記第1の方向と直交する第2の方向に平行な一連の画素からなる第2の画素列毎に該第2の画素列に含まれる前記一連の画素の輝度値の平均を算出することで、前記第1の方向及び前記第2の方向における前記検査対象物画像の平均輝度分布を算出する工程と、
前記検査対象物画像に対して基準となる基準画像を前記平均輝度分布に基づいて生成する工程と、
前記撮像画像と前記基準画像とから第1補正画像を生成する工程と、
ソーベルフィルタにより前記第1補正画像における各画素の輝度値の変化量を算出してソーベル処理画像を生成する工程と、
前記ソーベル処理画像と前記第1補正画像とから第2補正画像を生成する工程と、
前記第2補正画像を2値化して連結領域を特定し、該連結領域の画素数と閾値とを対比する工程とを備えることを特徴とする外観検査方法。
【請求項2】
前記第1補正画像を生成する前記工程では、前記撮像画像と前記基準画像とで対応する位置にある画素毎に、前記撮像画像の各画素における輝度値から前記基準画像の各画素における輝度値を減算することで前記第1補正画像を生成することを特徴とする請求項1に記載された外観検査方法。
【請求項3】
前記第2補正画像を生成する前記工程では、前記第1補正画像と前記ソーベル処理画像とで対応する位置にある画素毎に、前記第1補正画像の各画素における輝度値から前記ソーベル処理画像の各画素における輝度値を減算することで前記第2補正画像を生成することを特徴とする請求項1又は2に記載された外観検査方法。
【請求項4】
微分フィルタにより前記第1補正画像における各画素の輝度値の変化量を算出して微分処理画像を生成する工程と、
前記微分処理画像と前記第1補正画像とから第3補正画像を生成する工程と、
前記第3補正画像を2値化して連結領域を特定し、該連結領域の画素数と閾値とを対比する工程とを更に備えることを特徴とする請求項1〜3のいずれか1項に記載された外観検査方法。
【請求項5】
前記第3補正画像を生成する前記工程では、前記微分処理画像と前記第1補正画像とで対応する位置にある画素毎に、前記微分処理画像の各画素における輝度値と前記第1補正画像の各画素における輝度値とを加算することで前記第3補正画像を生成することを特徴とする請求項4に記載された外観検査方法。
【請求項6】
前記撮像画像を2値化して連結領域を特定し、該連結領域の画素数と閾値とを対比する工程を更に備えることを特徴とする請求項1〜5のいずれか1項に記載された外観検査方法。
【請求項7】
検査対象物の外観検査を行うための外観検査装置であって、
前記検査対象物を照明する照明手段と、
前記照明手段によって照明された前記検査対象物を撮像する撮像手段と、
前記撮像手段によって撮像された撮像画像に含まれる検査対象物画像の外縁に沿う第1の方向に平行な一連の画素からなる第1の画素列毎に該第1の画素列に含まれる前記一連の画素の輝度値の平均を算出すると共に、前記第1の方向と直交する第2の方向に平行な一連の画素からなる第2の画素列毎に該第2の画素列に含まれる前記一連の画素の輝度値の平均を算出することで、前記第1の方向及び前記第2の方向における前記検査対象物画像の平均輝度分布を算出する手段と、
前記検査対象物画像に対して基準となる基準画像を前記平均輝度分布に基づいて生成する手段と、
前記撮像画像と前記基準画像とから第1補正画像を生成する手段と、
ソーベルフィルタにより前記第1補正画像における各画素の輝度値の変化量を算出してソーベル処理画像を生成する手段と、
前記ソーベル処理画像と前記第1補正画像とから第2補正画像を生成する手段と、
前記第2補正画像を2値化して連結領域を特定し、該連結領域の画素数と閾値とを対比する手段とを備えることを特徴とする外観検査装置。
【請求項8】
前記第1補正画像を生成する前記手段は、前記撮像画像と前記基準画像とで対応する位置にある画素毎に、前記撮像画像の各画素における輝度値から前記基準画像の各画素における輝度値を減算することで前記第1補正画像を生成することを特徴とする請求項7に記載された外観検査装置。
【請求項9】
前記第2補正画像を生成する前記手段は、前記第1補正画像と前記ソーベル処理画像とで対応する位置にある画素毎に、前記第1補正画像の各画素における輝度値から前記ソーベル処理画像の各画素における輝度値を減算することで前記第2補正画像を生成することを特徴とする請求項7又は8に記載された外観検査装置。
【請求項10】
微分フィルタにより前記第1補正画像における各画素の輝度値の変化量を算出して微分処理画像を生成する手段と、
前記微分処理画像と前記第1補正画像とから第3補正画像を生成する手段と、
前記第3補正画像を2値化して連結領域を特定し、該連結領域の画素数と閾値とを対比する手段とを更に備えることを特徴とする請求項7〜9のいずれか1項に記載された外観検査装置。
【請求項11】
前記第3補正画像を生成する前記手段は、前記微分処理画像と前記第1補正画像とで対応する位置にある画素毎に、前記微分処理画像の各画素における輝度値と前記第1補正画像の各画素における輝度値とを加算することで前記第3補正画像を生成することを特徴とする請求項10に記載された外観検査装置。
【請求項12】
前記撮像画像を2値化して連結領域を特定し、該連結領域の画素数と閾値とを対比する工程を更に備えることを特徴とする請求項7〜11のいずれか1項に記載された外観検査装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2007−78540(P2007−78540A)
【公開日】平成19年3月29日(2007.3.29)
【国際特許分類】
【出願番号】特願2005−267496(P2005−267496)
【出願日】平成17年9月14日(2005.9.14)
【出願人】(000003067)TDK株式会社 (7,238)
【Fターム(参考)】