説明

画像検査方法及び画像検査装置

【課題】被検査画像の良否を精度よく、かつ効率的に検査することができる画像検査方法及び画像検査装置を提供すること。
【解決手段】被検査画像を分割した被検査分割画像ごとのマハラノビス距離が基準空間の第二の基準値よりも大きい場合には(S46:YES)被検査画像を不良と判定し(S54)、第一の基準値よりも小さければ(S47:NO)被検査画像を良と判定する(S53)。信号空間のマハラノビス距離が、第二の基準値よりも小さいが第一の基準値よりも大きい場合には(S47:YES)、その検査分割画像を暫定不良と判定し、その検査分割画像を更に分割して、再度信号空間を作成して、再度良否判定を行う(S49〜S52)。そして、新たに暫定不良を判定された場合には、良又は不良と確定できるまで、S48〜S52の処理を繰り返し実行する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば検査対象とされる製品の欠陥の有無を判定するために、その製品の外観を示した被検査画像の良否の判定を行う画像検査方法及び画像検査装置に関する。
【背景技術】
【0002】
従来、検査対象とされる製品の欠陥の有無を、その製品の外観を撮影して、その撮影画像である被検査画像から判定する方法が知られている。その方法の一つとして、マハラノビス・タグチ法を用いて被検査画像の良否を検査する方法がある。このマハラノビス・タグチ法による画像検査の基本的な進め方は以下の通りである。
【0003】
1)最も正常な状態にある複数の製品画像から、その状態を表す複数の項目に従い特徴量を抽出する。このように、正常品や良品のデータ群を基準空間と呼び、マハラノビス・タグチ法で判定、診断、予測を行う際の基準となる。
2)各項目ごとに算出した特徴量の平均値と標準偏差を用いて各特徴量を規準化する。
3)規準化した特徴量間の全ての相関を算出して、相関行列を作成する。
4)規準化した特徴量と、相関行列の逆行列を用いて、最も正常な状態にある製品の集団である基準空間のマハラノビス距離を算出する。なお、この基準空間のマハラノビス距離の平均値は約1となる。
5)状態が不明である製品画像(被検査画像)に対して、上記と同様の手順を用いて、マハラノビス距離を算出する。
6)予め設定したハマラノビス距離の閾値(良否判定基準値)に基づき、状態が不明な製品の状態を判定する。マハラノビス・タグチ法では、異常の程度が大きくなるほどマハラノビス距離が大きくなるので、基準値よりマハラノビス距離が大きくなる場合、その製品は異常な状態(不良)にあると判定をする。このように、基準空間に属さないもののデータを信号空間と呼び、そのマハラノビス距離の大小で、そのものの状態を判定、診断、予測する。
【0004】
このように、マハラノビス・タグチ法は多変量解析の手法を用いて製品の状態を判定するので、作業員が目視で製品の状態を判定する目視検査と同様に、様々な情報(特徴量)を基にした総合的な判定を行うことができる。そして、その良否を精度よく検査するために、各種方法が提案されている(例えば、特許文献1、2参照)。
【0005】
例えば特許文献1には、被検査画像全体の良否を精度良く検査するために、マハラノビス距離の算出に使用する画像特徴量として、輝度、濃度等の一次パラメータや、一次パラメータの平均値や標準偏差等の二次パラメータではなく、被検査画像全体の輝度分布などの特徴量分布を用いている。これは、被検査画像全体の情報を含んだ特徴量に基づいてマハラノビス距離を算出することにより、被検査画像の一部の特徴量で検査するときよりも、被検査画像全体の良否を精度良く検査できることを狙ったものである。
【0006】
また、特許文献2には、被検査画像を小領域に分割し、各小領域から特徴量を抽出し、抽出した特徴量と所定の特徴量基準値との統計的距離尺度(マハラノビス距離等)を用いて被検査画像の良否を検査する方法であって、分割する小領域の大きさを複数レベル設ける方法が記載されている。これによって、局所的な欠陥だけでなく大域的な欠陥も精度よく検出できることを狙ったものである。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2005−252451号公報
【特許文献2】特開2007−132757号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、特許文献1に記載の方法は、輝度分布を基にマハラノビス距離を算出するため、この方法を製品の外観検査、特に外観の変動が大きい製品中の欠陥や、外観中で特徴量の急峻な変化がある製品中の欠陥の外観検査に使用した場合、欠陥が持つ特徴量がノイズに隠れてしまい、精度良く検査できないという問題点があった。
【0009】
また、特許文献2に記載の方法は、欠陥があるにも関わらず、マハラノビス距離が小さいために欠陥の判定がされない場合があり、そのために、マハラノビス距離による判定の他に第2の判定を追加している。そのために、検査の効率が低下するという問題点があった。
【0010】
本発明は上記問題点に鑑みてなされたものであり、被検査画像の良否を精度よく、かつ効率的に検査することができる画像検査方法及び画像検査装置を提供することを課題とする。
【課題を解決するための手段】
【0011】
上記課題を解決するために、本発明は、被検査画像を複数の画像に分割する分割ステップと、
その分割ステップで分割した画像である被検査分割画像ごとに、マハラノビス距離からなる信号空間を作成する作成ステップと、
前記被検査分割画像ごとに、対応する前記信号空間のマハラノビス距離を、所定の良否判定基準値と比較することによって、前記被検査分割画像ごとで良否判定を行う良否判定ステップと、を含む画像の良否の判定を行う画像検査方法において、
前記良否判定ステップは、前記良否判定として、前記比較結果に応じて、前記被検査分割画像を良/不良と判定する他に、良又は不良と確定しないで前記被検査分割画像に欠陥が存在する可能性があるとする暫定不良と判定するステップであり、
前記暫定不良と判定された前記被検査分割画像があった場合、その被検査分割画像を更に複数の画像に分割する再分割ステップと、
その再分割ステップで分割した画像である暫定不良分割画像の各々に対して、再度、マハラノビス距離からなる信号空間を作成する再作成ステップと、
前記暫定不良分割画像ごとに、対応する前記信号空間のマハラノビス距離を、所定の良否判定基準値と比較することによって、前記暫定不良分割画像ごとで前記良否判定を再度行う再良否判定ステップと、を含み、
その再良否判定ステップにて新たに前記暫定不良と判定された前記暫定不良分割画像があった場合には、良又は不良と確定できるまで、その暫定不良分割画像に対して、前記再分割ステップ、前記再作成ステップ及び前記再良否判定ステップを繰り返し実行することを特徴とする。
【0012】
これによれば、被検査画像を分割した分割画像ごとで良否判定をしているので、欠陥が持つ特徴量がノイズに隠れてしまうことを低減でき精度良く検査するこができる。また、良否判定ステップにおいて、良又は不良と確定しないで被検査分割画像に欠陥が存在する可能性があるとする暫定不良と判定する場合を設けているので、不良であるにもかかわらず良と判定したり、良であるにもかかわらず不良であると判定したりする誤判定を防止できる。そして、暫定不良と判定された場合には、その判定された分割画像について、良又は不良と確定できるまで、小さなサイズに画像を分割して良否判定を繰り返し行っているので、元の画像サイズでの良否判定のときよりも、精度良く良否判定をすることができる。また、暫定不良と判定された分割画像について、再分割をして良否判定を再度行っているので、被検査分割画像のサイズを当初から小さなサイズにする必要がない。さらに、マハラノビス距離で精度良く良否判定ができるので、マハラノビス距離による判定の他に第2の判定を追加する必要がない。そのため、被検査画像の良否を効率良く検査することができる。
【0013】
また、本発明の画像検査方法において、前記良否判定基準値として、第一の基準値とその第一の基準値よりも大きな第二の基準値の2つの基準値が、前記被検査分割画像及び前記暫定不良分割画像ごとに設けられ、
前記良否判定ステップ及び前記再良否判定ステップは、前記良否判定の対象となる分割画像のマハラノビス距離が、対応する前記第一の基準値よりも小さい場合にはその分割画像は良として判定し、その分割画像のマハラノビス距離が、対応する前記第二の基準値よりも大きい場合にはその分割画像は不良として判定し、その分割画像のマハラノビス距離が、前記第一の基準値よりも大きく前記第二の基準値よりも小さい場合には、その分割画像は前記暫定不良として判定するステップである。
【0014】
このように、2つの基準値を設けることによって、分割画像の良、不良の他に、暫定不良も判定することができる。そして、その2つの基準値は、被検査分割画像及び暫定不良分割画像ごとに設けられているので、それら分割画像ごとで、正確に、良否判定をすることができる。
【0015】
また、本発明の画像検査方法において、前記被検査分割画像及び前記暫定不良分割画像の各々に対して、それら分割画像と同じサイズ、同じ位置で分割された良品画像の分割画像のマハラノビス距離からなる、前記良否判定基準値の元となる基準空間が予め作成される。
【0016】
このように、良否判定基準値は、各被検査分割画像及び各暫定不良分割画像と同じサイズ、同じ位置で分割された良品画像の分割画像のマハラノビス距離からなる基準空間に基づくものであるので、正確に、良否判定をすることができる。そして、その基準空間は予め作成されているので、効率的に良否判定をすることができる。
【0017】
また、本発明の画像検査方法において、前記基準空間として、複数の良品画像間で同じ位置にある分割画像ごとにマハラノビス距離が算出され、
前記良否判定基準値は、それらマハラノビス距離のうちの最大値を基準として定められる。
【0018】
このように、基準空間は、複数の良品画像間で同じ位置にある分割画像から作成され、良否判定基準値は、基準空間のマハラノビス距離のうちの最大値を基準として定められるので、一層精度良く良否判定をすることができる。
【0019】
本発明は、被検査画像を複数の画像に分割する分割手段と、
その分割手段が分割した画像である被検査分割画像ごとに、マハラノビス距離からなる信号空間を作成する作成手段と、
前記被検査分割画像ごとに、対応する前記信号空間のマハラノビス距離を、所定の良否判定基準値と比較することによって、前記被検査分割画像ごとで良否判定を行う良否判定手段と、を備える画像の良否の判定を行う画像検査装置において、
前記良否判定手段は、前記良否判定として、前記比較結果に応じて、前記被検査分割画像を良/不良と判定する他に、良又は不良と確定しないで前記被検査分割画像に欠陥が存在する可能性があるとする暫定不良と判定するものであり、
前記暫定不良と判定された前記被検査分割画像があった場合、その被検査分割画像を更に複数の画像に分割する再分割手段と、
その再分割手段が分割した画像である暫定不良分割画像の各々に対して、再度、マハラノビス距離からなる信号空間を作成する再作成手段と、
前記暫定不良分割画像ごとに、対応する前記信号空間のマハラノビス距離を、所定の良否判定基準値と比較することによって、前記暫定不良分割画像ごとで前記良否判定を再度行う再良否判定手段と、を備え、
その再良否判定手段にて新たに前記暫定不良と判定された前記暫定不良分割画像があった場合には、良又は不良と確定できるまで、その暫定不良分割画像に対して、前記再分割手段、前記再作成手段及び前記再良否判定手段による処理を繰り返し実行することを特徴とする。
【0020】
これによれば、本発明の画像検査方法と同じ効果が得られる。
【図面の簡単な説明】
【0021】
【図1】画像検査装置1の外観図である。
【図2】ワーク4の表面を示した図である。
【図3】基準空間を作成するための一般的なフローチャートである。
【図4】被検査画像のマハラノビス距離を算出し、良否判定を行うための一般的なフローチャートである。
【図5】基準空間を作成するための詳細なフローチャートである。
【図6】良品画像41の分割方法を説明するための図である。
【図7】複数の良品画像41間で同じ位置にある良品分割画像411を示した図である。
【図8】被検査画像のマハラノビス距離を算出し、良否判定を行うための詳細なフローチャートである。
【図9】被検査画像の例示として、被検査画像42〜44を示した図である。
【図10】誤差81が含まれている被検査分割画像431(1)、暫定不良分割画像431(1−1)を更に分割したことを示した図である。
【図11】小さな欠陥72が含まれている被検査分割画像441(5)を更に分割したことを示した図である。
【発明を実施するための形態】
【0022】
以下、図面を参照しつつ、この発明の実施の最良形態につき説明する。図1に、本発明の画像検査装置1の外観図を示す。その画像検査装置1は、図1に示すワーク4の欠陥の有無を判定して、ワーク4の良否判定をする装置である。その画像検査装置1は、図1に示すように、カメラ2、照明3、電子計算機5及び表示装置6を備えている。
【0023】
カメラ2はワーク4の外観を撮像するものであり、CCDカメラ、CMOSカメラ、アナログカメラなどを使用することができる。この例では、カメラ2として、CCDカメラを使用している。
【0024】
照明3は、カメラ2によりワーク4の外観を撮像する際に、ワーク4の撮像箇所の明るさを調整するものであり、ファイーバー照明、LED照明、リング照明、同軸落射照明などを使用することができる。この例では、照明3として、LEDリング照明を使用している。カメラ2で撮像された画像データは、電子計算機5に送られ、電子計算機5でデータ処理を施した後に良否判定が行われ、その結果が表示装置6に表示される。
【0025】
一方、ワーク4は検査対象となる製品である。この例では、ワーク4は切削加工した金属部品であり、ワーク4表面にある、傷、バリ、異物などの欠陥の有無を検査するものである。図2は、ワーク4の表面を示した図である。図2に示すように、ここで例示する検査対象ワーク4は様々な特徴450(例えば、模様、形状)を持った部位が外観中に存在する。そのため、外観中でその特徴450で示される特徴量の急峻な変化があるワークである。
【0026】
そして、画像検査装置1は、ワーク4の良否判定を、マハラノビス・タグチ法を用いて判定する。ここで、図3、図4に、マハラノビス・タグチ法を用いて判定する方法を示した一般的なフローチャートを示す。図3は、最も正常な状態にある複数の製品画像、つまり出現頻度が最も高くなる良品画像群のマハラノビス距離を算出する、つまり基準空間を作成するためのフローチャートである。まず、良品の原画像を入力して、必要に応じて、入力した画像に対してフィルタリングやエッジ強調などの画像処理を施す(S11)。そして、入力画像を分割して後(S12)、各分割画像から特徴量を抽出し(S13)、複数の画像間で同じ位置にある分割画像ごとにマハラノビス距離を算出する(S14)。
【0027】
一方図4は、被検査画像のマハラノビス距離を算出し、良否判定を行うためのフローチャートである。まず、検査品の被検査画像を入力して、必要に応じて、入力した画像に対してフィルタリングやエッジ強調などの画像処理を施し、欠陥を検出しやすくする(S21)。そして、被検査画像を分割して(S22)、各分割画像から特徴量を抽出(S23)、マハラノビス距離を算出する(S24)。算出されたマハラノビス距離を良否判定の基準値と比較し(S25)、算出されたマハラノビス距離が基準値よりも小さければ良品と判定し、結果を表示装置6に表示をする(S26)。その後、図4のフローチャートの処理を終了する。一方、算出されたマハラノビス距離が基準値よりも大きければ不良品と判定し、欠陥が存在する位置を特定して、その情報を電子計算機5の記憶装置(不図示)に格納すると共に、結果を表示装置6に表示する(S27)。その後、図4のフローチャートの処理を終了する。
【0028】
このように、本発明は分割画像ごとで良否判定をするものである。さらに、本発明は、良否判定の基準値を2つ設けて、良又は不良と確定しないで被検査分割画像に欠陥が存在する可能性があるとする暫定不良と判定する場合を設けている。そして、暫定不良と判定された場合には、その判定された分割画像について、良又は不良と確定できるまで、小さなサイズに画像を分割して良否判定を繰り返し行うものである。以下、その詳細を説明する。
【0029】
最初に、図5に示すフローチャート及び図6、図7を参照して、基準空間の作成方法を説明する。先ず、最も正常な状態にある複数のワーク4の製品画像をカメラ2で撮像し、その画像データを電子計算機5の記憶装置(不図示)に格納する(S31)。ここで、最も正常な状態にある製品画像とは、画像検査の場合は、最も出現頻度が高くなる良品群の画像とする。出現頻度が高ければ、ワーク4は、正常、良品である確率が高いといえるからである。また、入力する良品画像の数をして、n個の良品画像を入力している。
【0030】
そして、S31で入力した個々の良品画像に対してフィルタリング、エッジ強調などの画像処理を施す(S32)。ここでは、エッジ強調処理を施している。本来、この画像処理は被検査画像に欠陥がある場合、その欠陥を検出しやすくするためのものであるが、良品、不良品に関わらず、同じ条件下で検査を行う必要があるため、欠陥がないと判っている良品画像に対しても画像処理を施している。
【0031】
次いで、図6に示すように、画像処理を施した個々の良品画像41を、任意の方向に、任意のサイズで分割する(S33)。分割方向は欠陥の発生方向、分割サイズは検出対象となる欠陥のサイズを加味して決めれば良いが、ここでは、420×1320ピクセルの原画像41を、42×1320ピクセルの良品分割画像411(1)〜411(N)に分割する。すなわち、良品画像41を、その縦幅をN分割する。
【0032】
次いで、個々の良品分割画像411(1)〜411(N)に演算処理を施し、予め規定した項目に基づいて特徴量を抽出する(S34)。この項目はワーク4の状態を表している必要があるが、ここでは、各良品分割画像411(1)〜411(N)の輝度波形に対して任意の横線を引いた時に、横線と輝度波形の交点数である微分値、横線よりも上に来る輝度波形の区間総和である積分値、輝度最大値と輝度最小値の差分など、輝度情報をもととした特徴量を使用している。
【0033】
ここで、横線と輝度波形との交点数である微分値は、画像の特徴量の変動の回数の指標とすることができる。すなわち、微分値が大きいほど、画像中に、特徴量が変動する部位が多く含まれているといえる。よって、この微分値を特徴量として用いることにより、特徴量が変動する部位が多く含まれている画像でも、その特徴量が精度よく反映された基準空間や信号空間を作成することができるので、被検査画像の良否を精度良く判定することができると考えられる。
【0034】
また、横線よりも上の輝度波形の区間である積分値は、画像において一定以上の特徴量を有している部位が占める割合の指標とすることができる。すなわち、積分値が大きいほど、画像中に、一定以上の特徴量を有している部位が多く含まれているといえる。よって、この積分値を特徴量として用いることにより、一定以上の特徴量を有している部位が多く含まれている画像でも、その特徴量が精度よく反映された基準空間や信号空間を作成することができるので、被検査画像の良否を精度良く判定することができると考えられる。
【0035】
また、輝度最大値と輝度最小値の差分は、画像中の特徴量の変動の大きさの指標とすることができる。すなわち、輝度最大値と輝度最小値の差分が大きいほど、画像中に特徴量が大きく変動する部位が含まれているといえる。よって、この差分を特徴量として用いることにより、特徴量が大きく変動する部位が含まれている画像でも、その特徴量が精度よく反映された基準空間や信号空間を作成することができるので、被検査画像の良否を精度良く判定することができると考えられる。
【0036】
また、S34において、上記横線の位置を可変として、特徴量を抽出している。これにより、複雑に特徴量が変動する画像でも、その特徴量が精度よく抽出することができる。
【0037】
そして、S34において各良品分割画像411(1)〜411(N)より特徴量Xgijを抽出した結果、表1に示す通りになった。
【0038】
【表1】

【0039】
なお、表1には、n個の良品画像41ごとの、各良品分割画像411(1)〜411(N)の特徴量Xgijを示している。また、抽出した特徴量Xgijの項目はk種類(輝度波形の微分値、輝度波形の積分値、輝度最大値と輝度最小値の差分等)であり、表1には各項目ごとの特徴量Xgijを示している。例えば、良品画像41の画像Noが「b」で、分割画像のNoが「1」、項目Noが「2」の特徴量は、表1に示すように、「Xb12」である。つまり、表1において、特徴量Xgijに付された下付文字のうち、一番左の文字gは良品画像41の画像Noを示し、真ん中の文字iは良品分割画像411のNoを示し、一番右の文字jは項目Noを示している。なお、以下、文字gを良品画像41の画像No、文字iを良品分割画像411のNo、文字jを項目Noとして使用する。
【0040】
次いで、各良品分割画像411(1)〜411(N)のマハラノビス距離を算出して、基本空間を作成する(S35)。具体的には、良品画像41ごとの項目jごとに特徴量Xgijの平均値xgjと標準偏差σgjを算出する。例えば、画像Noがg=「b」の良品画像41で、項目Noがj=「1」の特徴量Xbi1の平均値xgj、標準偏差σgjは、表1の画像No「b」、項目No「1」の特徴量Xb11〜Xbn1を用いて算出する。
【0041】
そして、算出した平均値xgjと標準偏差σgjを下記の式(1)に代入して、特徴量Xgijを規準化する(S35)。
【0042】
【数1】

【0043】
その規準化した特徴量xgijは、表2に示す通りになった。なお、表2では、複数の良品画像41間で同じ位置にある分割画像411(1)〜411(N)ごとに規準化した特徴量xgijを並べている。
【0044】
【表2】

【0045】
例えば、各良品画像41の分割画像Noが「1」で、項目「1」の特徴量xgijは、表2に示すように、xa11、xb11、・・・、xn11となる。
【0046】
そして、図7に示すように複数の良品画像41間で同じ位置にある良品分割画像411(1)〜411(N)ごとに、下記の式(2)により、項目pと項目qの相関係数rpqを算出する(S35)。そして、その相関係数rpqを下記式(3)のように、行列化して相関係数行列Rを算出する(S35)。
【0047】
【数2】

【0048】
【数3】

【0049】
例えば、良品分割画像411(1)における項目1(p=1)と項目2(q=2)の相関係数r12は、上記式(2)より、下記式(4)により算出することになる。つまり、この場合、表2の分割画像No「1」で、項目No「1」、「2」の特徴量xgijを用いて相関係数r12を算出することになる。
【0050】
【数4】

【0051】
このように、良品分割画像411(1)〜411(N)ごとで相関係数rpqを算出して、良品分割画像411(1)〜411(N)ごとで式(3)に示す相関係数行列Rを算出する。そして、下記式(5)のような良品分割画像411(i)ごとの相関係数行列Rの逆行列Aを算出する。
【0052】
【数5】

【0053】
そして、下記の式(6)により、i番目の良品分割画像411(i)の、g番目の良品画像41のマハラノビス距離MDigを算出する。
【0054】
【数6】

【0055】
そして、式6により、全ての良品画像41の全ての良品分割画像411に対してマハラノビス距離MDigを算出する(S35)。全ての良品分割画像411に対してマハラノビス距離MDigを算出した結果、ここでは表3に示す通りになった。なお、表3には、各良品分割画像411におけるマハラノビス距離MDigの最大値も示しており、例えば、良品分割画像411(1)のマハラノビス距離MDigの最大値は「1.1」となっている。
【0056】
【表3】

【0057】
次いで、S35で算出したマハラノビス距離MDigに基づいて、被検査画像の良否判定の基準となるマハラノビス距離基準値(良品判定基準値)を良品分割画像411ごとで設定する(S36)。この際、マハラノビス距離基準値として、良品分割画像411ごとで2つの基準値(第一の基準値と第二の基準値)を設定する。具体的には、各良品分割画像411におけるマハラノビス距離MDigの最大値を基準に、第一の基準値を設定するとともに、その第一の基準値よりも大きな第二の基準値を設定する。ここでは、下記表4に示すように、第一の基準値=マハラノビス距離MDigの最大値(表3参照)+0.3、第二の基準値=第一の基準値+0.2となるように設定した。
【0058】
【表4】

【0059】
続いて、再度、上記ステップS33を実行して、良品画像41を、42×1320ピクセルと異なる他のサイズ(21×1320ピクセル、7×1320ピクセル、・・・)に分割する。そして、分割した他のサイズの各良品分割画像に対して、上記ステップS34〜S36の処理を実行して、良品分割画像ごとに第一、第二の基準値を設定する。すなわち、ステップS33〜S36の処理を繰り返して、各種サイズごとに、良品分割画像ごとの第一、第二の基準値を設定する。その後、設定した第一、第二の基準値を電子計算機5の記憶装置(不図示)に格納し、図5のフローチャートの処理を終了する。
【0060】
次に、被検査画像のマハラノビス距離を算出して良否判定をする方法を説明する。ここで、図8は、被検査画像の良否判定をするときの電子計算機5が実行する処理を示したフローチャートである。この、被検査画像のマハラノビス距離を算出する方法は、入力画像は一つである点と、規準化に用いる項目ごとの平均値、標準偏差と、マハラノビス距離の算出に用いる相関係数行列Rの逆行列Aは基準空間作成時の値を使用する点を除いては、基準空間の作成方法と同様である。この点を踏まえて、以下、図8のフローチャートを参照して、被検査画像の良否判定の方法を説明する。
【0061】
先ず、検査対象のワーク4の製品画像を被検査画像としてカメラ2で撮像し、その画像データを電子計算機5の記憶装置(不図示)に格納する(S41)。そして、S41で入力した被検査画像に対してフィルタリング、エッジ強調などの画像処理を施す(S42)。
【0062】
次いで、画像処理を施した被検査画像を、良品画像41と同じ方向に、同じサイズで分割する(S43)。ここで、先に説明した図5のS33では、良品画像41は複数のサイズに分割していたが、このS43では、そのサイズのうちの最も大きなサイズ、すなわち42×1320ピクセルのサイズで、被検査画像を分割する。なお、ステップS43が本発明の「分割ステップ」に相当し、ステップS43を実行する電子計算機5が本発明の「分割手段」に相当する。
【0063】
次いで、個々の被検査分割画像に演算処理を施し、基準空間を作成したときと同じ項目に基づいて特徴量Yijを抽出する(S44)。つまり、被検査分割画像の輝度波形に対して任意の横線を引いた時に、横線と輝度波形の交点数である微分値、横線よりも上に来る輝度波形の区間総和である積分値、輝度最大値と輝度最小値の差分など、輝度情報をもととした特徴量Yijを抽出する。
【0064】
次いで、基準空間を作成したときと同じ方法(S35)で、各被検査分割画像のマハラノビス距離を算出して、信号空間を作成する(S45)。具体的には、下記の式(7)により、被検査分割画像ごとの項目jごとの特徴量Yijを規準化(被検査規準特徴量)する(S45)。この際、基準空間を作成したときの平均値xと標準偏差σを使用する。
【0065】
【数7】

【0066】
そして、下記の式(8)により、i番目の被検査分割画像のマハラノビス距離MD‘を算出する。この際、相関係数行列Rの逆行列Aは、基準空間を作成したときのものを使用する。
【0067】
【数8】

【0068】
なお、ステップS44及びS45が本発明の「作成ステップ」に相当する。また、ステップS44及びS45を実行する電子計算機5が本発明の「作成手段」に相当する。
【0069】
次いで、算出されたマハラノビス距離MD‘ごとに、被検査分割画像と同一サイズに対応する良否判定の基準値のうち、各被検査分割画像に対応する第二の基準値より大きいか否かを判断する(S46)。すなわち、被検査分割画像のサイズは、42×1320ピクセルであるので、表4の第二の基準値を用いる。そして、例えば、分割画像Noが「1」の被検査分割画像に対しては、そのマハラノビス距離MD‘と表4の分割画像No.1の第二の基準値「1.6」とを比較する。
【0070】
ここで、算出されたマハラノビス距離MD‘が一つでも第二の基準値よりも大きければ(S46:YES)、不良品と判定し、欠陥が存在する位置を特定して、その情報を電子計算機5の記憶装置(不図示)に格納すると共に、結果を表示装置6に表示する(S54)。その後、図8のフローチャートの処理を終了する。
【0071】
一方、マハラノビス距離MD‘が第二の基準値よりも小さければ(S46:NO)、次に、そのマハラノビス距離MD‘が、表4の第一の基準値よりも大きいか否かを判断する(S47)。例えば、分割画像Noが「1」の被検査分割画像に対しては、そのマハラノビス距離MD‘と表4の分割画像No.1の第一の基準値「1.4」とを比較する。そして、全ての被検査分割画像において、マハラノビス距離MD‘が第一の基準値よりも小さければ(S47:NO)、被検査画像は良品と判定し、結果を表示装置6に表示をする(S53)。その後、図8のフローチャートの処理を終了する。なお、ステップS46及びS47が本発明の「良否判定ステップ」に相当し、ステップS46及びS47を実行する電子計算機5が本発明の「良否判定手段」に相当する。
【0072】
一方、マハラノビス距離MD‘が一つでも第一の基準値よりも大きければ(S47:YES)、そのマハラノビス距離MD‘の被検査分割画像は、欠陥が存在する可能性があるとする暫定不良と判定して、ステップS48以下の処理を実行する。すなわち、先ず、その被検査分割画像を更に小さなサイズの分割画像に分割する(S48)。具体的には、予め作成された基準空間の良品分割画像と複数種類のサイズのうち、元の42×1320ピクセルの次に小さなサイズでサイズである21×1320ピクセルの分割画像に分割する(S48)。したがって、被検査分割画像を更に2つの分割画像に分割することになる。なお、ステップS48が本発明の「再分割ステップ」に相当し、ステップS48を実行する電子計算機5が本発明の「再分割手段」に相当する。
【0073】
次いで、新たに分割した分割画像を暫定不良分割画像として、それら暫定不良分割画像ごとに、再度、マハラノビス距離を算出して信号空間を作成する。すなわち、暫定不良分割画像ごとに、先のステップS44と同じようにして、特徴量Yijを再度抽出する(S49)。次いで、先のステップS45と同じようにして、各暫定不良分割画像のマハラノビス距離MD‘を算出して、信号空間を再度作成する(S50)。なお、ステップS49及びS50が本発明の「再作成ステップ」に相当し、ステップS49及びS50を実行する電子計算機5が本発明の「再作成手段」に相当する。
【0074】
次いで、算出されたマハラノビス距離MD‘ごとに、暫定不良分割画像と同一サイズに対応する良否判定の基準値のうち、各暫定不良分割画像に対応する第二の基準値より大きいか否かを判断する(S51)。すなわち、今回の暫定不良分割画像のサイズは21×1320ピクセルであるので、その21×1320ピクセルに対応する第二の基準値のうち、暫定不良分割画像と同じ位置に対応する第二の基準値を用いる。
【0075】
ここで、新たに算出されたマハラノビス距離MD‘が一つでも第二の基準値よりも大きければ(S51:YES)、不良品と判定し、欠陥が存在する位置を特定して、その情報を電子計算機5の記憶装置(不図示)に格納すると共に、結果を表示装置6に表示する(S54)。その後、図8のフローチャートの処理を終了する。
【0076】
一方、新たなマハラノビス距離MD‘が第二の基準値よりも小さければ(S51:NO)、次に、そのマハラノビス距離MD‘が、対応する第一の基準値よりも大きいか否かを判断する(S52)。そして、全ての暫定不良分割画像において、マハラノビス距離MD‘が第一の基準値よりも小さければ(S52:NO)、被検査画像は良品と判定し、結果を表示装置6に表示をする(S53)。その後、図8のフローチャートの処理を終了する。なお、ステップS51及びS52が本発明の「再良否判定ステップ」に相当し、ステップS51及びS52を実行する電子計算機5が本発明の「再良否判定手段」に相当する。
【0077】
一方、マハラノビス距離MD‘が一つでも第一の基準値よりも大きければ(S52:YES)、そのマハラノビス距離MD‘の暫定不良分割画像は、欠陥が存在する可能性があるとする暫定不良と再度判定して、ステップS48に戻って、ステップS48以下の処理を再度実行する。すなわち、その暫定不良分割画像を更に小さなサイズの分割画像に分割する(S48)。具体的には、予め作成された基準空間の良品分割画像と複数種類のサイズのうち、元の21×1320ピクセルの次に小さなサイズでサイズである7×1320ピクセルの分割画像に分割する(S48)。したがって、暫定不良分割画像を更に3つの分割画像に分割することになる。その後、再分割された3つの暫定不良分割画像に対して、マハラノビス距離を再度算出して、再度良否判定を行う(S49〜S52)。
【0078】
そして、新たに算出されたマハラノビス距離MD‘が一つでも第二の基準値よりも大きければ(S51:YES)、不良品と判定し(S54)、全てのマハラノビス距離MD‘が第一の基準値よりも小さければ(S52:NO)、被検査画像は良品と判定する。一方、マハラノビス距離MD‘が一つでも第一の基準値よりも大きければ(S52:YES)、再度、ステップS48〜S52の処理を実行する。すなわち、暫定不良と判定した場合には、その判定した暫定不良分割画像に対して、良又は不良と確定できるまで、小さなサイズに画像を分割して良否判定を繰り返し行う。このようにして、最終的に、被検査画像が良又は不良であるかを判定する。
【0079】
ここで、良否を検査する被検査画像が、図9に示す、被検査画像42〜44の場合の良否判定結果について説明する。図9(a)に示す被検査画像42には、大きな欠陥71が存在しており、不良品である。そして、その欠陥71は、図9(a)に示すように、被検査画像42の被検査分割画像421(1)〜(N)に含まれることとなり、特に、被検査分割画像421(5)に多く含まれるとする。
【0080】
また、図9(b)に示す被検査画像43には、欠陥ではないが、良品画像41には含まれていない誤差81(例えば、被検査品に付着した埃など)が含まれている。したがって、欠陥は含まれていないので、良品と判定されるべきものである。そして、その誤差81は、図9(b)に示すように、被検査画像43の被検査分割画像431(1)〜(N)に含まれることとなり、特に、被検査分割画像431(1)に多く含まれるとする。
【0081】
また、図9(c)に示す被検査画像44には、小さな欠陥72が存在しており、不良品である。そして、その欠陥72は、図9(c)に示すように、被検査画像44の被検査分割画像441(1)〜(N)に含まれることとなり、特に、被検査分割画像441(5)に多く含まれるとする。
【0082】
この被検査画像42〜44に対して、被検査分割画像421、431、441ごとにマハラノビス距離を算出したところ、表5に示す通りとなった。
【0083】
【表5】

【0084】
表5に示すように、被検査画像42では、分割画像No.5内の位置に欠陥71があるため、分割画像No.5のマハラノビス距離が、表4に示す分割画像No.5の第二の基準値2.1よりも大きくなっている。よって、被検査画像42は不良品であると判定された(S46:YES→S54)。
【0085】
一方、被検査画像43は、被検査分割画像431(1)に誤差81が含まれているために、分割画像No.1のマハラノビス距離が、表4の分割画像No.1の第一の基準値1.4よりも大きく、第二の基準値1.6よりも小さくなった。なお、他の被検査分割画像431(2)〜431(N)は、各マハラノビス距離が第一の基準値よりも小さく、良と判定された。よって、被検査分割画像431(1)には欠陥が存在する可能性があるとして暫定不良と判定し(S47:YES)、検査処理を継続した。つまり、図10(a)に示すように、42×1320ピクセルの被検査分割画像431(1)を21×1320ピクセルのサイズの暫定不良分割画像431(1−1)、431(1−2)に分割した(S48)。この際、誤差81は、暫定不良分割画像431(1−1)に含まれることになった。そして、暫定不良分割画像431(1−1)、431(1−2)ごとにマハラノビス距離を算出した(S49、S50)。
【0086】
その結果、暫定不良分割画像431(1−1)のマハラノビス距離が、第一の基準値よりも大きく、第二の基準値よりも小さくなった。なお、暫定不良分割画像431(1−2)は、そのマハラノビス距離が第一の基準値よりも小さく、良と判定された。よって、暫定不良分割画像431(1−1)には欠陥が存在する可能性があるとして暫定不良と判定し(S47:YES)、検査処理をさらに継続した。つまり、図10(b)に示すように、21×1320ピクセルの暫定不良分割画像431(1−1)を7×1320ピクセルのサイズの暫定不良分割画像431(1−1−1)、431(1−1−2)、431(1−1−3)に分割した(S48)。この際、誤差81は、暫定不良分割画像431(1−1−2)に含まれることになった。そして、暫定不良分割画像431(1−1−1)、431(1−1−2)、431(1−1−3)ごとにマハラノビス距離を算出した(S49、S50)。その結果、全ての暫定不良分割画像431(1−1−1)、431(1−1−2)、431(1−1−3)のマハラノビス距離が、第一の基準値以下であったため、この被検査画像43は良品であると判定し検査を終了した。
【0087】
また、被検査画像44は、被検査分割画像441(5)に小さな欠陥72が含まれているために、分割画像No.5のマハラノビス距離が、表4の第一の基準値1.9よりも大きく、第二の基準値2.1よりも小さくなった。なお、他の被検査分割画像441(1)〜441(N)は、各マハラノビス距離が第一の基準値よりも小さく、良と判定された。よって、被検査分割画像441(5)には欠陥が存在する可能性があるとして暫定不良と判定し(S47:YES)、検査処理を継続した。つまり、図11に示すように、42×1320ピクセルの被検査分割画像441(5)を21×1320ピクセルのサイズの暫定不良分割画像441(5−1)、441(5−2)に分割した(S48)。この際、欠陥72は、暫定不良分割画像441(5−1)に含まれることになった。そして、暫定不良分割画像441(5−1)、441(5−2)ごとにマハラノビス距離を算出した(S49、S50)。その結果、暫定不良分割画像441(5−1)のマハラノビス距離が、第二の基準値よりも大きくなったので(S46:YES)、暫定不良分割画像441(5−1)には欠陥があるものとし、被検査画像44は不良であると判定し(S54)、検査を終了した。
【0088】
以上説明したように、本発明では、被検査画像を分割した分割画像ごとで良否判定をしているので、欠陥が持つ特徴量がノイズに隠れてしまうことを低減でき精度良く検査するこができる。また、良否判定において、良又は不良と確定しないで被検査分割画像に欠陥が存在する可能性があるとする暫定不良と判定する場合を設けているので、不良であるにもかかわらず良と判定したり、良であるにもかかわらず不良であると判定したりする誤判定を防止できる。そして、暫定不良と判定された場合には、その判定された分割画像について、良又は不良と確定できるまで、小さなサイズに画像を分割して良否判定を繰り返し行っているので、元の画像サイズでの良否判定のときよりも、精度良く良否判定をすることができる。また、暫定不良と判定された分割画像について、再分割をして良否判定を再度行っているので、被検査分割画像のサイズを当初から小さなサイズにする必要がない。そのため、被検査画像の良否を効率良く検査することができる。
【0089】
また、良否判定基準値として、2つの基準値を設けているので、分割画像の良、不良の他に、暫定不良も判定することができる。そして、その2つの基準値は、被検査分割画像及び暫定不良分割画像ごとに設けられているので、それら分割画像ごとで、正確に、良否判定をすることができる。
【0090】
また、基準空間は予め作成されているので、効率的に良否判定をすることができる。そして、その基準空間は、複数の良品画像間で同じ位置にある分割画像から作成され、良否判定基準値は、基準空間のマハラノビス距離のうちの最大値を基準として定められるので、一層精度良く良否判定をすることができる。
【0091】
なお、本発明の画像検査装置、画像検査方法は上記実施形態に限定されず、特許請求の範囲の記載を逸脱しない範囲で種々変形することができる。例えば、良品画像や被検査画像を分割する画像サイズは、上記実施形態に限定されるわけではなく、製品の特徴量や、想定される欠陥の種類、大きさ等を考慮して、適宜設定することができる。また、第一の基準値、第二の基準値も上記実施形態には限定されず、品質の要求レベル等を考慮して適宜設定することができる。例えば、高い品質の要求する場合には、第一、第二の基準値を小さくする。
【0092】
また、マハラノビス・タグチ法では項目選択と呼ばれる方法があり、本発明にこの方法を適用して、検査精度に寄与する項目を選択するようにしてもよい。これにより、より一層、検査精度を向上できる。なお、この項目選択は、品質工学の考え方であるSN比(機能がばらつかない程度)に基づいて、検査精度に寄与する項目を選択するものである。項目選択の基本的な進め方は以下の通りである。
【0093】
1)予め規定した複数の項目を、水準1:項目を使用する、水準2:項目を使用しないとして直交表に割付ける。
2)直交表の各条件に基づいて、被検査画像から特徴量を抽出する。
3)抽出した特徴量から、直交表の各条件のマハラノビス距離を算出する。
4)算出したマハラノビス距離から、各項目のSN比を算出する。
5)水準2のSN比よりも、水準1のSN比の方が大きくなる項目を、検査精度に寄与する項目として選択する。必要に応じて(検査仕様に合わせて)選択した項目の中から、さらに項目を選択する。
【符号の説明】
【0094】
1 画像検査装置
2 カメラ
3 照明
4 ワーク
5 電子計算機
6 表示装置
41 良品画像
411 良品分割画像
42、43、44 被検査画像
421、431、441 被検査分割画像
431(1−1)、431(1−2)、431(1−1−1)、431(1−1−2)、431(1−1−3)、441(5−1)、441(5−2) 暫定不良分割画像
71、72 欠陥
81 誤差
S43 分割ステップ、分割手段
S44、S45 作成ステップ、作成手段
S46、S47 良否判定ステップ、良否判定手段
S48 再分割ステップ、再分割手段
S49、S50 再作成ステップ、再作成手段
S51、S52 再良否判定ステップ、再良否判定手段

【特許請求の範囲】
【請求項1】
被検査画像を複数の画像に分割する分割ステップと、
その分割ステップで分割した画像である被検査分割画像ごとに、マハラノビス距離からなる信号空間を作成する作成ステップと、
前記被検査分割画像ごとに、対応する前記信号空間のマハラノビス距離を、所定の良否判定基準値と比較することによって、前記被検査分割画像ごとで良否判定を行う良否判定ステップと、を含む画像の良否の判定を行う画像検査方法において、
前記良否判定ステップは、前記良否判定として、前記比較結果に応じて、前記被検査分割画像を良/不良と判定する他に、良又は不良と確定しないで前記被検査分割画像に欠陥が存在する可能性があるとする暫定不良と判定するステップであり、
前記暫定不良と判定された前記被検査分割画像があった場合、その被検査分割画像を更に複数の画像に分割する再分割ステップと、
その再分割ステップで分割した画像である暫定不良分割画像の各々に対して、再度、マハラノビス距離からなる信号空間を作成する再作成ステップと、
前記暫定不良分割画像ごとに、対応する前記信号空間のマハラノビス距離を、所定の良否判定基準値と比較することによって、前記暫定不良分割画像ごとで前記良否判定を再度行う再良否判定ステップと、を含み、
その再良否判定ステップにて新たに前記暫定不良と判定された前記暫定不良分割画像があった場合には、良又は不良と確定できるまで、その暫定不良分割画像に対して、前記再分割ステップ、前記再作成ステップ及び前記再良否判定ステップを繰り返し実行することを特徴とする画像検査方法。
【請求項2】
前記良否判定基準値として、第一の基準値とその第一の基準値よりも大きな第二の基準値の2つの基準値が、前記被検査分割画像及び前記暫定不良分割画像ごとに設けられ、
前記良否判定ステップ及び前記再良否判定ステップは、前記良否判定の対象となる分割画像のマハラノビス距離が、対応する前記第一の基準値よりも小さい場合にはその分割画像は良として判定し、その分割画像のマハラノビス距離が、対応する前記第二の基準値よりも大きい場合にはその分割画像は不良として判定し、その分割画像のマハラノビス距離が、前記第一の基準値よりも大きく前記第二の基準値よりも小さい場合には、その分割画像は前記暫定不良として判定するステップであることを特徴とする請求項1に記載の画像検査方法。
【請求項3】
前記被検査分割画像及び前記暫定不良分割画像の各々に対して、それら分割画像と同じサイズ、同じ位置で分割された良品画像の分割画像のマハラノビス距離からなる、前記良否判定基準値の元となる基準空間が予め作成されたことを特徴とする請求項1又は2に記載の画像検査方法。
【請求項4】
前記基準空間として、複数の良品画像間で同じ位置にある分割画像ごとにマハラノビス距離が算出され、
前記良否判定基準値は、それらマハラノビス距離のうちの最大値を基準として定められることを特徴とする請求項3に記載の画像検査方法。
【請求項5】
被検査画像を複数の画像に分割する分割手段と、
その分割手段が分割した画像である被検査分割画像ごとに、マハラノビス距離からなる信号空間を作成する作成手段と、
前記被検査分割画像ごとに、対応する前記信号空間のマハラノビス距離を、所定の良否判定基準値と比較することによって、前記被検査分割画像ごとで良否判定を行う良否判定手段と、を備える画像の良否の判定を行う画像検査装置において、
前記良否判定手段は、前記良否判定として、前記比較結果に応じて、前記被検査分割画像を良/不良と判定する他に、良又は不良と確定しないで前記被検査分割画像に欠陥が存在する可能性があるとする暫定不良と判定するものであり、
前記暫定不良と判定された前記被検査分割画像があった場合、その被検査分割画像を更に複数の画像に分割する再分割手段と、
その再分割手段が分割した画像である暫定不良分割画像の各々に対して、再度、マハラノビス距離からなる信号空間を作成する再作成手段と、
前記暫定不良分割画像ごとに、対応する前記信号空間のマハラノビス距離を、所定の良否判定基準値と比較することによって、前記暫定不良分割画像ごとで前記良否判定を再度行う再良否判定手段と、を備え、
その再良否判定手段にて新たに前記暫定不良と判定された前記暫定不良分割画像があった場合には、良又は不良と確定できるまで、その暫定不良分割画像に対して、前記再分割手段、前記再作成手段及び前記再良否判定手段による処理を繰り返し実行することを特徴とする画像検査装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2011−58926(P2011−58926A)
【公開日】平成23年3月24日(2011.3.24)
【国際特許分類】
【出願番号】特願2009−208135(P2009−208135)
【出願日】平成21年9月9日(2009.9.9)
【出願人】(000006932)リコーエレメックス株式会社 (708)
【Fターム(参考)】