画像検査方法及び画像検査装置
【課題】マハラノビス距離を用いて被検査製品の画像の良否検査を行う画像検査方法、画像検査装置において、正常製品群の分布を考慮した検査を行うことができるようにする。
【解決手段】電子計算機は、外観が正常な状態にある複数の正常製品の画像をそれぞれ、被検査製品の画像の良否を判定するための基準となる基準画像の候補画像として取得する（Ｓ３１）。次いで、各候補画像から所定の特徴量を抽出する（Ｓ３２）。次いで、抽出した特徴量に基づいて、複数の候補画像を分類する（Ｓ３３）。次いで、分類した複数の候補画像の分布に基づいて、複数の候補画像の一部を基準画像の群として選定する（Ｓ３４）。そして、選定した基準画像の群に基づいて、マハラノビス距離からなる基準空間を作成し、被検査製品の画像の良否判定の閾値を決定する（Ｓ３５、Ｓ３６）。
【解決手段】電子計算機は、外観が正常な状態にある複数の正常製品の画像をそれぞれ、被検査製品の画像の良否を判定するための基準となる基準画像の候補画像として取得する（Ｓ３１）。次いで、各候補画像から所定の特徴量を抽出する（Ｓ３２）。次いで、抽出した特徴量に基づいて、複数の候補画像を分類する（Ｓ３３）。次いで、分類した複数の候補画像の分布に基づいて、複数の候補画像の一部を基準画像の群として選定する（Ｓ３４）。そして、選定した基準画像の群に基づいて、マハラノビス距離からなる基準空間を作成し、被検査製品の画像の良否判定の閾値を決定する（Ｓ３５、Ｓ３６）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検査対象とされる被検査製品の欠陥の有無を判定するために、その被検査製品の外観を示した画像の良否の検査を行う画像検査方法及び画像検査装置に関する。
【背景技術】
【０００２】
従来、検査対象とされる被検査製品の外観検査をする場合がある。ここで、検査員が、目視によって行っていたその外観検査（目視検査）を自動化することを考える。この場合、検査員が被検査製品の外観から得ている情報が多岐に渡り、これらの情報を総合的に判断して検査員が検査している場合など、その自動化のための検査基準値を決めるのが困難な場合がある。そこで、従来、多変量解析（多くの情報を一つの尺度に集約する解析手法）の一種であるＭＴ法（マハラノビス・タグチ法）を活用した検査方法が知られている。
【０００３】
このＭＴ法は、多数の情報をマハラノビス距離という一つの尺度に集約し、このマハラノビス距離の大小によって、良否を判定する方法である。つまり、正常な状態にある正常製品群の画像から特徴量（情報）を抽出して、基準となるマハラノビス距離を算出する（基準空間を作るとも言い、基準空間のマハラノビス距離は平均で約１となる）。次いで、検査対象となる被検査製品の画像のマハラノビス距離を算出する。そして、このマハラノビス距離が、基準となるマハラノビス距離から離れるほど、その被検査製品は異常な状態にあると判定をする。
【０００４】
また、特許文献１には、マハラノビス距離を利用したパターン認識における異常原因診断を、少ない計算処理によって実現する方法が開示されている。具体的には、診断対象の定常状態から基準空間を求めるステップと、診断しようとする対象から特徴量を抽出してマハラノビス距離を求めるステップと、予め設定した閾値とマハラノビス距離とを比較するステップと、マハラノビス距離が閾値よりも大きい場合に、距離要素値を特定するステップと、特定した距離要素値に対応する特徴量を、基準データの特徴量の平均値で置換するステップと、置換した特徴量を用いて新たにマハラノビス距離を求めるステップとを含み、新たに求めたマハラノビス距離が閾値以下になるまで、上述のステップを繰り返すというものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２２７２７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、ＭＴ法による検査の基準となるマハラノビス距離が検査精度に大きな影響を与えるにも関わらず、今までの方法では、このマハラノビス距離を求めるための、正常な状態にある正常製品群の選び方が不明確であった。つまり、正常な状態にある正常製品群もその状態により分布を持つものであるが、従来ではその分布が考慮されていなかった。そのため、正常製品群の分布における最頻値の正常製品ばかりで基準空間を作ってしまい、その結果、過度に不良と検出してしまう過検出が増えてしまうなど、検査精度に悪影響を与える場合があった。
【０００７】
この点、特許文献１には、基準空間を求めるステップとしては、現象の定常的な状態を表す基準データを適当な数量収集し、これらから特徴量を定め、これらの特徴量から基準空間を求めるとしか書かれていない。つまり、特許文献１に開示の発明も、正常な状態にある正常製品群の分布が考慮されていないため、検査精度に悪影響を与える場合があるという問題を解消するものではない。
【０００８】
本発明は上記問題点に鑑みてなされたものであり、正常製品群の分布を考慮した画像検査方法及び画像検査装置を提供することを課題とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明は、コンピュータによって処理される、被検査製品の画像の良否検査を行う画像検査方法であって、
外観が正常な状態にある複数の正常製品の画像をそれぞれ、前記被検査製品の画像の良否を判定するための基準となる基準画像の候補画像として取得する取得ステップと、
その取得ステップで取得した各候補画像から所定の特徴量を抽出する抽出ステップと、
その抽出ステップで抽出した前記特徴量に基づいて、前記複数の候補画像を分類する分類ステップと、
その分類ステップで分類した前記複数の候補画像の分布に基づいて、前記複数の候補画像の一部を前記基準画像の群として選定する選定ステップと、
その選定ステップで選定した前記基準画像の群における各基準画像のマハラノビス距離からなる基準空間を作成する作成ステップと、
その作成ステップで作成した前記基準空間のマハラノビス距離に基づいて、前記被検査製品の画像のマハラノビス距離と比較される、前記被検査製品の画像の良否判定の閾値を決定する閾値決定ステップと、を含むことを特徴とする。
【００１０】
これによれば、複数の正常製品の画像の全てが一律に基準画像とされるわけではなく、先ず、取得ステップにおいて、各正常製品の画像が、基準画像の候補画像として取得される。次いで、抽出ステップにおいて、各候補画像の特徴量が抽出される。次いで、分類ステップにおいて、各候補画像の特徴量に基づいて、複数の正常製品の画像（候補画像）が分類される。このように、複数の候補画像（正常製品の画像）を分類することで、候補画像の分布を得ることができる。次いで、選定ステップにおいて、分類された候補画像の分布に基づいて、複数の候補画像の一部が基準画像の群として選定される。これによって、正常製品群の分布を考慮した適切な基準画像を得ることができる。そして、作成ステップ、閾値決定ステップにおいて、選定された基準画像に基づいて基準空間が作成され、その基準空間に基づいて被検査製品の画像の良否判定の閾値が決定されるので、正常製品群の分布を考慮した検査を行うことができる。よって、検査精度を向上できる。
【００１１】
また、本発明の画像検査方法において、前記所定の特徴量は、実際の検査で用いる特徴量として予め定められた特徴量と同じであるとするのが望ましい。
【００１２】
これによって、実際の検査内容に即した候補画像の分類を行うことができる。よって、より一層、検査精度を向上できる。
【００１３】
また、本発明の画像検査方法において、前記分類ステップは、前記抽出ステップで抽出した前記特徴量に基づいて前記候補画像のマハラノビス距離を算出し、そのマハラノビス距離に基づいて前記複数の候補画像を分類するステップである。
【００１４】
これによれば、マハラノビス距離に基づいて分類するので、分類に用いる特徴量が多数あったとしても、より簡便に分類することができる。
【００１５】
また、本発明は、コンピュータによって処理される、被検査製品の画像の良否検査を行う画像検査方法であって、
検査員が、目視によって、外観が正常な状態にある複数の正常製品を各正常製品の状態に応じて分類し、
その分類された前記正常製品の分布に基づいて、前記複数の正常製品の一部が、前記被検査製品の画像の良否を判定するための基準となる基準画像の群として選定されたとして、
その選定された前記基準画像の群を取得する取得ステップと、
その取得ステップで取得した前記基準画像の群における各基準画像のマハラノビス距離からなる基準空間を作成する作成ステップと、
その作成ステップで作成した前記基準空間のマハラノビス距離に基づいて、前記被検査製品の画像のマハラノビス距離と比較される、前記被検査製品の画像の良否判定の閾値を決定する閾値決定ステップと、を含むことを特徴とする。
【００１６】
これによれば、画像検査方法が実行される前提として、検査員が目視によって、複数の候補画像（正常製品の画像）の分類を行うので、実際の検査内容に即した分類を行うことができる。そして、取得ステップでは、その分類された複数の候補画像の分布に基づいて選定された基準画像の群が取得される。作成ステップ、閾値決定ステップでは、その基準画像に基づいて基準空間が作成され、その基準空間に基づいて被検査製品の画像の良否判定の閾値が決定される。よって、正常製品群の分布を考慮した検査を行うことができるので、検査精度を向上できる。
【００１７】
また、本発明は、被検査製品の画像の良否検査を行う画像検査装置であって、
外観が正常な状態にある複数の正常製品の画像をそれぞれ、前記被検査製品の画像の良否を判定するための基準となる基準画像の候補画像として取得する取得手段と、
その取得手段によって取得された各候補画像から所定の特徴量を抽出する抽出手段と、
その抽出手段によって抽出された前記特徴量に基づいて、前記複数の候補画像を分類する分類手段と、
その分類手段によって分類された前記複数の候補画像の分布に基づいて、前記複数の候補画像の一部を前記基準画像の群として選定する選定手段と、
その選定手段によって選定された前記基準画像の群における各基準画像のマハラノビス距離からなる基準空間を作成する作成手段と、
その作成手段によって作成された前記基準空間のマハラノビス距離に基づいて、前記被検査製品の画像のマハラノビス距離と比較される、前記被検査製品の画像の良否判定の閾値を決定する閾値決定手段と、を備えることを特徴とする。
【００１８】
これにより、上記画像検査方法と同様に、正常製品群の分布を考慮した検査を行うことができるので、検査精度を向上できる。
【図面の簡単な説明】
【００１９】
【図１】画像検査装置１０の全体構成を示す図である。
【図２】基準空間を作成するときの手順を示したフローチャートである。
【図３】ワーク画像４０１の輝度波形を説明するための図である。
【図４】微分値や積分値を算出する際に輝度波形に引く横線の引き方を例示した図である。
【図５】輝度波形から微分値や積分値を算出する方法を説明する図である。
【図６】被検査画像の良否を判定するときの手順を示したフローチャートである。
【図７】図２のフローチャートに代えて実行される、基準空間を作成するときの手順を示したフローチャートである。
【図８】候補画像の分類結果を棒グラフとして表した図である。
【図９】候補画像の分布の最頻値の候補画像を中心に基準画像の群を選定する場合を説明する図である。
【図１０】候補画像の分布全体から、基準画像の群を選定する場合を説明する図である。
【図１１】第二実施形態における、基準空間を作成するときの手順を示したフローチャートである。
【発明を実施するための形態】
【００２０】
（第一実施形態）
以下、図面を参照しつつ、この発明の第一実施形態について説明する。図１は本発明の形態にかかる画像検査装置１０の全体構成を示す図である。画像検査装置１０は、検査対象であるワーク２０の外観を撮影し、得られた画像データに基づいて検査を行う。ワーク２０は、例えば切削加工した金属部品であり、ワーク２０の表面にある、傷、バリ、異物などの欠陥の検査を要するものである。画像検査装置１０は、このワーク２０を被検査製品とし、その欠陥の有無の検査を行う。
【００２１】
画像検査装置１０は、カメラ１２と、照明１３と、電子計算機１４と、表示装置１５とを備えている。カメラ１２は、ワーク２０の外観を撮影し、ワーク２０の画像データである被検査画像を得る。カメラ１２は、具体的にはＣＣＤカメラである。なお、他の例としては、カメラ１２として、ＣＭＯＳカメラ、アナログカメラなどを使用してもよい。照明１３は、カメラ１２によりワーク２０の外観を撮像する際に、ワーク２０の撮像箇所の明るさを調整する。照明１３は、具体的にはＬＥＤリング照明である。他の例としては、照明１３として、ファイバー照明、ＬＥＤ照明、リング照明、同軸落射照明などを使用してもよい。
【００２２】
カメラ１２により撮影された被検査画像は、電子計算機１４に送られる。電子計算機１４は、被検査画像に基づいて、ワーク２０の欠陥有無の判定、すなわち良否判定を行い、良否判定の結果を表示装置１５に表示させる。
【００２３】
なお、カメラ１２は、良品（正常）であることがわかっている正常製品の撮影も行う。これにより、検査の基準となる基準画像を得る。ここで、基準画像は、正常な状態にある複数の正常製品それぞれの画像であり、マハラノビス基準空間を作成するために使用する画像群である。電子計算機１４は、複数の基準画像に基づいて、良否判定の際に利用するマハラノビス基準空間を作成する。
【００２４】
ここで、図２は、基準空間を作成して、その基準空間に基づいて、被検査画像の良否判定をするための閾値を設定するときの手順を示したフローチャートである。
【００２５】
まず、正常な状態にある複数の正常製品の画像それぞれをカメラ１２で撮影する（ステップＳ１１）。次に、撮影した画像それぞれから特徴量（特徴となる情報）を抽出する（ステップＳ１２）。この特徴量は、ワーク２０の状態を表しているものであり、予め規定された項目に従って抽出する。ここでは、Ｎ個の基準画像から、輝度最大値、輝度最小値、輝度波形の微分値、輝度波形の積分値などＫ個の項目に従って特徴量を抽出している。特徴量を抽出した結果を、表１に示す。表１において、特徴量Xnkの添え字ｎ（１、２、・・・、Ｎ）は基準画像を識別する番号（基準画像Ｎｏ）、添え字ｋ（１、２、・・・、K）は項目を識別する番号（項目Ｎｏ）を表している。
【００２６】
【表１】
【００２７】
ここで、前述した特徴量について補足説明をする。図３は、輝度波形を説明するための図である。図３（ａ）は、ワーク２０のワーク画像４０１を示している。また、図３（ｂ）は、画像４０１の輝度波形のグラフを示しており、詳細には、同図のグラフの横軸はワーク画像４０１の所定のラインにおける画素位置を示し、縦軸は各画素の輝度値を示している。このグラフ上の曲線が輝度波形である。輝度波形は、画素の行（ライン）毎に各画素の輝度値を波形化したもの、すなわち各行に含まれる各画素と、各画素における輝度値との関係を示す波形である。例として図３では、２５６階調の輝度を持つ、画素サイズn×nのワーク画像４０１の輝度波形を示している。
【００２８】
図３（ｂ）に示すように、ワーク画像４０１は、その輝度が、画素に対して変動している。そして、その輝度波形から、前述したように、輝度最大値、輝度最小値、輝度波形の微分値、輝度波形の積分値などの特徴量を抽出することができる。ここで、輝度波形の微分値および輝度波形の積分値について説明する。図４および図５は、その説明の為の図である。つまり、図５に示すように、輝度波形に対して任意の輝度値の直線、すなわち横線Ｌ１を引き、横線Ｌ１と輝度波形の交点数を微分値として得る。
【００２９】
この微分値は、画像の特徴量の変動の回数の指標とすることができる。すなわち、微分値が大きいほど、画像中に、特徴量が変動する部位が多く含まれているといえる。図５の場合では、ワーク画像４０１中に、横線Ｌ１で示される輝度Ｃ１を基準として、変動する部位がどの程度含まれているかを示す特徴量を抽出することになる。このように、微分値を特徴量として用いることにより、特徴量が変動する部位が多く含まれている画像でも、その特徴量が精度よく反映された基準空間を作成することができるので、被検査画像の良否を精度良く判定することができる。
【００３０】
また、図５に示すように、輝度波形に対して任意の輝度値の直線、すなわち横線Ｌ２を引き、横線Ｌ２よりも上の輝度波形の区間総和を積分値として得る。この積分値は、画像において一定以上の特徴量を有している部位が占める割合の指標とすることができる。すなわち、積分値が大きいほど、画像中に、一定以上の特徴量を有している部位が多く含まれているといえる。図５の場合では、ワーク画像４０１中に、横線Ｌ２で示される輝度Ｃ２以上の輝度の部位がどの程度含まれているかを示す特徴量を抽出することになる。このように、積分値を特徴量として用いることにより、一定以上の特徴量を有している部位が多く含まれている画像でも、その特徴量が精度よく反映された基準空間を作成することができるので、被検査画像の良否を精度良く判定することができる。
【００３１】
輝度波形に引く横線としては、例えば図４のように設定することができる。すなわち、図４において、例えば、ワーク画像４０１の所定の行に含まれる複数の輝度値の平均値をμ、標準偏差をσとし、μ±σ、μ±0.8σ、μ±0.6σ、・・・のように等間隔に横線を設定する。この場合、各横線に対する微分値、積分値を特徴量として抽出することができる。
【００３２】
次に、各基準画像のマハラノビス距離を算出し、検査の基準となるマハラノビス距離を算出する。つまり、基準空間を作成する（ステップＳ１３）。具体的には、まず最初に、表１の項目毎に特徴量の平均値μkと標準偏差σkを算出する。そして、算出した平均値μk、標準偏差σkを（式1）に代入して、基準化した特徴量xnkを算出する。そして、表２に示すように、基準化した特徴量xnkの行列とする。
【００３３】
【数１】
【００３４】
【表２】
【００３５】
次いで、（式2）により項目pと項目qの相関係数rpqを算出する。その相関係数rpqに基づいて、（式3）に示すように、各相関係数を要素とする相関係数行列Ｒを得る。そして、（式4）に示すように、相関係数行列Ｒの逆行列Ａを算出する。
【００３６】
【数２】
【００３７】
【数３】
【００３８】
【数４】
【００３９】
次いで、（式5）により、n番目の基準画像のマハラノビス距離MDnを算出する。最終的には、全ての基準画像のマハラノビス距離が算出され、基準空間の作成が終わる。
【００４０】
【数５】
【００４１】
ステップＳ１３の最後として、全ての基準空間のマハラノビス距離、各項目の平均値μk、各項目の標準偏差σk、逆行列Ａを基準空間のパラメータとして、電子計算機１４内の記憶装置に記憶をする。
【００４２】
次に、各基準画像のマハラノビス距離をもとに、良否の判定基準となる検査閾値を決定する（ステップＳ１４）。つまり、基準画像のマハラノビス距離も分布を持つので、例えば、このうち最大のマハラノビス距離をもとにして、検査閾値を決定する。例えば、式５により算出した基準画像のマハラノビス距離最大値が１．６になったので、マハラノビス距離が１．６の製品までは良品とするために、ここでは検査閾値を１．７とした。
【００４３】
以上のようにして、電子計算機１４は、基準空間を作成するとともに、その基準空間に基づいて、検査閾値を決定する。次に、電子計算機１４は、その検査閾値に基づいて、検査対象とされる被検査製品の良否判定をする。ここで、図６は、被検査製品の画像である被検査画像の良否を判定するときの手順を示したフローチャートである。
【００４４】
まず、検査対象となるワーク２０（被検査製品）の画像をカメラ１２で撮影する（ステップＳ２１）。次に、撮影した被検査画像それぞれから特徴量（特徴となる情報）を抽出する（ステップＳ２２）。この特徴量は、基準空間を作成する際に用いた項目に従って抽出する。
【００４５】
次に、基準空間を作成する時と同じ手順を経て、被検査画像のマハラノビス距離を算出する（ステップＳ２３）。ただし、特徴量を基準化する際に使用する特徴量の平均値μkと標準偏差σk、相関係数行列Ｒの逆行列Ａについては、基準空間を作成する際に算出された値を使用する。
【００４６】
次に、被検査画像のマハラノビス距離ＭＤと、先に設定した検査閾値とを比較することにより、被検査画像の良否判定を行う（ステップＳ２４）。マハラノビス距離ＭＤが検査閾値よりも大きい場合には（ステップＳ２４、Ｙｅｓ）、被検査画像には異常がある、すなわちワーク２０は不良品であると判定する（ステップＳ２５）。一方、マハラノビス距離ＭＤが検査閾値以下である場合には（ステップＳ２４、Ｎｏ）、被検査画像は正常である、すなわちワーク２０は良品であると判定する（ステップＳ２６）。
【００４７】
さらに、本発明は、前述の基準空間を作成するための基準画像の選定に特徴を有しており、前述した図２のフローチャートに代えて、図７のフローチャートにしたがって、基準空間を作成して検査閾値を設定したものである。ここで、図７は、図２に代えて実行される、基準空間を作成して、その基準空間に基づいて、被検査画像の良否判定をするための閾値を設定するときの手順を示したフローチャートである。
【００４８】
まず、基準画像の候補画像として、正常な状態にある複数の正常製品の画像それぞれをカメラ１２で撮影する（ステップＳ３１）。なお、ステップＳ３１が本発明の「取得ステップ」に相当し、ステップＳ３１を実行する電子計算機１４が本発明の「取得手段」に相当する。
【００４９】
次に、撮影した候補画像それぞれから特徴量（特徴となる情報）を抽出する（ステップＳ３２）。具体的には、図２のステップＳ１２における抽出と同様に、輝度最大値、輝度最小値、輝度波形の微分値、輝度波形の積分値などの項目に従って特徴量を抽出する。なお、ステップＳ３２が本発明の「抽出ステップ」に相当し、ステップＳ３２を実行する電子計算機１４が本発明の「抽出手段」に相当する。
【００５０】
次に、抽出した特徴量をもとに、撮影した複数の候補画像（複数の正常製品の画像）を分類（グループ化）する（ステップＳ３３）。ここで、ワーク２０の状態を表している特徴量が複数あり、ただ一つの特徴量で製品の状態を表すことが出来ない、つまり候補画像を分類することが出来ない場合は、先に説明した方法により、各候補画像のマハラノビス距離を求め、このマハラノビス距離を用いて、正常な状態にある複数の正常製品の画像を分類することができる。ここでは、実際の製品検査で用いる特徴量を使用して、分類するのが望ましい。すなわち、ステップＳ３２で抽出した輝度最大値、輝度最小値、輝度波形の微分値、輝度波形の積分値という複数の特徴量（トータル４２個）を使用して、最終的にはこれらの特徴量をマハラノビス距離として計算をする。そして、電子計算機１４は、候補画像を、マハラノビス距離に応じて分類する。なお、ステップＳ３３が本発明の「分類ステップ」に相当し、ステップＳ３３を実行する電子計算機１４が本発明の「分類手段」に相当する。
【００５１】
このように、複数の正常製品の画像を分類することで、正常製品の画像を特徴量（マハラノビス距離）に応じて分布させることができる。ここで、図８は、マハラノビス距離により候補画像（正常製品の画像）を分類したときの分類結果（候補画像の分布）を例示した図であり、横軸はマハラノビス距離、縦軸は各類（各グループ）の頻度を示している。図８に示す例では、マハラノビス距離に応じて候補画像が複数の類（グループ）１０１〜１０７に分類されている。例えば、マハラノビス距離が０．８〜０．９の候補画像は、類（グループ）１０２に属することになる。
【００５２】
また、図８に示す例では、マハラノビス距離が１．０〜１．１の候補画像が属する類（グループ）１０４が、最も頻度が高く、５０以上の頻度とされる。そして、その類（グループ）１０４を中心にして、頻度が低くなっていき、マハラノビス距離が０．７〜０．８の候補画像が属する類（グループ）１０１およびマハラノビス距離が１．３〜１．４の候補画像が属する類（グループ）１０７は、その頻度が１０以下とされている。
【００５３】
なお、正常な状態にある複数の正常製品の画像を分類（グループ化）するには、一つの特徴量があれば大丈夫であるが、この例に示すように、実際の製品検査で用いる特徴量を使用することにより、実際の検査内容に即した形での分類ができているので、検査精度のさらなる向上に繋げることができる。
【００５４】
次に、分類した候補画像をもとにして、基準画像の群の選定を行う（ステップＳ３４）。ここで、図９、図１０は、基準画像の選定の一例を説明する図であり、それぞれ、図８と同様に、候補画像の分布として、各類２０１〜２１１（各グループ）の頻度を棒グラフ状に表した図である。例えば、不良であるにも関わらず良と判定されることによって不良製品が多く流出するのを防止することを重視するのであれば、例えば、図９に示すように、頻度が最も高い最頻値の類（グループ）２０６に属する候補画像を中心に基準画像の群３０１を選定する。なお、図９では、最頻値の類（グループ）２０６に属する候補画像のみから基準画像の群３０１を選定した例を示している。これによって、最頻値以外のマハラノビス距離の製品画像を不良と定義することができるので、検査の良否の基準を厳しく設定することができる。よって、不良製品が多く流出するのを防止できる。
【００５５】
また、例えば、過度に不良と検出してしまう過検出が増えてしまうのを防止ことを重視するのであれば、例えば、図１０に示すように、最頻値の類（グループ）２０６以外の類２０１〜２０５、２０７〜２１１に属する候補画像も含むように、分布全体から基準画像の群３０２を選定する。なお、図１０では、頻度が低い類２０１、２０２、２１０、２１１に属する候補画像については、その全部を基準画像として選定し、それ以外の類２０３〜２０９に属する候補画像については、その一部を基準画像として選定した例を示している。これによって、検査の基準を緩く設定することができるので、過検出が増えてしまうのを防止できる。
【００５６】
このように、このステップＳ３４では、電子計算機１４は、候補画像の分布とその検査において重視する事項とに基づいて、複数の候補画像の一部を基準画像の群として選定するが、具体的には、検査において重視する事項に応じて、どの候補画像を基準画像として選定すればよいのかが予めプログラムされている。例えば、重視する事項が、不良製品が多く流出するのを防止することである場合には、図９に示すように、最頻値の候補画像のみを基準画像として選定するように、電子計算機１４はプログラムされている。また、例えば、重視する事項が、過検出が増えてしまうのを防止ことである場合には、図１０に示すように、頻度が低い類（例えば、分布の両端の類）に属する候補画像については全て基準画像として選定し、その他の類に属する候補画像については、一定数の候補画像を基準画像として選定するように、電子計算機１４はプログラムされている。なお、基準画像の群の選定の仕方は、図９、図１０に示した選定に限定されるものではない。なお、ステップＳ３４が本発明の「選定ステップ」に相当し、ステップＳ３４を実行する電子計算機１４が本発明の「選定手段」に相当する。
【００５７】
なお、従来の方法では、正常な状態にある正常製品が、その特徴に分布を持っている場合でも、分布を考慮して基準画像の群を選定していなかったため、作成した基準空間の特性が把握できていなかった。
【００５８】
図７の説明に戻り、次に、選定した基準画像の群における基準画像それぞれのマハラノビス距離を算出する。つまり、基準空間を作成する（ステップＳ３５）。なお、基準空間の作成方法は、先に説明したステップＳ１３の方法と同じである。ここで、ステップＳ３３で既にマハラノビス距離を算出しているのならば、このステップは省略することができる。なお、ステップＳ３５が本発明の「作成ステップ」に相当し、ステップＳ３５が本発明の「作成手段」に相当する。
【００５９】
次いで、各基準画像のマハラノビス距離をもとに、良否の判定基準となる検査閾値を決定する（ステップＳ３６）。なお、検査閾値の決定方法は、先に説明したステップＳ１４の方法と同じである。なお、ステップＳ３６が本発明の「閾値決定ステップ」に相当し、ステップＳ３６を実行する電子計算機１４が本発明の「閾値決定手段」に相当する。
【００６０】
以上説明したように、本実施形態では、基準画像の候補となる、正常な状態にある複数の正常製品の画像が分類（グループ分け）され、これをもとに基準画像の群が選定されるので、検査において重視する事項に応じた基準空間を作成することができる。よって、正常製品群の分布を考慮した検査を行うことができるので、検査精度を向上できる。また、マハラノビス距離に基づいて分類することで、正常な状態にある正常製品群を効率的、効果的に分布させることができる。
【００６１】
（第二実施形態）
次に、本発明の第二実施形態の画像検査装置について第一実施形態と異なる部分を中心にして説明する。本実施形態では、図７の処理に代えて、図１１の処理が実行される点が第一実施形態と異なっており、その他は、第一実施形態と同じである。
【００６２】
ここで、図１１は、本実施形態における、基準空間を作成して、その基準空間に基づいて、被検査画像の良否判定をするための閾値を設定するときの手順を示したフローチャートである。なお、図１１において、ステップＳ４１およびステップＳ４２の手順は検査員が行う手順であり、ステップＳ４３〜ステップＳ４６の手順は電子計算機１４が実行する手順である。
【００６３】
まず、基準画像の候補として、正常な状態にある複数の正常製品について、限度見本など決められた検査基準に基づいて目視検査員が分類（グループ化）する（ステップＳ４１）。次に、分類した正常製品群の分布に基づいて、基準画像の群の選定を行う（ステップＳ４２）。具体的には、第一実施形態と同様に、例えば、不良製品が多く流出するのを防止することを重視する場合は、検査員によって、最頻値の候補画像のみが基準画像として選定される。
【００６４】
次いで、選定された基準画像の画像を、カメラ１２で撮影する（ステップＳ４３）。なお、ステップＳ４３が本発明の「取得ステップ」に相当する。
【００６５】
次に、第一実施形態における手順（Ｓ１２、Ｓ３２）と同様にして、撮影した基準画像それぞれから特徴量（特徴となる情報）を抽出する（ステップＳ４４）。そして、第一実施形態における手順（Ｓ１３、Ｓ３５）と同様にして、基準画像それぞれのマハラノビス距離を算出する。つまり、基準空間を作成する（ステップＳ４５）。なお、ステップＳ４４、Ｓ４５が本発明の「作成ステップ」に相当する。
【００６６】
そして、第一実施形態における手順（Ｓ１４、Ｓ３６）と同様にして、各基準画像のマハラノビス距離をもとに、良否の判定基準となる検査閾値を決定する（ステップＳ４６）。なお、ステップＳ４６が本発明の「閾値決定ステップ」に相当する。
【００６７】
以上説明したように、本実施形態では、正常な状態にある複数の正常製品を目視検査員が分類することで、実際の検査内容に即した分類とすることができる。そして、電子計算機１４は、目視検査員が選定した基準画像の群を取得して、その基準画像の群に基づいて、基準空間を作成し検査閾値を決定するので、第一実施形態と同様に、正常製品群の分布を考慮した検査を行うことができる。よって、検査精度を向上できる。
【符号の説明】
【００６８】
１０ 画像検査装置
１２ カメラ
１３ 照明
１４ 電子計算機
１５ 表示装置
２０ ワーク
【技術分野】
【０００１】
本発明は、検査対象とされる被検査製品の欠陥の有無を判定するために、その被検査製品の外観を示した画像の良否の検査を行う画像検査方法及び画像検査装置に関する。
【背景技術】
【０００２】
従来、検査対象とされる被検査製品の外観検査をする場合がある。ここで、検査員が、目視によって行っていたその外観検査（目視検査）を自動化することを考える。この場合、検査員が被検査製品の外観から得ている情報が多岐に渡り、これらの情報を総合的に判断して検査員が検査している場合など、その自動化のための検査基準値を決めるのが困難な場合がある。そこで、従来、多変量解析（多くの情報を一つの尺度に集約する解析手法）の一種であるＭＴ法（マハラノビス・タグチ法）を活用した検査方法が知られている。
【０００３】
このＭＴ法は、多数の情報をマハラノビス距離という一つの尺度に集約し、このマハラノビス距離の大小によって、良否を判定する方法である。つまり、正常な状態にある正常製品群の画像から特徴量（情報）を抽出して、基準となるマハラノビス距離を算出する（基準空間を作るとも言い、基準空間のマハラノビス距離は平均で約１となる）。次いで、検査対象となる被検査製品の画像のマハラノビス距離を算出する。そして、このマハラノビス距離が、基準となるマハラノビス距離から離れるほど、その被検査製品は異常な状態にあると判定をする。
【０００４】
また、特許文献１には、マハラノビス距離を利用したパターン認識における異常原因診断を、少ない計算処理によって実現する方法が開示されている。具体的には、診断対象の定常状態から基準空間を求めるステップと、診断しようとする対象から特徴量を抽出してマハラノビス距離を求めるステップと、予め設定した閾値とマハラノビス距離とを比較するステップと、マハラノビス距離が閾値よりも大きい場合に、距離要素値を特定するステップと、特定した距離要素値に対応する特徴量を、基準データの特徴量の平均値で置換するステップと、置換した特徴量を用いて新たにマハラノビス距離を求めるステップとを含み、新たに求めたマハラノビス距離が閾値以下になるまで、上述のステップを繰り返すというものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２２７２７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、ＭＴ法による検査の基準となるマハラノビス距離が検査精度に大きな影響を与えるにも関わらず、今までの方法では、このマハラノビス距離を求めるための、正常な状態にある正常製品群の選び方が不明確であった。つまり、正常な状態にある正常製品群もその状態により分布を持つものであるが、従来ではその分布が考慮されていなかった。そのため、正常製品群の分布における最頻値の正常製品ばかりで基準空間を作ってしまい、その結果、過度に不良と検出してしまう過検出が増えてしまうなど、検査精度に悪影響を与える場合があった。
【０００７】
この点、特許文献１には、基準空間を求めるステップとしては、現象の定常的な状態を表す基準データを適当な数量収集し、これらから特徴量を定め、これらの特徴量から基準空間を求めるとしか書かれていない。つまり、特許文献１に開示の発明も、正常な状態にある正常製品群の分布が考慮されていないため、検査精度に悪影響を与える場合があるという問題を解消するものではない。
【０００８】
本発明は上記問題点に鑑みてなされたものであり、正常製品群の分布を考慮した画像検査方法及び画像検査装置を提供することを課題とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明は、コンピュータによって処理される、被検査製品の画像の良否検査を行う画像検査方法であって、
外観が正常な状態にある複数の正常製品の画像をそれぞれ、前記被検査製品の画像の良否を判定するための基準となる基準画像の候補画像として取得する取得ステップと、
その取得ステップで取得した各候補画像から所定の特徴量を抽出する抽出ステップと、
その抽出ステップで抽出した前記特徴量に基づいて、前記複数の候補画像を分類する分類ステップと、
その分類ステップで分類した前記複数の候補画像の分布に基づいて、前記複数の候補画像の一部を前記基準画像の群として選定する選定ステップと、
その選定ステップで選定した前記基準画像の群における各基準画像のマハラノビス距離からなる基準空間を作成する作成ステップと、
その作成ステップで作成した前記基準空間のマハラノビス距離に基づいて、前記被検査製品の画像のマハラノビス距離と比較される、前記被検査製品の画像の良否判定の閾値を決定する閾値決定ステップと、を含むことを特徴とする。
【００１０】
これによれば、複数の正常製品の画像の全てが一律に基準画像とされるわけではなく、先ず、取得ステップにおいて、各正常製品の画像が、基準画像の候補画像として取得される。次いで、抽出ステップにおいて、各候補画像の特徴量が抽出される。次いで、分類ステップにおいて、各候補画像の特徴量に基づいて、複数の正常製品の画像（候補画像）が分類される。このように、複数の候補画像（正常製品の画像）を分類することで、候補画像の分布を得ることができる。次いで、選定ステップにおいて、分類された候補画像の分布に基づいて、複数の候補画像の一部が基準画像の群として選定される。これによって、正常製品群の分布を考慮した適切な基準画像を得ることができる。そして、作成ステップ、閾値決定ステップにおいて、選定された基準画像に基づいて基準空間が作成され、その基準空間に基づいて被検査製品の画像の良否判定の閾値が決定されるので、正常製品群の分布を考慮した検査を行うことができる。よって、検査精度を向上できる。
【００１１】
また、本発明の画像検査方法において、前記所定の特徴量は、実際の検査で用いる特徴量として予め定められた特徴量と同じであるとするのが望ましい。
【００１２】
これによって、実際の検査内容に即した候補画像の分類を行うことができる。よって、より一層、検査精度を向上できる。
【００１３】
また、本発明の画像検査方法において、前記分類ステップは、前記抽出ステップで抽出した前記特徴量に基づいて前記候補画像のマハラノビス距離を算出し、そのマハラノビス距離に基づいて前記複数の候補画像を分類するステップである。
【００１４】
これによれば、マハラノビス距離に基づいて分類するので、分類に用いる特徴量が多数あったとしても、より簡便に分類することができる。
【００１５】
また、本発明は、コンピュータによって処理される、被検査製品の画像の良否検査を行う画像検査方法であって、
検査員が、目視によって、外観が正常な状態にある複数の正常製品を各正常製品の状態に応じて分類し、
その分類された前記正常製品の分布に基づいて、前記複数の正常製品の一部が、前記被検査製品の画像の良否を判定するための基準となる基準画像の群として選定されたとして、
その選定された前記基準画像の群を取得する取得ステップと、
その取得ステップで取得した前記基準画像の群における各基準画像のマハラノビス距離からなる基準空間を作成する作成ステップと、
その作成ステップで作成した前記基準空間のマハラノビス距離に基づいて、前記被検査製品の画像のマハラノビス距離と比較される、前記被検査製品の画像の良否判定の閾値を決定する閾値決定ステップと、を含むことを特徴とする。
【００１６】
これによれば、画像検査方法が実行される前提として、検査員が目視によって、複数の候補画像（正常製品の画像）の分類を行うので、実際の検査内容に即した分類を行うことができる。そして、取得ステップでは、その分類された複数の候補画像の分布に基づいて選定された基準画像の群が取得される。作成ステップ、閾値決定ステップでは、その基準画像に基づいて基準空間が作成され、その基準空間に基づいて被検査製品の画像の良否判定の閾値が決定される。よって、正常製品群の分布を考慮した検査を行うことができるので、検査精度を向上できる。
【００１７】
また、本発明は、被検査製品の画像の良否検査を行う画像検査装置であって、
外観が正常な状態にある複数の正常製品の画像をそれぞれ、前記被検査製品の画像の良否を判定するための基準となる基準画像の候補画像として取得する取得手段と、
その取得手段によって取得された各候補画像から所定の特徴量を抽出する抽出手段と、
その抽出手段によって抽出された前記特徴量に基づいて、前記複数の候補画像を分類する分類手段と、
その分類手段によって分類された前記複数の候補画像の分布に基づいて、前記複数の候補画像の一部を前記基準画像の群として選定する選定手段と、
その選定手段によって選定された前記基準画像の群における各基準画像のマハラノビス距離からなる基準空間を作成する作成手段と、
その作成手段によって作成された前記基準空間のマハラノビス距離に基づいて、前記被検査製品の画像のマハラノビス距離と比較される、前記被検査製品の画像の良否判定の閾値を決定する閾値決定手段と、を備えることを特徴とする。
【００１８】
これにより、上記画像検査方法と同様に、正常製品群の分布を考慮した検査を行うことができるので、検査精度を向上できる。
【図面の簡単な説明】
【００１９】
【図１】画像検査装置１０の全体構成を示す図である。
【図２】基準空間を作成するときの手順を示したフローチャートである。
【図３】ワーク画像４０１の輝度波形を説明するための図である。
【図４】微分値や積分値を算出する際に輝度波形に引く横線の引き方を例示した図である。
【図５】輝度波形から微分値や積分値を算出する方法を説明する図である。
【図６】被検査画像の良否を判定するときの手順を示したフローチャートである。
【図７】図２のフローチャートに代えて実行される、基準空間を作成するときの手順を示したフローチャートである。
【図８】候補画像の分類結果を棒グラフとして表した図である。
【図９】候補画像の分布の最頻値の候補画像を中心に基準画像の群を選定する場合を説明する図である。
【図１０】候補画像の分布全体から、基準画像の群を選定する場合を説明する図である。
【図１１】第二実施形態における、基準空間を作成するときの手順を示したフローチャートである。
【発明を実施するための形態】
【００２０】
（第一実施形態）
以下、図面を参照しつつ、この発明の第一実施形態について説明する。図１は本発明の形態にかかる画像検査装置１０の全体構成を示す図である。画像検査装置１０は、検査対象であるワーク２０の外観を撮影し、得られた画像データに基づいて検査を行う。ワーク２０は、例えば切削加工した金属部品であり、ワーク２０の表面にある、傷、バリ、異物などの欠陥の検査を要するものである。画像検査装置１０は、このワーク２０を被検査製品とし、その欠陥の有無の検査を行う。
【００２１】
画像検査装置１０は、カメラ１２と、照明１３と、電子計算機１４と、表示装置１５とを備えている。カメラ１２は、ワーク２０の外観を撮影し、ワーク２０の画像データである被検査画像を得る。カメラ１２は、具体的にはＣＣＤカメラである。なお、他の例としては、カメラ１２として、ＣＭＯＳカメラ、アナログカメラなどを使用してもよい。照明１３は、カメラ１２によりワーク２０の外観を撮像する際に、ワーク２０の撮像箇所の明るさを調整する。照明１３は、具体的にはＬＥＤリング照明である。他の例としては、照明１３として、ファイバー照明、ＬＥＤ照明、リング照明、同軸落射照明などを使用してもよい。
【００２２】
カメラ１２により撮影された被検査画像は、電子計算機１４に送られる。電子計算機１４は、被検査画像に基づいて、ワーク２０の欠陥有無の判定、すなわち良否判定を行い、良否判定の結果を表示装置１５に表示させる。
【００２３】
なお、カメラ１２は、良品（正常）であることがわかっている正常製品の撮影も行う。これにより、検査の基準となる基準画像を得る。ここで、基準画像は、正常な状態にある複数の正常製品それぞれの画像であり、マハラノビス基準空間を作成するために使用する画像群である。電子計算機１４は、複数の基準画像に基づいて、良否判定の際に利用するマハラノビス基準空間を作成する。
【００２４】
ここで、図２は、基準空間を作成して、その基準空間に基づいて、被検査画像の良否判定をするための閾値を設定するときの手順を示したフローチャートである。
【００２５】
まず、正常な状態にある複数の正常製品の画像それぞれをカメラ１２で撮影する（ステップＳ１１）。次に、撮影した画像それぞれから特徴量（特徴となる情報）を抽出する（ステップＳ１２）。この特徴量は、ワーク２０の状態を表しているものであり、予め規定された項目に従って抽出する。ここでは、Ｎ個の基準画像から、輝度最大値、輝度最小値、輝度波形の微分値、輝度波形の積分値などＫ個の項目に従って特徴量を抽出している。特徴量を抽出した結果を、表１に示す。表１において、特徴量Xnkの添え字ｎ（１、２、・・・、Ｎ）は基準画像を識別する番号（基準画像Ｎｏ）、添え字ｋ（１、２、・・・、K）は項目を識別する番号（項目Ｎｏ）を表している。
【００２６】
【表１】
【００２７】
ここで、前述した特徴量について補足説明をする。図３は、輝度波形を説明するための図である。図３（ａ）は、ワーク２０のワーク画像４０１を示している。また、図３（ｂ）は、画像４０１の輝度波形のグラフを示しており、詳細には、同図のグラフの横軸はワーク画像４０１の所定のラインにおける画素位置を示し、縦軸は各画素の輝度値を示している。このグラフ上の曲線が輝度波形である。輝度波形は、画素の行（ライン）毎に各画素の輝度値を波形化したもの、すなわち各行に含まれる各画素と、各画素における輝度値との関係を示す波形である。例として図３では、２５６階調の輝度を持つ、画素サイズn×nのワーク画像４０１の輝度波形を示している。
【００２８】
図３（ｂ）に示すように、ワーク画像４０１は、その輝度が、画素に対して変動している。そして、その輝度波形から、前述したように、輝度最大値、輝度最小値、輝度波形の微分値、輝度波形の積分値などの特徴量を抽出することができる。ここで、輝度波形の微分値および輝度波形の積分値について説明する。図４および図５は、その説明の為の図である。つまり、図５に示すように、輝度波形に対して任意の輝度値の直線、すなわち横線Ｌ１を引き、横線Ｌ１と輝度波形の交点数を微分値として得る。
【００２９】
この微分値は、画像の特徴量の変動の回数の指標とすることができる。すなわち、微分値が大きいほど、画像中に、特徴量が変動する部位が多く含まれているといえる。図５の場合では、ワーク画像４０１中に、横線Ｌ１で示される輝度Ｃ１を基準として、変動する部位がどの程度含まれているかを示す特徴量を抽出することになる。このように、微分値を特徴量として用いることにより、特徴量が変動する部位が多く含まれている画像でも、その特徴量が精度よく反映された基準空間を作成することができるので、被検査画像の良否を精度良く判定することができる。
【００３０】
また、図５に示すように、輝度波形に対して任意の輝度値の直線、すなわち横線Ｌ２を引き、横線Ｌ２よりも上の輝度波形の区間総和を積分値として得る。この積分値は、画像において一定以上の特徴量を有している部位が占める割合の指標とすることができる。すなわち、積分値が大きいほど、画像中に、一定以上の特徴量を有している部位が多く含まれているといえる。図５の場合では、ワーク画像４０１中に、横線Ｌ２で示される輝度Ｃ２以上の輝度の部位がどの程度含まれているかを示す特徴量を抽出することになる。このように、積分値を特徴量として用いることにより、一定以上の特徴量を有している部位が多く含まれている画像でも、その特徴量が精度よく反映された基準空間を作成することができるので、被検査画像の良否を精度良く判定することができる。
【００３１】
輝度波形に引く横線としては、例えば図４のように設定することができる。すなわち、図４において、例えば、ワーク画像４０１の所定の行に含まれる複数の輝度値の平均値をμ、標準偏差をσとし、μ±σ、μ±0.8σ、μ±0.6σ、・・・のように等間隔に横線を設定する。この場合、各横線に対する微分値、積分値を特徴量として抽出することができる。
【００３２】
次に、各基準画像のマハラノビス距離を算出し、検査の基準となるマハラノビス距離を算出する。つまり、基準空間を作成する（ステップＳ１３）。具体的には、まず最初に、表１の項目毎に特徴量の平均値μkと標準偏差σkを算出する。そして、算出した平均値μk、標準偏差σkを（式1）に代入して、基準化した特徴量xnkを算出する。そして、表２に示すように、基準化した特徴量xnkの行列とする。
【００３３】
【数１】
【００３４】
【表２】
【００３５】
次いで、（式2）により項目pと項目qの相関係数rpqを算出する。その相関係数rpqに基づいて、（式3）に示すように、各相関係数を要素とする相関係数行列Ｒを得る。そして、（式4）に示すように、相関係数行列Ｒの逆行列Ａを算出する。
【００３６】
【数２】
【００３７】
【数３】
【００３８】
【数４】
【００３９】
次いで、（式5）により、n番目の基準画像のマハラノビス距離MDnを算出する。最終的には、全ての基準画像のマハラノビス距離が算出され、基準空間の作成が終わる。
【００４０】
【数５】
【００４１】
ステップＳ１３の最後として、全ての基準空間のマハラノビス距離、各項目の平均値μk、各項目の標準偏差σk、逆行列Ａを基準空間のパラメータとして、電子計算機１４内の記憶装置に記憶をする。
【００４２】
次に、各基準画像のマハラノビス距離をもとに、良否の判定基準となる検査閾値を決定する（ステップＳ１４）。つまり、基準画像のマハラノビス距離も分布を持つので、例えば、このうち最大のマハラノビス距離をもとにして、検査閾値を決定する。例えば、式５により算出した基準画像のマハラノビス距離最大値が１．６になったので、マハラノビス距離が１．６の製品までは良品とするために、ここでは検査閾値を１．７とした。
【００４３】
以上のようにして、電子計算機１４は、基準空間を作成するとともに、その基準空間に基づいて、検査閾値を決定する。次に、電子計算機１４は、その検査閾値に基づいて、検査対象とされる被検査製品の良否判定をする。ここで、図６は、被検査製品の画像である被検査画像の良否を判定するときの手順を示したフローチャートである。
【００４４】
まず、検査対象となるワーク２０（被検査製品）の画像をカメラ１２で撮影する（ステップＳ２１）。次に、撮影した被検査画像それぞれから特徴量（特徴となる情報）を抽出する（ステップＳ２２）。この特徴量は、基準空間を作成する際に用いた項目に従って抽出する。
【００４５】
次に、基準空間を作成する時と同じ手順を経て、被検査画像のマハラノビス距離を算出する（ステップＳ２３）。ただし、特徴量を基準化する際に使用する特徴量の平均値μkと標準偏差σk、相関係数行列Ｒの逆行列Ａについては、基準空間を作成する際に算出された値を使用する。
【００４６】
次に、被検査画像のマハラノビス距離ＭＤと、先に設定した検査閾値とを比較することにより、被検査画像の良否判定を行う（ステップＳ２４）。マハラノビス距離ＭＤが検査閾値よりも大きい場合には（ステップＳ２４、Ｙｅｓ）、被検査画像には異常がある、すなわちワーク２０は不良品であると判定する（ステップＳ２５）。一方、マハラノビス距離ＭＤが検査閾値以下である場合には（ステップＳ２４、Ｎｏ）、被検査画像は正常である、すなわちワーク２０は良品であると判定する（ステップＳ２６）。
【００４７】
さらに、本発明は、前述の基準空間を作成するための基準画像の選定に特徴を有しており、前述した図２のフローチャートに代えて、図７のフローチャートにしたがって、基準空間を作成して検査閾値を設定したものである。ここで、図７は、図２に代えて実行される、基準空間を作成して、その基準空間に基づいて、被検査画像の良否判定をするための閾値を設定するときの手順を示したフローチャートである。
【００４８】
まず、基準画像の候補画像として、正常な状態にある複数の正常製品の画像それぞれをカメラ１２で撮影する（ステップＳ３１）。なお、ステップＳ３１が本発明の「取得ステップ」に相当し、ステップＳ３１を実行する電子計算機１４が本発明の「取得手段」に相当する。
【００４９】
次に、撮影した候補画像それぞれから特徴量（特徴となる情報）を抽出する（ステップＳ３２）。具体的には、図２のステップＳ１２における抽出と同様に、輝度最大値、輝度最小値、輝度波形の微分値、輝度波形の積分値などの項目に従って特徴量を抽出する。なお、ステップＳ３２が本発明の「抽出ステップ」に相当し、ステップＳ３２を実行する電子計算機１４が本発明の「抽出手段」に相当する。
【００５０】
次に、抽出した特徴量をもとに、撮影した複数の候補画像（複数の正常製品の画像）を分類（グループ化）する（ステップＳ３３）。ここで、ワーク２０の状態を表している特徴量が複数あり、ただ一つの特徴量で製品の状態を表すことが出来ない、つまり候補画像を分類することが出来ない場合は、先に説明した方法により、各候補画像のマハラノビス距離を求め、このマハラノビス距離を用いて、正常な状態にある複数の正常製品の画像を分類することができる。ここでは、実際の製品検査で用いる特徴量を使用して、分類するのが望ましい。すなわち、ステップＳ３２で抽出した輝度最大値、輝度最小値、輝度波形の微分値、輝度波形の積分値という複数の特徴量（トータル４２個）を使用して、最終的にはこれらの特徴量をマハラノビス距離として計算をする。そして、電子計算機１４は、候補画像を、マハラノビス距離に応じて分類する。なお、ステップＳ３３が本発明の「分類ステップ」に相当し、ステップＳ３３を実行する電子計算機１４が本発明の「分類手段」に相当する。
【００５１】
このように、複数の正常製品の画像を分類することで、正常製品の画像を特徴量（マハラノビス距離）に応じて分布させることができる。ここで、図８は、マハラノビス距離により候補画像（正常製品の画像）を分類したときの分類結果（候補画像の分布）を例示した図であり、横軸はマハラノビス距離、縦軸は各類（各グループ）の頻度を示している。図８に示す例では、マハラノビス距離に応じて候補画像が複数の類（グループ）１０１〜１０７に分類されている。例えば、マハラノビス距離が０．８〜０．９の候補画像は、類（グループ）１０２に属することになる。
【００５２】
また、図８に示す例では、マハラノビス距離が１．０〜１．１の候補画像が属する類（グループ）１０４が、最も頻度が高く、５０以上の頻度とされる。そして、その類（グループ）１０４を中心にして、頻度が低くなっていき、マハラノビス距離が０．７〜０．８の候補画像が属する類（グループ）１０１およびマハラノビス距離が１．３〜１．４の候補画像が属する類（グループ）１０７は、その頻度が１０以下とされている。
【００５３】
なお、正常な状態にある複数の正常製品の画像を分類（グループ化）するには、一つの特徴量があれば大丈夫であるが、この例に示すように、実際の製品検査で用いる特徴量を使用することにより、実際の検査内容に即した形での分類ができているので、検査精度のさらなる向上に繋げることができる。
【００５４】
次に、分類した候補画像をもとにして、基準画像の群の選定を行う（ステップＳ３４）。ここで、図９、図１０は、基準画像の選定の一例を説明する図であり、それぞれ、図８と同様に、候補画像の分布として、各類２０１〜２１１（各グループ）の頻度を棒グラフ状に表した図である。例えば、不良であるにも関わらず良と判定されることによって不良製品が多く流出するのを防止することを重視するのであれば、例えば、図９に示すように、頻度が最も高い最頻値の類（グループ）２０６に属する候補画像を中心に基準画像の群３０１を選定する。なお、図９では、最頻値の類（グループ）２０６に属する候補画像のみから基準画像の群３０１を選定した例を示している。これによって、最頻値以外のマハラノビス距離の製品画像を不良と定義することができるので、検査の良否の基準を厳しく設定することができる。よって、不良製品が多く流出するのを防止できる。
【００５５】
また、例えば、過度に不良と検出してしまう過検出が増えてしまうのを防止ことを重視するのであれば、例えば、図１０に示すように、最頻値の類（グループ）２０６以外の類２０１〜２０５、２０７〜２１１に属する候補画像も含むように、分布全体から基準画像の群３０２を選定する。なお、図１０では、頻度が低い類２０１、２０２、２１０、２１１に属する候補画像については、その全部を基準画像として選定し、それ以外の類２０３〜２０９に属する候補画像については、その一部を基準画像として選定した例を示している。これによって、検査の基準を緩く設定することができるので、過検出が増えてしまうのを防止できる。
【００５６】
このように、このステップＳ３４では、電子計算機１４は、候補画像の分布とその検査において重視する事項とに基づいて、複数の候補画像の一部を基準画像の群として選定するが、具体的には、検査において重視する事項に応じて、どの候補画像を基準画像として選定すればよいのかが予めプログラムされている。例えば、重視する事項が、不良製品が多く流出するのを防止することである場合には、図９に示すように、最頻値の候補画像のみを基準画像として選定するように、電子計算機１４はプログラムされている。また、例えば、重視する事項が、過検出が増えてしまうのを防止ことである場合には、図１０に示すように、頻度が低い類（例えば、分布の両端の類）に属する候補画像については全て基準画像として選定し、その他の類に属する候補画像については、一定数の候補画像を基準画像として選定するように、電子計算機１４はプログラムされている。なお、基準画像の群の選定の仕方は、図９、図１０に示した選定に限定されるものではない。なお、ステップＳ３４が本発明の「選定ステップ」に相当し、ステップＳ３４を実行する電子計算機１４が本発明の「選定手段」に相当する。
【００５７】
なお、従来の方法では、正常な状態にある正常製品が、その特徴に分布を持っている場合でも、分布を考慮して基準画像の群を選定していなかったため、作成した基準空間の特性が把握できていなかった。
【００５８】
図７の説明に戻り、次に、選定した基準画像の群における基準画像それぞれのマハラノビス距離を算出する。つまり、基準空間を作成する（ステップＳ３５）。なお、基準空間の作成方法は、先に説明したステップＳ１３の方法と同じである。ここで、ステップＳ３３で既にマハラノビス距離を算出しているのならば、このステップは省略することができる。なお、ステップＳ３５が本発明の「作成ステップ」に相当し、ステップＳ３５が本発明の「作成手段」に相当する。
【００５９】
次いで、各基準画像のマハラノビス距離をもとに、良否の判定基準となる検査閾値を決定する（ステップＳ３６）。なお、検査閾値の決定方法は、先に説明したステップＳ１４の方法と同じである。なお、ステップＳ３６が本発明の「閾値決定ステップ」に相当し、ステップＳ３６を実行する電子計算機１４が本発明の「閾値決定手段」に相当する。
【００６０】
以上説明したように、本実施形態では、基準画像の候補となる、正常な状態にある複数の正常製品の画像が分類（グループ分け）され、これをもとに基準画像の群が選定されるので、検査において重視する事項に応じた基準空間を作成することができる。よって、正常製品群の分布を考慮した検査を行うことができるので、検査精度を向上できる。また、マハラノビス距離に基づいて分類することで、正常な状態にある正常製品群を効率的、効果的に分布させることができる。
【００６１】
（第二実施形態）
次に、本発明の第二実施形態の画像検査装置について第一実施形態と異なる部分を中心にして説明する。本実施形態では、図７の処理に代えて、図１１の処理が実行される点が第一実施形態と異なっており、その他は、第一実施形態と同じである。
【００６２】
ここで、図１１は、本実施形態における、基準空間を作成して、その基準空間に基づいて、被検査画像の良否判定をするための閾値を設定するときの手順を示したフローチャートである。なお、図１１において、ステップＳ４１およびステップＳ４２の手順は検査員が行う手順であり、ステップＳ４３〜ステップＳ４６の手順は電子計算機１４が実行する手順である。
【００６３】
まず、基準画像の候補として、正常な状態にある複数の正常製品について、限度見本など決められた検査基準に基づいて目視検査員が分類（グループ化）する（ステップＳ４１）。次に、分類した正常製品群の分布に基づいて、基準画像の群の選定を行う（ステップＳ４２）。具体的には、第一実施形態と同様に、例えば、不良製品が多く流出するのを防止することを重視する場合は、検査員によって、最頻値の候補画像のみが基準画像として選定される。
【００６４】
次いで、選定された基準画像の画像を、カメラ１２で撮影する（ステップＳ４３）。なお、ステップＳ４３が本発明の「取得ステップ」に相当する。
【００６５】
次に、第一実施形態における手順（Ｓ１２、Ｓ３２）と同様にして、撮影した基準画像それぞれから特徴量（特徴となる情報）を抽出する（ステップＳ４４）。そして、第一実施形態における手順（Ｓ１３、Ｓ３５）と同様にして、基準画像それぞれのマハラノビス距離を算出する。つまり、基準空間を作成する（ステップＳ４５）。なお、ステップＳ４４、Ｓ４５が本発明の「作成ステップ」に相当する。
【００６６】
そして、第一実施形態における手順（Ｓ１４、Ｓ３６）と同様にして、各基準画像のマハラノビス距離をもとに、良否の判定基準となる検査閾値を決定する（ステップＳ４６）。なお、ステップＳ４６が本発明の「閾値決定ステップ」に相当する。
【００６７】
以上説明したように、本実施形態では、正常な状態にある複数の正常製品を目視検査員が分類することで、実際の検査内容に即した分類とすることができる。そして、電子計算機１４は、目視検査員が選定した基準画像の群を取得して、その基準画像の群に基づいて、基準空間を作成し検査閾値を決定するので、第一実施形態と同様に、正常製品群の分布を考慮した検査を行うことができる。よって、検査精度を向上できる。
【符号の説明】
【００６８】
１０ 画像検査装置
１２ カメラ
１３ 照明
１４ 電子計算機
１５ 表示装置
２０ ワーク
【特許請求の範囲】
【請求項１】
コンピュータによって処理される、被検査製品の画像の良否検査を行う画像検査方法であって、
外観が正常な状態にある複数の正常製品の画像をそれぞれ、前記被検査製品の画像の良否を判定するための基準となる基準画像の候補画像として取得する取得ステップと、
その取得ステップで取得した各候補画像から所定の特徴量を抽出する抽出ステップと、
その抽出ステップで抽出した前記特徴量に基づいて、前記複数の候補画像を分類する分類ステップと、
その分類ステップで分類した前記複数の候補画像の分布に基づいて、前記複数の候補画像の一部を前記基準画像の群として選定する選定ステップと、
その選定ステップで選定した前記基準画像の群における各基準画像のマハラノビス距離からなる基準空間を作成する作成ステップと、
その作成ステップで作成した前記基準空間のマハラノビス距離に基づいて、前記被検査製品の画像のマハラノビス距離と比較される、前記被検査製品の画像の良否判定の閾値を決定する閾値決定ステップと、を含むことを特徴とする画像検査方法。
【請求項２】
前記所定の特徴量は、実際の検査で用いる特徴量として予め定められた特徴量と同じであることを特徴とする請求項１に記載の画像検査方法。
【請求項３】
前記分類ステップは、前記抽出ステップで抽出した前記特徴量に基づいて前記候補画像のマハラノビス距離を算出し、そのマハラノビス距離に基づいて前記複数の候補画像を分類するステップであることを特徴とする請求項１又は２に記載の画像検査方法。
【請求項４】
コンピュータによって処理される、被検査製品の画像の良否検査を行う画像検査方法であって、
検査員が、目視によって、外観が正常な状態にある複数の正常製品を各正常製品の状態に応じて分類し、
その分類された前記正常製品の分布に基づいて、前記複数の正常製品の一部が、前記被検査製品の画像の良否を判定するための基準となる基準画像の群として選定されたとして、
その選定された前記基準画像の群を取得する取得ステップと、
その取得ステップで取得した前記基準画像の群における各基準画像のマハラノビス距離からなる基準空間を作成する作成ステップと、
その作成ステップで作成した前記基準空間のマハラノビス距離に基づいて、前記被検査製品の画像のマハラノビス距離と比較される、前記被検査製品の画像の良否判定の閾値を決定する閾値決定ステップと、を含むことを特徴とする画像検査方法。
【請求項５】
被検査製品の画像の良否検査を行う画像検査装置であって、
外観が正常な状態にある複数の正常製品の画像をそれぞれ、前記被検査製品の画像の良否を判定するための基準となる基準画像の候補画像として取得する取得手段と、
その取得手段によって取得された各候補画像から所定の特徴量を抽出する抽出手段と、
その抽出手段によって抽出された前記特徴量に基づいて、前記複数の候補画像を分類する分類手段と、
その分類手段によって分類された前記複数の候補画像の分布に基づいて、前記複数の候補画像の一部を前記基準画像の群として選定する選定手段と、
その選定手段によって選定された前記基準画像の群における各基準画像のマハラノビス距離からなる基準空間を作成する作成手段と、
その作成手段によって作成された前記基準空間のマハラノビス距離に基づいて、前記被検査製品の画像のマハラノビス距離と比較される、前記被検査製品の画像の良否判定の閾値を決定する閾値決定手段と、を備えることを特徴とする画像検査装置。
【請求項１】
コンピュータによって処理される、被検査製品の画像の良否検査を行う画像検査方法であって、
外観が正常な状態にある複数の正常製品の画像をそれぞれ、前記被検査製品の画像の良否を判定するための基準となる基準画像の候補画像として取得する取得ステップと、
その取得ステップで取得した各候補画像から所定の特徴量を抽出する抽出ステップと、
その抽出ステップで抽出した前記特徴量に基づいて、前記複数の候補画像を分類する分類ステップと、
その分類ステップで分類した前記複数の候補画像の分布に基づいて、前記複数の候補画像の一部を前記基準画像の群として選定する選定ステップと、
その選定ステップで選定した前記基準画像の群における各基準画像のマハラノビス距離からなる基準空間を作成する作成ステップと、
その作成ステップで作成した前記基準空間のマハラノビス距離に基づいて、前記被検査製品の画像のマハラノビス距離と比較される、前記被検査製品の画像の良否判定の閾値を決定する閾値決定ステップと、を含むことを特徴とする画像検査方法。
【請求項２】
前記所定の特徴量は、実際の検査で用いる特徴量として予め定められた特徴量と同じであることを特徴とする請求項１に記載の画像検査方法。
【請求項３】
前記分類ステップは、前記抽出ステップで抽出した前記特徴量に基づいて前記候補画像のマハラノビス距離を算出し、そのマハラノビス距離に基づいて前記複数の候補画像を分類するステップであることを特徴とする請求項１又は２に記載の画像検査方法。
【請求項４】
コンピュータによって処理される、被検査製品の画像の良否検査を行う画像検査方法であって、
検査員が、目視によって、外観が正常な状態にある複数の正常製品を各正常製品の状態に応じて分類し、
その分類された前記正常製品の分布に基づいて、前記複数の正常製品の一部が、前記被検査製品の画像の良否を判定するための基準となる基準画像の群として選定されたとして、
その選定された前記基準画像の群を取得する取得ステップと、
その取得ステップで取得した前記基準画像の群における各基準画像のマハラノビス距離からなる基準空間を作成する作成ステップと、
その作成ステップで作成した前記基準空間のマハラノビス距離に基づいて、前記被検査製品の画像のマハラノビス距離と比較される、前記被検査製品の画像の良否判定の閾値を決定する閾値決定ステップと、を含むことを特徴とする画像検査方法。
【請求項５】
被検査製品の画像の良否検査を行う画像検査装置であって、
外観が正常な状態にある複数の正常製品の画像をそれぞれ、前記被検査製品の画像の良否を判定するための基準となる基準画像の候補画像として取得する取得手段と、
その取得手段によって取得された各候補画像から所定の特徴量を抽出する抽出手段と、
その抽出手段によって抽出された前記特徴量に基づいて、前記複数の候補画像を分類する分類手段と、
その分類手段によって分類された前記複数の候補画像の分布に基づいて、前記複数の候補画像の一部を前記基準画像の群として選定する選定手段と、
その選定手段によって選定された前記基準画像の群における各基準画像のマハラノビス距離からなる基準空間を作成する作成手段と、
その作成手段によって作成された前記基準空間のマハラノビス距離に基づいて、前記被検査製品の画像のマハラノビス距離と比較される、前記被検査製品の画像の良否判定の閾値を決定する閾値決定手段と、を備えることを特徴とする画像検査装置。
【図１】
【図２】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図３】
【図４】
【図５】
【図２】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−２３２３０２（Ｐ２０１１−２３２３０２Ａ）
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願番号】特願２０１０−１０５５９３（Ｐ２０１０−１０５５９３）
【出願日】平成２２年４月３０日（２０１０．４．３０）
【出願人】（０００００６９３２）リコーエレメックス株式会社 (708)
【Ｆターム（参考）】
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願日】平成２２年４月３０日（２０１０．４．３０）
【出願人】（０００００６９３２）リコーエレメックス株式会社 (708)
【Ｆターム（参考）】
[ Back to top ]