残留物測定方法及び残留物測定装置
【課題】 小さなサイズの残留物から大きなサイズの残留物まで様々なサイズの残留物を同時に検出することが可能な画像処理を行うことで測定精度を向上させた残留物測定方法を提供する。
【解決手段】
濾過フィルタ上の残留物 (屑や粉等)を撮像し、取得した画像データを分岐させて、分岐した画像データのうち一方の画像データに対して直ちにラベリング処理を施して、画像処理領域の画素サイズをP以下として所定サイズの前記残留物を検出する特徴抽出を行い、かつ、他方の画像データに対してオープニング処理とクロージング処理のいずれか1種以上の処理を行ってからラベリング処理を施して、画像処理領域の画素サイズをQ以上とし当該QとPはQ<Pの関係とすることで、前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行い、引き続き、これら特徴抽出された画像処理領域同士を結合した後に再度のラベリング処理を行う。
【解決手段】
濾過フィルタ上の残留物 (屑や粉等)を撮像し、取得した画像データを分岐させて、分岐した画像データのうち一方の画像データに対して直ちにラベリング処理を施して、画像処理領域の画素サイズをP以下として所定サイズの前記残留物を検出する特徴抽出を行い、かつ、他方の画像データに対してオープニング処理とクロージング処理のいずれか1種以上の処理を行ってからラベリング処理を施して、画像処理領域の画素サイズをQ以上とし当該QとPはQ<Pの関係とすることで、前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行い、引き続き、これら特徴抽出された画像処理領域同士を結合した後に再度のラベリング処理を行う。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、洗浄したワークに残留した残留物(屑や粉等)を測定評価する残留物測定方法及び残留物測定装置に関する。
【背景技術】
【0002】
自動車、航空機、産業機械等に用いられる機械部品や、テレビ、パソコン、携帯電話等に用いられる半導体基板等の電子部品は加工段階では一般にワークと称されており、これらワークの加工の際にはワーク自体から屑や粉等が発生することがあり、加工ツール等からの異物がワークに付着することがある。このような場合、ワークを洗浄して残留物(屑や粉等)を除去してから次工程で取り扱うこととなる。
【0003】
しかし、洗浄条件が不十分(不適切)な場合、洗浄後のワークに残留物(屑や粉等)が基準値を超えて付着していることがある。そこで、ワークを洗浄後、洗浄したワークに残留した残留物(屑や粉等)を洗浄液で洗い落として当該洗浄液をフィルタにて濾過することで当該フィルタに前記残留物を付着させて乾燥させた後、当該フィルタ上の残留物を撮像カメラにて撮像し、取得した残留物を含む画像データに画像処理を行うことで前記残留物のカラーイメージを作成し、当該カラーイメージを測定評価することで前記ワークの洗浄度合いを評価する残留物測定方法や残留物測定装置が知られている(特許文献1から4)。
【0004】
前記フィルタの素材としては、セルロース、ポリカーボネート、ガラス繊維、濾紙、高分子膜等が挙げられ、金属屑(金属片)や金属粉を検査するためのフィルタの外観は主として白色または白色に近い色合いを呈している。
前記残留物(屑や粉等)の素材としては、金属、樹脂、セラミックス等が挙げられるが、機械加工が施された金属製ワークに付着した残留物の大半は金属屑(金属片)や金属粉である。
【0005】
前記残留物のサイズや材質等を推定することは、ワークの洗浄品質管理上、非常に重要な検査作業である。しかしながら、前記フィルタ上の残留物を撮像カメラにて撮像し、取得した残留物を含む画像データに画像処理を行う場合、撮像素子の特性やレンズ収差、照明の不均一性等の影響によって、取得した残留物を含む画像データに輝度ムラが生じ易く、個々の残留物のサイズや材質が推定し難い。このため、従来、各種の取り組みがなされている。
【0006】
特許文献1には、付着物を有するフィルタの乾燥重量から、フィルタ自体の乾燥重量を減算して付着物の総重量を求めるとともに、撮像カメラにて撮像した個々の付着物の画像データを所定の算出手段で求めたサイズの大きい順に整列した表を作成し、ワークの清浄度を判定するとの記載がある。
【0007】
特許文献2には、異物が付着したフィルタを分光カメラにて撮像し、取得した画像データからの色情報に基づき異物の分類を行うことが記載されている。
【0008】
特許文献3には、付着物を有するフィルタを撮像カメラにて撮像し、取得した画像データにいわゆる二値化処理とラベリング処理を施して各付着物のイメージデータの対応する画素に着色処理し、各付着物に対応した長さと面積を求め、レーザ式変位センサによって前記各付着物に対応した高さを求めて、各付着物の体積を算出することが記載されている。
【0009】
特許文献4には、付着物を有するフィルタを撮像カメラにて撮像し、取得した画像データにいわゆる二値化処理とラベリング処理と平滑化処理を施して各付着物のイメージデータからRGBデータを抽出し、HSVデータに変換して、既知のサンプルデータとのパターンマッチングをとることが記載されている。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】特許第3967813号公報
【特許文献2】特開2008−14652号公報
【特許文献3】特開2009−150673号公報
【特許文献4】特開2009−198414号公報
【発明の概要】
【発明が解決しようとする課題】
【0011】
フィルタに付着した残留物(屑や粉等)の個々のサイズは、実際には、小さなサイズの残留物(粉)から大きなサイズの残留物(屑)まで様々である。しかしながら、既知の画像処理方法ではその処理方法に起因して、例えばその長さが数μm〜数十μm程度又は測定装置の分解能レベルの小さなサイズの残留物(粉)のイメージデータを取得しようとすると大きなサイズの残留物(屑)のイメージデータに欠損が生じ易く、大きなサイズの残留物(屑)のイメージデータを取得しようとすると小さなサイズの残留物(粉)のイメージデータが消失し易いという欠点がある。このため、既知の画像処理方法では、小さなサイズの残留物(粉)と大きなサイズの残留物(屑)を同時に検出することができず、このことが影響し、個々の残留物のサイズや材質が推定し難く、測定精度が高いとはいい難い。このように小さいもの(粉)から大きなもの(屑)まで様々な残留物を個別に精度良く検査しようとする場合には、依然として、顕微鏡やCCDカメラ等によって検査員が直接、個々の残留物を目視確認してそのサイズや材質等を推定しているのが現状である。
【0012】
そこで本発明の目的は、小さなサイズの残留物(粉)から大きなサイズの残留物(屑)まで様々なサイズの残留物を同時に検出することが可能な画像処理を行うことで測定精度を向上させた残留物測定方法及び残留物測定装置を提供することにある。
【課題を解決するための手段】
【0013】
本発明の残留物測定方法は、濾過フィルタ上の残留物 (屑や粉等)を撮像カメラにて撮像し、取得した残留物を含む画像データに画像処理を行うことで前記残留物のカラー又はモノクロのイメージデータを作成し、当該イメージデータを測定評価する残留物測定方法において、前記画像データを分岐させて、分岐した画像データのうち一方の画像データに対して直ちにラベリング処理を施して、画像処理領域の画素サイズをP以下として所定サイズの前記残留物を検出する特徴抽出を行い、かつ、他方の画像データに対してオープニング処理とクロージング処理のいずれか1種以上の処理を行ってからラベリング処理を施して、画像処理領域の画素サイズをQ以上とし当該QとPはQ<Pの関係とすることで、前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行い、引き続き、これら特徴抽出された画像処理領域同士を結合した後に再度のラベリング処理を行うことを特徴とする。ここで、カラーは複数の色やその濃淡、色合い等で画像を表す様式であり、モノクロは、主に白黒の単色ないしその濃淡(グレースケール)で画像を表す様式である。
【0014】
本発明の残留物測定装置は、濾過フィルタ上の残留物 (屑や粉等)を撮像カメラにて上方から撮像し、コンピュータが取得した残留物を含む画像データをデータ蓄積手段に蓄積し、取り出して、コンピュータ上で動作し前記画像データを画像処理する画像処理ソフトウエアによって画像処理を行うことで前記残留物のカラー又はモノクロのイメージデータを作成し、当該イメージデータを測定評価する残留物測定装置に関し、前記画像データを分岐させて、分岐した画像データのうち一方の画像データに対して直ちにラベリング処理を施して、画像処理領域の画素サイズをP以下として所定サイズの前記残留物を検出する特徴抽出を行い、かつ、他方の画像データに対してオープニング処理とクロージング処理のいずれか1種以上の処理を行ってからラベリング処理を施して、画像処理領域の画素サイズをQ以上とし当該QとPはQ<Pの関係とすることで、前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行い、引き続き、これら特徴抽出された画像処理領域同士を結合した後に再度のラベリング処理を行うことを特徴とする。
【0015】
本発明では、濾過フィルタ上の残留物 (屑や粉等)を撮像カメラにて撮像し、取得した残留物を含む画像データに適宜、既知の画像処理(差分処理、二値化処理、マスキング処理、エッジ検出処理等のいずれか1種以上の画像処理)を行い、前記画像データを分岐させる。そして、前記分岐した画像データのうち少なくとも1つの画像データに対して直ちにラベリング処理を施して、画像処理領域の画素サイズをP以下として所定サイズの前記残留物を検出する特徴抽出を行う。これと平行して、残りの画像データに対してオープニング処理とクロージング処理のいずれか1種以上の処理を行ってからラベリング処理を施して、画像処理領域の画素サイズをQ以上とし当該QとPはQ<Pの関係とすることで、前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行い、引き続き、これら特徴抽出された画像処理領域同士を結合した後に再度のラベリング処理を行う。ここで、所定サイズの前記残留物とは、例えばその長さが数μm〜数十μm程度又は測定装置の分解能レベルのサイズを意味する。
【0016】
そして、前記特徴抽出においては、前記残留物の検出の抜けをなくすため、所定サイズの前記残留物を検出するための画像処理領域の画素サイズをP以下とし、前記所定サイズよりも大きなサイズの前記残留物を検出するための画像処理領域の画素サイズをQ以上とし、当該Qを前記Pよりも小さい値に設定する(Q<P)。そして引き続き、これら特徴抽出された画像処理領域同士を結合処理する。したがって、本発明によれば、小さなサイズの残留物(粉)から大きなサイズの残留物(屑)まで様々なサイズの残留物を同時に検出する。
【0017】
ここで、オープニング処理とは、画素領域に対してn回収縮処理を行った後,n回膨張処理を行い(nは自然数)、主にノイズを除去するための処理である。また、クロージング処理とは、画素領域に対してn回膨張処理を行った後,n回収縮処理を行い(nは自然数)、主に欠損(カケ)を繋げるための処理である。そして、ラベリング処理とは、画素領域の連結成分を計算し、各領域を分割して番号付けする処理である。
【0018】
本発明は、前記前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行うに際して、オープニング処理、クロージング処理、ラベリング処理の順に処理することを特徴とする。
【0019】
本発明によれば、ノイズを除去するとともに、カケを繋げることで、前記所定サイズよりも大きなサイズの残留物の輪郭がより明確になる。
【0020】
本発明の残留物測定方法は、濾過フィルタ上の残留物 (屑や粉等)を撮像カメラにて撮像し、取得した残留物を含む画像データに画像処理を行うことで前記残留物のカラー又はモノクロのイメージデータを作成し、当該イメージデータを測定評価する残留物測定方法において、前記残留物を付着させる前のフィルタを前記撮像カメラにて所定の照明条件下で撮像し取得した背景画像データを予め準備しておき、前記フィルタ上の残留物を前記撮像カメラにて前記照明条件と同じ照明条件下で撮像し取得した前記残留物を含む画像データから前記背景画像データを差分処理し、その後、差分処理した画像データを分岐させて、分岐した画像データのうち一方の画像データに対してマスク幅Jとして比較的輝度の大きい領域を検出する平均化処理を施して平均化画像を作成し、作成した平均化画像を閾値画像として動的二値化処理を行い、かつ、他方の画像データに対してマスク幅Kとし当該KとJはJ<Kの関係とすることで、比較的輝度の小さい領域を検出する平均化処理を施して平均化画像を作成し、作成した平均化画像を閾値画像として動的二値化処理を行い、引き続き、これら動的二値化処理領域同士を結合処理し、その後、前記画像データを分岐させて、分岐した画像データのうち一方の画像データに対して直ちにラベリング処理を施して、画像処理領域の画素サイズをP以下として所定サイズの前記残留物を検出する特徴抽出を行い、かつ、他方の画像データに対してオープニング処理とクロージング処理のいずれか1種以上の処理を行ってからラベリング処理を施して、画像処理領域の画素サイズをQ以上とし当該QとPはQ<Pの関係とすることで、前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行い、引き続き、これら特徴抽出された画像処理領域同士を結合し、再度のラベリング処理を行うことを特徴とする。
【0021】
本発明の残留物測定装置は、濾過フィルタ上の残留物 (屑や粉等)を撮像カメラにて上方から撮像し、コンピュータが取得した残留物を含む画像データをデータ蓄積手段に蓄積し、取り出して、コンピュータ上で動作し前記画像データを画像処理する画像処理ソフトウエアによって画像処理を行うことで前記残留物のカラー又はモノクロのイメージデータを作成し、当該イメージデータを測定評価する残留物測定装置に関し、前記残留物を付着させる前のフィルタを前記撮像カメラにて所定の照明条件下で撮像し取得した背景画像データを予め準備しておき、前記フィルタ上の残留物を前記撮像カメラにて前記照明条件と同じ照明条件下で撮像し取得した前記残留物を含む画像データから前記背景画像データを差分処理し、その後、差分処理した画像データを分岐させて、分岐した画像データのうち一方の画像データに対してマスク幅Jとして比較的輝度の大きい領域を検出する平均化処理を施して平均化画像を作成し、作成した平均化画像を閾値画像として動的二値化処理を行い、かつ、他方の画像データに対してマスク幅Kとし当該KとJはJ<Kの関係とすることで、比較的輝度の小さい領域を検出する平均化処理を施して平均化画像を作成し、作成した平均化画像を閾値画像として動的二値化処理を行い、引き続き、これら動的二値化処理領域同士を結合処理し、その後、前記画像データを分岐させて、分岐した画像データのうち一方の画像データに対して直ちにラベリング処理を施して、画像処理領域の画素サイズをP以下として所定サイズの前記残留物を検出する特徴抽出を行い、かつ、他方の画像データに対してオープニング処理とクロージング処理のいずれか1種以上の処理を行ってからラベリング処理を施して、画像処理領域の画素サイズをQ以上とし当該QとPはQ<Pの関係とすることで、前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行い、引き続き、これら特徴抽出された画像処理領域同士を結合し、再度のラベリング処理を行うことを特徴とする。
【0022】
本発明によれば、前記残留物を付着させる前のフィルタを前記撮像カメラにて所定の照明条件下で撮像し取得した背景画像データを予め準備しておき、前記フィルタ上の残留物を前記撮像カメラにて前記照明条件と同じ照明条件下で撮像し取得した前記残留物を含む画像データから前記背景画像データを差分処理することで、得られた画像内の輝度ムラを最小とする。
【0023】
その後、本発明では、差分処理した画像データを分岐させて、分岐した画像データのうち一方の画像データに対してマスク幅Jとして比較的輝度の大きい領域を検出する平均化処理を施して平均化画像を作成し、作成した平均化画像を閾値画像として動的二値化処理を行う。これと平行して、他方の画像データに対してマスク幅Kとし当該KとJはJ<Kの関係とすることで、比較的輝度の小さい領域を検出する平均化処理を施して平均化画像を作成し、作成した平均化画像を閾値画像として動的二値化処理を行い、引き続き、これら動的二値化処理領域同士を結合処理する。
【0024】
ここで、動的二値化処理とは、画像内に輝度ムラがある場合に、閾値を固定せずに、画素ごとに閾値を求めて二値化処理する方法である。
【0025】
本発明によれば、前記残留物の色調(色の濃淡、明暗、強弱等)が一定ない場合であっても、例えば前記残留物の濃い色の箇所と淡い色の箇所とでそれぞれに適切な動的二値化処理を行って画像データを重ね合わせることで前記残留物の実際の輪郭をはっきりとさせる。また例えば前記残留物の表面の一部が鏡面となっている場合には、この鏡面にて照明光が反射されて白色に見えることで、前記残留物内に白く見える部分と黒く見える部分ができることがあるが、前記残留物の白い色の箇所と黒い色の箇所とでそれぞれに適切な動的二値化処理を行って画像データを重ね合わせることで前記残留物の実際の輪郭をはっきりとさせる。
【0026】
本発明は、前記イメージデータがカラーイメージの場合において、前記再度のラベリング処理を行った後、RGB分割処理を行い、引き続き、カラー空間変換処理を行って前記残留物のカラーイメージデータを作成し、予め準備しておいた候補材質のカラーイメージデータとデータ比較することを特徴とする。
【0027】
本発明によれば、前記残留物の材質を推定することができ、RGB分割処理とカラー空間変換処理を併用することで推定精度を高められる。
【0028】
ここで、RGB分割処理とは、Red(赤色)、Green(緑色)、Blue(青色)の色情報ごとに画素解析するものであり、カラー空間変換処理とはRGB以外のカラー空間に変換するものであり、カラー空間としては、YIQ、YUV、ARGYB、CIEXYZ、HLS、HSI、IHS、ISFEUKLID、ISFDIFF、CIELAB、ILI2I3、CIEXYZ2、CIEXYZ3、CIEXYZ4等が挙げられる。特にHSI、IHS、ISFEUKLIDは、異なる金属材質間での特性の差異が大きくなることから、前記残留物が金属材質である場合には、材質の正答率が高くなる。
【0029】
本発明の残留物測定装置は、前記フィルタの上方にレーザ変位計が配されており、当該レーザ変位計と前記フィルタとを相対的に動かすことで前記フィルタ上の前記残留物の高さを読み取ることを特徴とする。
【0030】
本発明によれば、前記残留物の高さ寸法が計測されるので、前記残留物のカラーイメージから求めた面積データから三次元形状やその体積が推測でき、前記残留物の体積データと候補材質の密度とを掛け合わせることで前記残留物の重量を個別に算出することができる。
【発明の効果】
【0031】
本発明によれば、小さなサイズの残留物(粉)から大きなサイズの残留物(屑)まで様々なサイズの残留物を同時に検出する。本発明によれば、得られた画像内の輝度ムラを最小とし、例えば前記残留物の濃い色の箇所と淡い色の箇所とでそれぞれに適切な動的二値化処理を行って画像データを重ね合わせることで前記残留物の実際の輪郭をはっきりとさせ、また例えば前記残留物の白い色の箇所と黒い色の箇所とでそれぞれに適切な動的二値化処理を行って画像データを重ね合わせることで前記残留物の実際の輪郭をはっきりとさせる。
【0032】
本発明によれば、前記残留物の材質を推定することができ、RGB分割処理とカラー空間変換処理を併用することで推定精度を高められる。本発明によれば、前記残留物の高さ寸法が計測されるので、前記残留物のイメージデータから求めた面積データから三次元形状やその体積が推測でき、前記残留物の体積データと候補材質の密度とを掛け合わせることで前記残留物の重量を個別に算出することができる。
【0033】
これら本発明によって、小さなサイズの残留物(粉)から大きなサイズの残留物(屑)まで様々なサイズの残留物を同時に自動検出することができ、従来よりも測定精度の高い残留物測定装置が実現する。
【図面の簡単な説明】
【0034】
【図1】本発明を適用した実施形態の残留物測定手順を例示するフローチャート図である。
【図2】上記実施形態の残留物測定手順の他の例を示すフローチャート図である。
【図3】上記実施形態の残留物測定手順の他の例を示すフローチャート図である。
【図4】上記実施形態の残留物測定手順の他の例を示すフローチャート図である。
【図5】本発明を適用した実施形態の残留物測定装置を示す斜視図である。
【図6】上記実施形態の残留物測定装置のシステム構成を示すブロック図である。
【図7】上記実施形態のフィルタを示す模式図であり、(a)は残留物が付着していない状態の図であり、(b)は残留物が付着している状態の図である。
【図8】上記実施形態の残留物測定結果の表示画面を例示する図である。
【図9】上記実施形態の残留物が付着したフィルタの画像データを示す図であり、(a)は差分処理前の図であり、(b)は差分処理後の図である。
【図10】上記実施形態の残留物が付着したフィルタの画像データと照明強さとの関係を示す図である。
【図11】上記実施形態の残留物が付着したフィルタの画像データを示す図であり、(a)は処理前の画像データを示す図であり、(b)は既知の静的二値化処理を行った状態の画像データを示す図であり、(c)は動的二値化処理を行った状態の画像データを示す図である。
【図12】上記実施形態の残留物の色調が一定でないときの画像データを示す図であり、(a)は処理前の画像データを示す図であり、(b)は既知の静的二値化処理を行った状態の画像データを示す図であり、(c)は動的二値化処理を行った状態の画像データを示す図である。
【図13】上記実施形態の残留物の輝度が一定でないときの画像データを示す図であり、(a)は処理前の画像データを示す図であり、(b)は既知の静的二値化処理を行った状態の画像データを示す図であり、(c)は動的二値化処理を行った状態の画像データを示す図である。
【図14】上記実施形態にてRGB分割処理したときの残留物の材質による赤色度と緑色度との関係を示す散布図である。
【図15】上記実施形態にてIHS変換処理したときの残留物の材質による明度と飽和度との関係を示す散布図である。
【図16】上記実施形態の残留物測定装置の他のシステム構成を示すブロック図である。
【発明を実施するための形態】
【0035】
本発明を実施するための最良の形態を以下に説明する。
【0036】
(本発明の残留物測定方法)
本発明を適用した実施形態の残留物測定手順を例示するフローチャートを図1に示す。本実施形態の残留物測定手順は、上流から順に、差分処理(符号S1)、動的二値化処理(符号S2)、ラベリング処理(符号S3)の順で画像処理が施される。
【0037】
本実施形態では、機械部品をワークとし、洗浄装置によって自動洗浄されたワークに残留した残留物(屑や粉等)90をマニュアル作業で洗い落として当該洗浄液を白色系の濾過フィルタ2にて濾過することで当該フィルタ2に残留物90を付着させて乾燥させた後、当該フィルタ上の残留物90を撮像手段104にて撮像し、取得した残留物90を含む画像データに画像処理を行うことで残留物90のカラーイメージを作成し、当該カラーイメージを測定評価することで前記ワークの洗浄度合いを評価する残留物測定方法を例として、図1に示すフローチャートに沿って前記フィルタ上の残留物測定手順を以下に説明する。
【0038】
本実施形態では、残留物90を付着させる前のフィルタ2(図7(a)を参照)を撮像カメラ104にて所定の照明条件にて上方から撮像して背景画像データを取得したものを予め準備しておき(符号S10)、次に、前記フィルタ2上の残留物90(図7(b)を参照)をフィルタ2と一緒に撮像カメラ104にて前記照明条件と同じ照明条件にて上方から撮像して前記残留物を含む画像データを取得し(符号S11)、前記背景画像データと前記残留物を含む画像データとを差分処理する(符号S12)。
【0039】
図9は、残留物が付着したフィルタ2の画像データを示す図であり、図9(a)は差分処理前の図であり、図9(b)は差分処理後の図である。撮像カメラによって撮像された画像は、一般に、画像中央部が明るくなり、画像周辺部が暗い状態となる(図9(a))。そこで、残留物の無いフィルタ2(例えば未使用のフィルタ)を撮像カメラ104にて所定の照明条件下で撮像して背景画像データを取得したものを予め準備しておき(符号S10)、次に、残留物90が付着したフィルタ2を撮像カメラ104にて前記照明条件と同じ照明条件下で撮像して前記残留物を含む画像データを取得し(符号S11)、前記残留物を含む画像データから前記背景画像データを差し引くことで(符号S12)、得られた画像内の輝度ムラを最小とする。
【0040】
前記残留物90が金属材質である場合、特にアルミニウム、スズ、亜鉛、銀等は白色系の色合いを呈しその表面に光沢があり、表面の一部が鏡面となっていることなどから照明の光を強く反射してハレーションが起きてしまうことがある。このような場合には照明を弱くして撮影し直す必要があるが、例えば前記背景画像データが強い照明でしか取得されていないときには、残留物90が付着したフィルタ2を撮像する際に照明の強さを弱くすると、差分処理後の画像が著しく暗くなってしまう。
そこで、図10の(a1)、(a2)、(a3)に示すように、例えば照明強さを100%、80%、60%というように複数の照明条件下にて前記背景画像データを複数枚ずつ取得してそれぞれの条件ごとに平均化した画像データを予め準備しておき、残留物90が付着したフィルタ2を撮像する際に先ほどの照明の強さと対応した適切な照明強さで撮像し、差分処理を行う。つまり、例えば残留物90が付着したフィルタ2を撮像する際に照明強さを80%とした場合には、図10(a2)の背景画像データを使用して減算処理を行い図10(b2)の画像データを得る。減算処理は画素ごとのグレイ値に対して差分処理され、また、減算の結果、出力値が輝度値の上限値を超えるか、輝度値の下限値を下回ると、その出力値は切除される。本実施形態によれば、照明強さを変更しても均一な画像を得ることができる。
【0041】
そして、差分処理(符号S1)に引き続いて、動的二値化処理(符号S2)を行う。動的二値化処理は、前記差分処理した画像データを分岐させて、分岐した画像データのうち一方の画像データに対してマスク幅Jとして比較的輝度の大きい領域を検出する第1の平均化処理を施して平均化画像を作成し(符号S211)、作成した平均化画像を閾値画像として動的二値化処理を行い(符号S212)、これと平行して、他方の画像データに対してマスク幅Kとし当該KとJはJ<Kの関係とすることで、比較的輝度の小さい領域を検出する第2の平均化処理を施して平均化画像を作成し(符号S221)、作成した平均化画像を閾値画像として動的二値化処理を行い(符号S222)、引き続き、これら動的二値化処理された画像領域同士を結合処理する(符号S23)。
【0042】
前記差分処理によって得られた画像内の輝度ムラは小さくなるが、完全には除去しきれない。また、金属屑などの残留物は、色調(色の濃淡、明暗、強弱等)が一定せず、材質によっても色調が異なる。そこで本実施形態では、動的二値化処理を行うこととした。一般に、画像は中央付近の輝度が高く(明るく)、額縁部分(左端付近や右端付近)の輝度が低い(暗い)ため、閾値を固定せずに、原画像から平均化画像を閾値画像として差し引き、差し引いた後の画像について所定のオフセット値を指定し、オフセットすることで、二値化処理する。
平均化画像を準備する詳細な手順としては、入力画像の全てのグレイ値を用いて線形の平滑化処理を実行し、輝度値の暗い領域と輝度値の明るい領域とで別個のマスクサイズを設けて平均化画像を準備する。輝度値の暗い領域でのマスク幅は、輝度値の明るい領域でのマスク幅よりも大きく設定する。また、輝度値の暗い領域でのオフセット値は、輝度値の明るい領域でのオフセット値よりも大きく設定する。そして、動的二値化処理によって別個に検出した輝度値の暗い領域と、輝度値の明るい領域とを重ね合わせ、その和を計算により求める。
【0043】
図11は、残留物が付着したフィルタの画像データであり、画像内に輝度ムラがある場合の画像処理結果を比較した図である。図11(a)は処理前の画像データを示す図であり、図11(b)は既知の静的二値化処理を行った状態の画像データを示す図であり、図11(c)は動的二値化処理を行った状態の画像データを示す図である。既知の静的二値化処理を行った場合には、輝度の低い額縁部分(左端付近や右端付近)を誤検出してしまい、残留物90との区別がつかない領域が少なからずある。いっぽうで本実施形態の動的二値化処理を行った場合には、輝度の低い額縁部分(左端付近や右端付近)であっても、残留物90を正確に検出できる。
【0044】
図12は、色調が一定でない残留物の画像データを示す図であり、図12(a)は処理前の画像データを示す図であり、図12(b)は既知の静的二値化処理を行った状態の画像データを示す図であり、図12(c)は動的二値化処理を行った状態の画像データを示す図である。既知の静的二値化処理を行った場合には、色合いが薄くなっている残留物90の輪郭部分は検出できていないが、本実施形態の動的二値化処理を行った場合には、色合いが薄くなっていても残留物90の輪郭部分が正確に検出できている。
【0045】
図13は、輝度が一定でない残留物の画像データを示す図であり、図13(a)は処理前の画像データを示す図であり、図13(b)は既知の静的二値化処理を行った状態の画像データを示す図であり、図13(c)は動的二値化処理を行った状態の画像データを示す図である。例えば残留物90がアルミニウム、スズ、亜鉛、銀等の白色系の金属材料であり、表面の一部が鏡面となっている場合には、同一の残留物90内であっても、照明の光を強く反射して白く見える箇所(白っぽく見える箇所)と、照明の光をあまり反射せず黒く見える箇所(黒っぽく見える箇所)とが混在していることがある。 この場合には、1つの平均化画像とオフセット値を設定するだけでは、正確に残留物90の輪郭を検出することができない。
そこで、本実施形態では、残留物90の白く見える箇所に合わせた平均化画像とオフセット値とを設定し、かつ、残留物90の黒く見える箇所に合わせた平均化画像とオフセット値とを設定し、検出したこれらの画像データを重ね合わせている。本実施形態の動的二値化処理を行った場合には、同一の残留物90に白く見える箇所と黒く見える箇所とが混在していても残留物90の輪郭部分が正確に検出できている。
これら本実施形態によれば、前記残留物の色調(色の濃淡、明暗、強弱等)に応じて適切な処理が行われるので、画像内に輝度ムラがあったとしても前記残留物のみを確実に検出する。
【0046】
そして、動的二値化処理(符号S2)に引き続いて、ラベリング処理(符号S3)を行う。ラベリング処理は、前記結合させた画像データを分岐させて、分岐した画像データのうち1つの画像データに対して直ちにラベリング処理(符号S313)を施して前記残留物の第1の特徴抽出(符号S314)を行い、これと平行して、残りの画像データに対して順番にオープニング処理(符号S321)、クロージング処理(符号S322)、ラベリング処理(符号S323)を連続的に施して第2の特徴抽出(符号S324)を行う。そして、これら特徴抽出された画像処理領域同士を結合処理する(符号S33)。このとき、第1の特徴抽出(符号S314)で検出する画像処理領域の画素サイズをP以下とし、第2の特徴抽出(符号S324)で検出する画像処理領域の画素サイズをQ以上とし、当該Qを前記Pよりも小さい値(Q<P)に設定する。
【0047】
第1の特徴抽出(符号S314)では、検出する画像処理領域の画素サイズをP以下とし、サイズの小さい残留物を確実に検出する。残留物の面積を画素サイズで表したPの値は、例えば数十ピクセルから数百ピクセルの範囲内で設定される。これと平行して、順番にオープニング処理(符号S321)、クロージング処理(符号S322)、ラベリング処理(符号S323)、第2の特徴抽出(符号S324)を連続的に行う。オープニング処理(符号S321)では、画素領域に対して、ノイズ、小さな穴、凸凹を除去する。また、クロージング処理(符号S322)では、欠損(カケ)や切れている箇所を繋げ、小さな穴を埋める。第2の特徴抽出(符号S324)では、検出する画像処理領域の画素サイズをQ以上とし、サイズの大きい残留物の輪郭をはっきりとさせて確実に検出する。残留物の面積を画素サイズで表したQの値は、例えば数十ピクセルから数百ピクセルの範囲内で設定される。このとき、残留物90の検出の抜けをなくすため、Q値をP値よりも小さい値に設定する(Q<P)。そして、これら特徴抽出された画像処理領域同士を結合処理し(符号S33)、サイズの小さい残留物(粉)からサイズの大きい残留物(屑)までを同時に検出する。
【0048】
そして、前記画像処理領域同士の結合処理(符号S33)に引き続いて、再度のラベリング処理(符号S4)を行い、検出された残留物の番号付けを行う。そして、再度のラベリング処理(符号S4)に続いて、順番に、RGB分割処理(符号S5)、カラー空間変換処理(符号S6)を行って前記残留物のカラーイメージデータを作成し、予め準備しておいた候補材質のカラーイメージデータとデータ比較し(符号S7)、その結果を表示する(符号S8)。
【0049】
ここで、RGB分割処理(符号S5)は、Red(赤色)、Green(緑色)、Blue(青色)の色情報ごとに画素解析するものであり、前記残留物が金属材質である場合には、カラー空間変換処理(符号S6)は、HSI、IHS、ISFEUKLIDのいずれか1種以上のカラー空間に変換処理することで、材質の正答率を高くすることができる。
【0050】
RGB分割処理(符号S5)の詳細な手順としては、検出された残留物の領域において、誤差を減らすために外側の輪郭部分を僅かに(数ピクセル以下で)除去した内部領域のRGB各々の輝度平均値を取得し、取得した輝度平均値をR、G、Bの三要素に分割し、RGB成分の各平均値を求める。この平均値に基づき既知の計算式によって他のカラー空間に変換し、複数種類のカラー空間で比較を行う。例えば分割したRGB平均値をもとにIHS空間に変換し、I(明度)、H(色調)、S(飽和度)の値を取得し、これらの値と、事前に収集しておいた材料データベースとを照合させることで、残留物がどのような材質であるかの推定をより正確に行うことができる。
【0051】
例えば、算出したRGB平均値が、R=158.7833、G=148.6147、 B=143.497であったとすると、既知の計算式によってIHS空間に変換した値は、I=149.966、H=74.563、S=17.927となり、これらの値と、事前に収集しておいた材料データベースとを照合させることで、残留物の材質が鉄であることが推定できる。
【0052】
図14は、本実施形態にてRGB分割処理したときの残留物の材質による赤色度と緑色度との関係を材料データベースとして例示する散布図であり、図の横軸がRed(赤色)であり、図の縦軸がGreen(緑色)である。図14に示す散布図では、アルミニウムの打点と、鉄の打点と、銅の打点は互いに近接しており、区別し難い。
図15は、本実施形態にてIHS変換処理したときの残留物の材質による明度と飽和度との関係を示す散布図である。図15に示す散布図によれば、アルミニウムの打点と、鉄の打点と、銅の打点とが離れた位置にあるため区別し易い。
本実施形態によれば、RGB分割処理とカラー空間変換処理を併用することで前記残留物の材質の推定精度を高められる。
【0053】
本発明の実施形態の残留物測定手順としては図1に示すフローチャートに限定されず、例えば図1以外にも図2ないし図4のフローチャートに示す残留物測定手順が挙げられる。同一の符号は同じ機能処理であることからそれらの説明を省略しつつ、図2から図4に示すフローチャートについて、図1との相違について以下に説明する。
【0054】
図2に示すフローチャートは、ラベリング処理(符号S3)において、多分岐処理を行っている点が図1と相違する。つまり、符号S2にて動的二値化処理して結合させた画像データを分岐させて、分岐した画像データのうち1つの画像データに対して直ちにラベリング処理(符号S313)を施して前記残留物の第1の特徴抽出(符号S314)を行い、これと平行して、残りの画像データに対してオープニング処理(符号S321)を行い、オープニング処理(符号S321)した画像データを分岐させて、分岐したオープニング処理画像データのうち1つの画像データに対して直ちにラベリング処理(符号S333)を施して前記残留物の第3の特徴抽出(符号S334)を行い、これと平行して、残りのオープニング処理画像データに対してクロージング処理(符号S322)とラベリング処理(符号S323)と第2の特徴抽出(符号S324)を行い、引き続き、これら特徴抽出された画像処理領域同士を結合処理する(符号S33)。このとき、第1の特徴抽出(符号S314)で検出する画像処理領域の画素サイズをP以下とし、第2の特徴抽出(符号S324)で検出する画像処理領域の画素サイズをQ以上とし、第3の特徴抽出(符号S334)で検出する画像処理領域の画素サイズをT以上とし、前記Qを前記Pよりも小さい値(Q<P)に設定し、かつ、前記Tを前記Qよりも小さい値(T<Q)に設定する(T<Q<P)。これら特徴抽出された画像処理領域同士を結合処理し(符号S33)、サイズの小さい残留物からサイズの大きい残留物までの検出力がさらに高くなることが期待できる。
【0055】
図3に示すフローチャートは、背景画像データ取得(図1の符号S10)と差分処理(図1の符号S12)を省いたものであり、例えば、背景画像データがない場合の残留物測定手順を示している。
【0056】
図4に示すフローチャートは、例えば、背景画像データや材質データベースがない場合の残留物測定手順を示している。
【0057】
(本発明の残留物測定装置)
本発明を適用した実施形態の残留物測定装置を示す斜視図を図5に示す。本実施形態の残留物測定装置1は、上述した実施形態の残留物測定方法を適用した装置であり、本体101の正面側にフィルタをセットし出し入れするためのトレイ103と、トレイ開閉ボタン104が配されている。コンピュータ7は本体101に内蔵され、ディスプレイ105とキーボードやマウス等の入力手段106が本体101横に付設されたテーブル上に配されている。
【0058】
図6は、本実施形態の残留物測定装置1のシステム構成を示すブロック図であり、フィルタ2を載置するステージ31と、フィルタ2の上方に配されて照明を当てる照明ランプ41と、フィルタ2上の残留物90を上方から撮像する撮像カメラ104とが本体101内の上部側に配置され、ステージ31を左右(X)、前後(Y)、上下(Z)に可動する制御器32と、照明ランプ41の照明強さを可変する調光器42と、これらを制御するコンピュータ7と当該コンピュータ7上で動作し前記画像データを画像処理する画像処理ソフトウエア5と前記画像データを蓄積するデータベース8と、コンピュータ7上で動作し制御器32と調光器42とを制御する制御ソフトウエア6とが本体101内の下部側に配置されている。撮像カメラ104からの信号はコンピュータ7に取り込まれて、画像処理ソフトウエア5によってデータ処理され、データベース8に蓄積される。ここで、符号107はプリンタやプロッタ等の印刷手段である。本実施形態では、照明ランプ41はリング型であるが、スポットライト型とすることも可能である。
【0059】
図8は、本実施形態の残留物測定結果の表示画面を例示する図であり、符号201は残留物90が付着したフィルタ2を撮像した画像データを示しており、符号202は選択した領域の拡大画像であり、符号203は選択した領域のサムネイル画像であり、符号204は個々の残留物90の最大長、短軸長、面積、推定材質等のデータ一覧表であり、符号205はサイズごとの残留物の度数分布グラフである。
【0060】
本実施形態によれば、サイズの小さい残留物(粉)からサイズの大きい残留物(屑)までを同時に自動検出し、測定評価結果を瞬時に画面表示することができる。
【0061】
図16は上記実施形態の残留物測定装置の他のシステム構成を示すブロック図である。本実施形態では、ステージ31上に柱34が立設固定され、フィルタ2上の残留物90を上方から撮像する撮像カメラ104が柱34の横から伸びたアームに取り付けられており、かつ、上方からフィルタ2上の残留物90の高さを計測するレーザ変位計35が柱34の横から伸びたアームに取り付けられて撮像カメラ104の視野外となる位置に配されている。そして、レーザ変位計35はガントリー型XYZステージによって左右(X)、前後(Y)、上下(Z)に可動し、制御器33を介して、コンピュータ7上で動作し制御ソフトウエア6にて制御される。撮像カメラ104やレーザ変位計35からの信号は制御器33を介してコンピュータ7に取り込まれて、画像処理ソフトウエア5によってデータ処理され、データベース8に蓄積される。図16では、撮像カメラ104とレーザ変位計35とが1本の柱に取り付けられているが、撮像カメラ104とレーザ変位計35とが別個の柱に取り付けられている形態としても構わない。
【0062】
本実施形態によれば、前記残留物90の高さ寸法が計測されるので、残留物90のカラーイメージから求めた面積データから三次元形状やその体積が推測でき、残留物90の体積データと候補材質の密度とを掛け合わせることで残留物90の重量を個別に算出することができる。
【0063】
以上、本発明は、上述した実施の形態に限定されるものではない。フィルタを照らす照明は上方からのみならず多角度的に照明を当ててもよく、背景画像データは、照明強さのみならず、照明の色調を変更した複数種類の背景画像データを準備することができる。ラベリング処理の前段階にて既知の画像処理(マスキング処理、エッジ検出処理等)を行うことは当然にできる。前記残留物のイメージデータは、カラーイメージに限定されるものではなく、白黒イメージやグレースケールに置き換えることも可能である。このように、本発明は、その趣旨を逸脱しない範囲で適宜変更が可能であることは言うまでもない。
【符号の説明】
【0064】
1 残留物測定装置、
2 フィルタ(濾過フィルタ)、
5 画像処理ソフトウエア、
7 コンピュータ、
90 残留物
【技術分野】
【0001】
本発明は、洗浄したワークに残留した残留物(屑や粉等)を測定評価する残留物測定方法及び残留物測定装置に関する。
【背景技術】
【0002】
自動車、航空機、産業機械等に用いられる機械部品や、テレビ、パソコン、携帯電話等に用いられる半導体基板等の電子部品は加工段階では一般にワークと称されており、これらワークの加工の際にはワーク自体から屑や粉等が発生することがあり、加工ツール等からの異物がワークに付着することがある。このような場合、ワークを洗浄して残留物(屑や粉等)を除去してから次工程で取り扱うこととなる。
【0003】
しかし、洗浄条件が不十分(不適切)な場合、洗浄後のワークに残留物(屑や粉等)が基準値を超えて付着していることがある。そこで、ワークを洗浄後、洗浄したワークに残留した残留物(屑や粉等)を洗浄液で洗い落として当該洗浄液をフィルタにて濾過することで当該フィルタに前記残留物を付着させて乾燥させた後、当該フィルタ上の残留物を撮像カメラにて撮像し、取得した残留物を含む画像データに画像処理を行うことで前記残留物のカラーイメージを作成し、当該カラーイメージを測定評価することで前記ワークの洗浄度合いを評価する残留物測定方法や残留物測定装置が知られている(特許文献1から4)。
【0004】
前記フィルタの素材としては、セルロース、ポリカーボネート、ガラス繊維、濾紙、高分子膜等が挙げられ、金属屑(金属片)や金属粉を検査するためのフィルタの外観は主として白色または白色に近い色合いを呈している。
前記残留物(屑や粉等)の素材としては、金属、樹脂、セラミックス等が挙げられるが、機械加工が施された金属製ワークに付着した残留物の大半は金属屑(金属片)や金属粉である。
【0005】
前記残留物のサイズや材質等を推定することは、ワークの洗浄品質管理上、非常に重要な検査作業である。しかしながら、前記フィルタ上の残留物を撮像カメラにて撮像し、取得した残留物を含む画像データに画像処理を行う場合、撮像素子の特性やレンズ収差、照明の不均一性等の影響によって、取得した残留物を含む画像データに輝度ムラが生じ易く、個々の残留物のサイズや材質が推定し難い。このため、従来、各種の取り組みがなされている。
【0006】
特許文献1には、付着物を有するフィルタの乾燥重量から、フィルタ自体の乾燥重量を減算して付着物の総重量を求めるとともに、撮像カメラにて撮像した個々の付着物の画像データを所定の算出手段で求めたサイズの大きい順に整列した表を作成し、ワークの清浄度を判定するとの記載がある。
【0007】
特許文献2には、異物が付着したフィルタを分光カメラにて撮像し、取得した画像データからの色情報に基づき異物の分類を行うことが記載されている。
【0008】
特許文献3には、付着物を有するフィルタを撮像カメラにて撮像し、取得した画像データにいわゆる二値化処理とラベリング処理を施して各付着物のイメージデータの対応する画素に着色処理し、各付着物に対応した長さと面積を求め、レーザ式変位センサによって前記各付着物に対応した高さを求めて、各付着物の体積を算出することが記載されている。
【0009】
特許文献4には、付着物を有するフィルタを撮像カメラにて撮像し、取得した画像データにいわゆる二値化処理とラベリング処理と平滑化処理を施して各付着物のイメージデータからRGBデータを抽出し、HSVデータに変換して、既知のサンプルデータとのパターンマッチングをとることが記載されている。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】特許第3967813号公報
【特許文献2】特開2008−14652号公報
【特許文献3】特開2009−150673号公報
【特許文献4】特開2009−198414号公報
【発明の概要】
【発明が解決しようとする課題】
【0011】
フィルタに付着した残留物(屑や粉等)の個々のサイズは、実際には、小さなサイズの残留物(粉)から大きなサイズの残留物(屑)まで様々である。しかしながら、既知の画像処理方法ではその処理方法に起因して、例えばその長さが数μm〜数十μm程度又は測定装置の分解能レベルの小さなサイズの残留物(粉)のイメージデータを取得しようとすると大きなサイズの残留物(屑)のイメージデータに欠損が生じ易く、大きなサイズの残留物(屑)のイメージデータを取得しようとすると小さなサイズの残留物(粉)のイメージデータが消失し易いという欠点がある。このため、既知の画像処理方法では、小さなサイズの残留物(粉)と大きなサイズの残留物(屑)を同時に検出することができず、このことが影響し、個々の残留物のサイズや材質が推定し難く、測定精度が高いとはいい難い。このように小さいもの(粉)から大きなもの(屑)まで様々な残留物を個別に精度良く検査しようとする場合には、依然として、顕微鏡やCCDカメラ等によって検査員が直接、個々の残留物を目視確認してそのサイズや材質等を推定しているのが現状である。
【0012】
そこで本発明の目的は、小さなサイズの残留物(粉)から大きなサイズの残留物(屑)まで様々なサイズの残留物を同時に検出することが可能な画像処理を行うことで測定精度を向上させた残留物測定方法及び残留物測定装置を提供することにある。
【課題を解決するための手段】
【0013】
本発明の残留物測定方法は、濾過フィルタ上の残留物 (屑や粉等)を撮像カメラにて撮像し、取得した残留物を含む画像データに画像処理を行うことで前記残留物のカラー又はモノクロのイメージデータを作成し、当該イメージデータを測定評価する残留物測定方法において、前記画像データを分岐させて、分岐した画像データのうち一方の画像データに対して直ちにラベリング処理を施して、画像処理領域の画素サイズをP以下として所定サイズの前記残留物を検出する特徴抽出を行い、かつ、他方の画像データに対してオープニング処理とクロージング処理のいずれか1種以上の処理を行ってからラベリング処理を施して、画像処理領域の画素サイズをQ以上とし当該QとPはQ<Pの関係とすることで、前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行い、引き続き、これら特徴抽出された画像処理領域同士を結合した後に再度のラベリング処理を行うことを特徴とする。ここで、カラーは複数の色やその濃淡、色合い等で画像を表す様式であり、モノクロは、主に白黒の単色ないしその濃淡(グレースケール)で画像を表す様式である。
【0014】
本発明の残留物測定装置は、濾過フィルタ上の残留物 (屑や粉等)を撮像カメラにて上方から撮像し、コンピュータが取得した残留物を含む画像データをデータ蓄積手段に蓄積し、取り出して、コンピュータ上で動作し前記画像データを画像処理する画像処理ソフトウエアによって画像処理を行うことで前記残留物のカラー又はモノクロのイメージデータを作成し、当該イメージデータを測定評価する残留物測定装置に関し、前記画像データを分岐させて、分岐した画像データのうち一方の画像データに対して直ちにラベリング処理を施して、画像処理領域の画素サイズをP以下として所定サイズの前記残留物を検出する特徴抽出を行い、かつ、他方の画像データに対してオープニング処理とクロージング処理のいずれか1種以上の処理を行ってからラベリング処理を施して、画像処理領域の画素サイズをQ以上とし当該QとPはQ<Pの関係とすることで、前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行い、引き続き、これら特徴抽出された画像処理領域同士を結合した後に再度のラベリング処理を行うことを特徴とする。
【0015】
本発明では、濾過フィルタ上の残留物 (屑や粉等)を撮像カメラにて撮像し、取得した残留物を含む画像データに適宜、既知の画像処理(差分処理、二値化処理、マスキング処理、エッジ検出処理等のいずれか1種以上の画像処理)を行い、前記画像データを分岐させる。そして、前記分岐した画像データのうち少なくとも1つの画像データに対して直ちにラベリング処理を施して、画像処理領域の画素サイズをP以下として所定サイズの前記残留物を検出する特徴抽出を行う。これと平行して、残りの画像データに対してオープニング処理とクロージング処理のいずれか1種以上の処理を行ってからラベリング処理を施して、画像処理領域の画素サイズをQ以上とし当該QとPはQ<Pの関係とすることで、前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行い、引き続き、これら特徴抽出された画像処理領域同士を結合した後に再度のラベリング処理を行う。ここで、所定サイズの前記残留物とは、例えばその長さが数μm〜数十μm程度又は測定装置の分解能レベルのサイズを意味する。
【0016】
そして、前記特徴抽出においては、前記残留物の検出の抜けをなくすため、所定サイズの前記残留物を検出するための画像処理領域の画素サイズをP以下とし、前記所定サイズよりも大きなサイズの前記残留物を検出するための画像処理領域の画素サイズをQ以上とし、当該Qを前記Pよりも小さい値に設定する(Q<P)。そして引き続き、これら特徴抽出された画像処理領域同士を結合処理する。したがって、本発明によれば、小さなサイズの残留物(粉)から大きなサイズの残留物(屑)まで様々なサイズの残留物を同時に検出する。
【0017】
ここで、オープニング処理とは、画素領域に対してn回収縮処理を行った後,n回膨張処理を行い(nは自然数)、主にノイズを除去するための処理である。また、クロージング処理とは、画素領域に対してn回膨張処理を行った後,n回収縮処理を行い(nは自然数)、主に欠損(カケ)を繋げるための処理である。そして、ラベリング処理とは、画素領域の連結成分を計算し、各領域を分割して番号付けする処理である。
【0018】
本発明は、前記前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行うに際して、オープニング処理、クロージング処理、ラベリング処理の順に処理することを特徴とする。
【0019】
本発明によれば、ノイズを除去するとともに、カケを繋げることで、前記所定サイズよりも大きなサイズの残留物の輪郭がより明確になる。
【0020】
本発明の残留物測定方法は、濾過フィルタ上の残留物 (屑や粉等)を撮像カメラにて撮像し、取得した残留物を含む画像データに画像処理を行うことで前記残留物のカラー又はモノクロのイメージデータを作成し、当該イメージデータを測定評価する残留物測定方法において、前記残留物を付着させる前のフィルタを前記撮像カメラにて所定の照明条件下で撮像し取得した背景画像データを予め準備しておき、前記フィルタ上の残留物を前記撮像カメラにて前記照明条件と同じ照明条件下で撮像し取得した前記残留物を含む画像データから前記背景画像データを差分処理し、その後、差分処理した画像データを分岐させて、分岐した画像データのうち一方の画像データに対してマスク幅Jとして比較的輝度の大きい領域を検出する平均化処理を施して平均化画像を作成し、作成した平均化画像を閾値画像として動的二値化処理を行い、かつ、他方の画像データに対してマスク幅Kとし当該KとJはJ<Kの関係とすることで、比較的輝度の小さい領域を検出する平均化処理を施して平均化画像を作成し、作成した平均化画像を閾値画像として動的二値化処理を行い、引き続き、これら動的二値化処理領域同士を結合処理し、その後、前記画像データを分岐させて、分岐した画像データのうち一方の画像データに対して直ちにラベリング処理を施して、画像処理領域の画素サイズをP以下として所定サイズの前記残留物を検出する特徴抽出を行い、かつ、他方の画像データに対してオープニング処理とクロージング処理のいずれか1種以上の処理を行ってからラベリング処理を施して、画像処理領域の画素サイズをQ以上とし当該QとPはQ<Pの関係とすることで、前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行い、引き続き、これら特徴抽出された画像処理領域同士を結合し、再度のラベリング処理を行うことを特徴とする。
【0021】
本発明の残留物測定装置は、濾過フィルタ上の残留物 (屑や粉等)を撮像カメラにて上方から撮像し、コンピュータが取得した残留物を含む画像データをデータ蓄積手段に蓄積し、取り出して、コンピュータ上で動作し前記画像データを画像処理する画像処理ソフトウエアによって画像処理を行うことで前記残留物のカラー又はモノクロのイメージデータを作成し、当該イメージデータを測定評価する残留物測定装置に関し、前記残留物を付着させる前のフィルタを前記撮像カメラにて所定の照明条件下で撮像し取得した背景画像データを予め準備しておき、前記フィルタ上の残留物を前記撮像カメラにて前記照明条件と同じ照明条件下で撮像し取得した前記残留物を含む画像データから前記背景画像データを差分処理し、その後、差分処理した画像データを分岐させて、分岐した画像データのうち一方の画像データに対してマスク幅Jとして比較的輝度の大きい領域を検出する平均化処理を施して平均化画像を作成し、作成した平均化画像を閾値画像として動的二値化処理を行い、かつ、他方の画像データに対してマスク幅Kとし当該KとJはJ<Kの関係とすることで、比較的輝度の小さい領域を検出する平均化処理を施して平均化画像を作成し、作成した平均化画像を閾値画像として動的二値化処理を行い、引き続き、これら動的二値化処理領域同士を結合処理し、その後、前記画像データを分岐させて、分岐した画像データのうち一方の画像データに対して直ちにラベリング処理を施して、画像処理領域の画素サイズをP以下として所定サイズの前記残留物を検出する特徴抽出を行い、かつ、他方の画像データに対してオープニング処理とクロージング処理のいずれか1種以上の処理を行ってからラベリング処理を施して、画像処理領域の画素サイズをQ以上とし当該QとPはQ<Pの関係とすることで、前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行い、引き続き、これら特徴抽出された画像処理領域同士を結合し、再度のラベリング処理を行うことを特徴とする。
【0022】
本発明によれば、前記残留物を付着させる前のフィルタを前記撮像カメラにて所定の照明条件下で撮像し取得した背景画像データを予め準備しておき、前記フィルタ上の残留物を前記撮像カメラにて前記照明条件と同じ照明条件下で撮像し取得した前記残留物を含む画像データから前記背景画像データを差分処理することで、得られた画像内の輝度ムラを最小とする。
【0023】
その後、本発明では、差分処理した画像データを分岐させて、分岐した画像データのうち一方の画像データに対してマスク幅Jとして比較的輝度の大きい領域を検出する平均化処理を施して平均化画像を作成し、作成した平均化画像を閾値画像として動的二値化処理を行う。これと平行して、他方の画像データに対してマスク幅Kとし当該KとJはJ<Kの関係とすることで、比較的輝度の小さい領域を検出する平均化処理を施して平均化画像を作成し、作成した平均化画像を閾値画像として動的二値化処理を行い、引き続き、これら動的二値化処理領域同士を結合処理する。
【0024】
ここで、動的二値化処理とは、画像内に輝度ムラがある場合に、閾値を固定せずに、画素ごとに閾値を求めて二値化処理する方法である。
【0025】
本発明によれば、前記残留物の色調(色の濃淡、明暗、強弱等)が一定ない場合であっても、例えば前記残留物の濃い色の箇所と淡い色の箇所とでそれぞれに適切な動的二値化処理を行って画像データを重ね合わせることで前記残留物の実際の輪郭をはっきりとさせる。また例えば前記残留物の表面の一部が鏡面となっている場合には、この鏡面にて照明光が反射されて白色に見えることで、前記残留物内に白く見える部分と黒く見える部分ができることがあるが、前記残留物の白い色の箇所と黒い色の箇所とでそれぞれに適切な動的二値化処理を行って画像データを重ね合わせることで前記残留物の実際の輪郭をはっきりとさせる。
【0026】
本発明は、前記イメージデータがカラーイメージの場合において、前記再度のラベリング処理を行った後、RGB分割処理を行い、引き続き、カラー空間変換処理を行って前記残留物のカラーイメージデータを作成し、予め準備しておいた候補材質のカラーイメージデータとデータ比較することを特徴とする。
【0027】
本発明によれば、前記残留物の材質を推定することができ、RGB分割処理とカラー空間変換処理を併用することで推定精度を高められる。
【0028】
ここで、RGB分割処理とは、Red(赤色)、Green(緑色)、Blue(青色)の色情報ごとに画素解析するものであり、カラー空間変換処理とはRGB以外のカラー空間に変換するものであり、カラー空間としては、YIQ、YUV、ARGYB、CIEXYZ、HLS、HSI、IHS、ISFEUKLID、ISFDIFF、CIELAB、ILI2I3、CIEXYZ2、CIEXYZ3、CIEXYZ4等が挙げられる。特にHSI、IHS、ISFEUKLIDは、異なる金属材質間での特性の差異が大きくなることから、前記残留物が金属材質である場合には、材質の正答率が高くなる。
【0029】
本発明の残留物測定装置は、前記フィルタの上方にレーザ変位計が配されており、当該レーザ変位計と前記フィルタとを相対的に動かすことで前記フィルタ上の前記残留物の高さを読み取ることを特徴とする。
【0030】
本発明によれば、前記残留物の高さ寸法が計測されるので、前記残留物のカラーイメージから求めた面積データから三次元形状やその体積が推測でき、前記残留物の体積データと候補材質の密度とを掛け合わせることで前記残留物の重量を個別に算出することができる。
【発明の効果】
【0031】
本発明によれば、小さなサイズの残留物(粉)から大きなサイズの残留物(屑)まで様々なサイズの残留物を同時に検出する。本発明によれば、得られた画像内の輝度ムラを最小とし、例えば前記残留物の濃い色の箇所と淡い色の箇所とでそれぞれに適切な動的二値化処理を行って画像データを重ね合わせることで前記残留物の実際の輪郭をはっきりとさせ、また例えば前記残留物の白い色の箇所と黒い色の箇所とでそれぞれに適切な動的二値化処理を行って画像データを重ね合わせることで前記残留物の実際の輪郭をはっきりとさせる。
【0032】
本発明によれば、前記残留物の材質を推定することができ、RGB分割処理とカラー空間変換処理を併用することで推定精度を高められる。本発明によれば、前記残留物の高さ寸法が計測されるので、前記残留物のイメージデータから求めた面積データから三次元形状やその体積が推測でき、前記残留物の体積データと候補材質の密度とを掛け合わせることで前記残留物の重量を個別に算出することができる。
【0033】
これら本発明によって、小さなサイズの残留物(粉)から大きなサイズの残留物(屑)まで様々なサイズの残留物を同時に自動検出することができ、従来よりも測定精度の高い残留物測定装置が実現する。
【図面の簡単な説明】
【0034】
【図1】本発明を適用した実施形態の残留物測定手順を例示するフローチャート図である。
【図2】上記実施形態の残留物測定手順の他の例を示すフローチャート図である。
【図3】上記実施形態の残留物測定手順の他の例を示すフローチャート図である。
【図4】上記実施形態の残留物測定手順の他の例を示すフローチャート図である。
【図5】本発明を適用した実施形態の残留物測定装置を示す斜視図である。
【図6】上記実施形態の残留物測定装置のシステム構成を示すブロック図である。
【図7】上記実施形態のフィルタを示す模式図であり、(a)は残留物が付着していない状態の図であり、(b)は残留物が付着している状態の図である。
【図8】上記実施形態の残留物測定結果の表示画面を例示する図である。
【図9】上記実施形態の残留物が付着したフィルタの画像データを示す図であり、(a)は差分処理前の図であり、(b)は差分処理後の図である。
【図10】上記実施形態の残留物が付着したフィルタの画像データと照明強さとの関係を示す図である。
【図11】上記実施形態の残留物が付着したフィルタの画像データを示す図であり、(a)は処理前の画像データを示す図であり、(b)は既知の静的二値化処理を行った状態の画像データを示す図であり、(c)は動的二値化処理を行った状態の画像データを示す図である。
【図12】上記実施形態の残留物の色調が一定でないときの画像データを示す図であり、(a)は処理前の画像データを示す図であり、(b)は既知の静的二値化処理を行った状態の画像データを示す図であり、(c)は動的二値化処理を行った状態の画像データを示す図である。
【図13】上記実施形態の残留物の輝度が一定でないときの画像データを示す図であり、(a)は処理前の画像データを示す図であり、(b)は既知の静的二値化処理を行った状態の画像データを示す図であり、(c)は動的二値化処理を行った状態の画像データを示す図である。
【図14】上記実施形態にてRGB分割処理したときの残留物の材質による赤色度と緑色度との関係を示す散布図である。
【図15】上記実施形態にてIHS変換処理したときの残留物の材質による明度と飽和度との関係を示す散布図である。
【図16】上記実施形態の残留物測定装置の他のシステム構成を示すブロック図である。
【発明を実施するための形態】
【0035】
本発明を実施するための最良の形態を以下に説明する。
【0036】
(本発明の残留物測定方法)
本発明を適用した実施形態の残留物測定手順を例示するフローチャートを図1に示す。本実施形態の残留物測定手順は、上流から順に、差分処理(符号S1)、動的二値化処理(符号S2)、ラベリング処理(符号S3)の順で画像処理が施される。
【0037】
本実施形態では、機械部品をワークとし、洗浄装置によって自動洗浄されたワークに残留した残留物(屑や粉等)90をマニュアル作業で洗い落として当該洗浄液を白色系の濾過フィルタ2にて濾過することで当該フィルタ2に残留物90を付着させて乾燥させた後、当該フィルタ上の残留物90を撮像手段104にて撮像し、取得した残留物90を含む画像データに画像処理を行うことで残留物90のカラーイメージを作成し、当該カラーイメージを測定評価することで前記ワークの洗浄度合いを評価する残留物測定方法を例として、図1に示すフローチャートに沿って前記フィルタ上の残留物測定手順を以下に説明する。
【0038】
本実施形態では、残留物90を付着させる前のフィルタ2(図7(a)を参照)を撮像カメラ104にて所定の照明条件にて上方から撮像して背景画像データを取得したものを予め準備しておき(符号S10)、次に、前記フィルタ2上の残留物90(図7(b)を参照)をフィルタ2と一緒に撮像カメラ104にて前記照明条件と同じ照明条件にて上方から撮像して前記残留物を含む画像データを取得し(符号S11)、前記背景画像データと前記残留物を含む画像データとを差分処理する(符号S12)。
【0039】
図9は、残留物が付着したフィルタ2の画像データを示す図であり、図9(a)は差分処理前の図であり、図9(b)は差分処理後の図である。撮像カメラによって撮像された画像は、一般に、画像中央部が明るくなり、画像周辺部が暗い状態となる(図9(a))。そこで、残留物の無いフィルタ2(例えば未使用のフィルタ)を撮像カメラ104にて所定の照明条件下で撮像して背景画像データを取得したものを予め準備しておき(符号S10)、次に、残留物90が付着したフィルタ2を撮像カメラ104にて前記照明条件と同じ照明条件下で撮像して前記残留物を含む画像データを取得し(符号S11)、前記残留物を含む画像データから前記背景画像データを差し引くことで(符号S12)、得られた画像内の輝度ムラを最小とする。
【0040】
前記残留物90が金属材質である場合、特にアルミニウム、スズ、亜鉛、銀等は白色系の色合いを呈しその表面に光沢があり、表面の一部が鏡面となっていることなどから照明の光を強く反射してハレーションが起きてしまうことがある。このような場合には照明を弱くして撮影し直す必要があるが、例えば前記背景画像データが強い照明でしか取得されていないときには、残留物90が付着したフィルタ2を撮像する際に照明の強さを弱くすると、差分処理後の画像が著しく暗くなってしまう。
そこで、図10の(a1)、(a2)、(a3)に示すように、例えば照明強さを100%、80%、60%というように複数の照明条件下にて前記背景画像データを複数枚ずつ取得してそれぞれの条件ごとに平均化した画像データを予め準備しておき、残留物90が付着したフィルタ2を撮像する際に先ほどの照明の強さと対応した適切な照明強さで撮像し、差分処理を行う。つまり、例えば残留物90が付着したフィルタ2を撮像する際に照明強さを80%とした場合には、図10(a2)の背景画像データを使用して減算処理を行い図10(b2)の画像データを得る。減算処理は画素ごとのグレイ値に対して差分処理され、また、減算の結果、出力値が輝度値の上限値を超えるか、輝度値の下限値を下回ると、その出力値は切除される。本実施形態によれば、照明強さを変更しても均一な画像を得ることができる。
【0041】
そして、差分処理(符号S1)に引き続いて、動的二値化処理(符号S2)を行う。動的二値化処理は、前記差分処理した画像データを分岐させて、分岐した画像データのうち一方の画像データに対してマスク幅Jとして比較的輝度の大きい領域を検出する第1の平均化処理を施して平均化画像を作成し(符号S211)、作成した平均化画像を閾値画像として動的二値化処理を行い(符号S212)、これと平行して、他方の画像データに対してマスク幅Kとし当該KとJはJ<Kの関係とすることで、比較的輝度の小さい領域を検出する第2の平均化処理を施して平均化画像を作成し(符号S221)、作成した平均化画像を閾値画像として動的二値化処理を行い(符号S222)、引き続き、これら動的二値化処理された画像領域同士を結合処理する(符号S23)。
【0042】
前記差分処理によって得られた画像内の輝度ムラは小さくなるが、完全には除去しきれない。また、金属屑などの残留物は、色調(色の濃淡、明暗、強弱等)が一定せず、材質によっても色調が異なる。そこで本実施形態では、動的二値化処理を行うこととした。一般に、画像は中央付近の輝度が高く(明るく)、額縁部分(左端付近や右端付近)の輝度が低い(暗い)ため、閾値を固定せずに、原画像から平均化画像を閾値画像として差し引き、差し引いた後の画像について所定のオフセット値を指定し、オフセットすることで、二値化処理する。
平均化画像を準備する詳細な手順としては、入力画像の全てのグレイ値を用いて線形の平滑化処理を実行し、輝度値の暗い領域と輝度値の明るい領域とで別個のマスクサイズを設けて平均化画像を準備する。輝度値の暗い領域でのマスク幅は、輝度値の明るい領域でのマスク幅よりも大きく設定する。また、輝度値の暗い領域でのオフセット値は、輝度値の明るい領域でのオフセット値よりも大きく設定する。そして、動的二値化処理によって別個に検出した輝度値の暗い領域と、輝度値の明るい領域とを重ね合わせ、その和を計算により求める。
【0043】
図11は、残留物が付着したフィルタの画像データであり、画像内に輝度ムラがある場合の画像処理結果を比較した図である。図11(a)は処理前の画像データを示す図であり、図11(b)は既知の静的二値化処理を行った状態の画像データを示す図であり、図11(c)は動的二値化処理を行った状態の画像データを示す図である。既知の静的二値化処理を行った場合には、輝度の低い額縁部分(左端付近や右端付近)を誤検出してしまい、残留物90との区別がつかない領域が少なからずある。いっぽうで本実施形態の動的二値化処理を行った場合には、輝度の低い額縁部分(左端付近や右端付近)であっても、残留物90を正確に検出できる。
【0044】
図12は、色調が一定でない残留物の画像データを示す図であり、図12(a)は処理前の画像データを示す図であり、図12(b)は既知の静的二値化処理を行った状態の画像データを示す図であり、図12(c)は動的二値化処理を行った状態の画像データを示す図である。既知の静的二値化処理を行った場合には、色合いが薄くなっている残留物90の輪郭部分は検出できていないが、本実施形態の動的二値化処理を行った場合には、色合いが薄くなっていても残留物90の輪郭部分が正確に検出できている。
【0045】
図13は、輝度が一定でない残留物の画像データを示す図であり、図13(a)は処理前の画像データを示す図であり、図13(b)は既知の静的二値化処理を行った状態の画像データを示す図であり、図13(c)は動的二値化処理を行った状態の画像データを示す図である。例えば残留物90がアルミニウム、スズ、亜鉛、銀等の白色系の金属材料であり、表面の一部が鏡面となっている場合には、同一の残留物90内であっても、照明の光を強く反射して白く見える箇所(白っぽく見える箇所)と、照明の光をあまり反射せず黒く見える箇所(黒っぽく見える箇所)とが混在していることがある。 この場合には、1つの平均化画像とオフセット値を設定するだけでは、正確に残留物90の輪郭を検出することができない。
そこで、本実施形態では、残留物90の白く見える箇所に合わせた平均化画像とオフセット値とを設定し、かつ、残留物90の黒く見える箇所に合わせた平均化画像とオフセット値とを設定し、検出したこれらの画像データを重ね合わせている。本実施形態の動的二値化処理を行った場合には、同一の残留物90に白く見える箇所と黒く見える箇所とが混在していても残留物90の輪郭部分が正確に検出できている。
これら本実施形態によれば、前記残留物の色調(色の濃淡、明暗、強弱等)に応じて適切な処理が行われるので、画像内に輝度ムラがあったとしても前記残留物のみを確実に検出する。
【0046】
そして、動的二値化処理(符号S2)に引き続いて、ラベリング処理(符号S3)を行う。ラベリング処理は、前記結合させた画像データを分岐させて、分岐した画像データのうち1つの画像データに対して直ちにラベリング処理(符号S313)を施して前記残留物の第1の特徴抽出(符号S314)を行い、これと平行して、残りの画像データに対して順番にオープニング処理(符号S321)、クロージング処理(符号S322)、ラベリング処理(符号S323)を連続的に施して第2の特徴抽出(符号S324)を行う。そして、これら特徴抽出された画像処理領域同士を結合処理する(符号S33)。このとき、第1の特徴抽出(符号S314)で検出する画像処理領域の画素サイズをP以下とし、第2の特徴抽出(符号S324)で検出する画像処理領域の画素サイズをQ以上とし、当該Qを前記Pよりも小さい値(Q<P)に設定する。
【0047】
第1の特徴抽出(符号S314)では、検出する画像処理領域の画素サイズをP以下とし、サイズの小さい残留物を確実に検出する。残留物の面積を画素サイズで表したPの値は、例えば数十ピクセルから数百ピクセルの範囲内で設定される。これと平行して、順番にオープニング処理(符号S321)、クロージング処理(符号S322)、ラベリング処理(符号S323)、第2の特徴抽出(符号S324)を連続的に行う。オープニング処理(符号S321)では、画素領域に対して、ノイズ、小さな穴、凸凹を除去する。また、クロージング処理(符号S322)では、欠損(カケ)や切れている箇所を繋げ、小さな穴を埋める。第2の特徴抽出(符号S324)では、検出する画像処理領域の画素サイズをQ以上とし、サイズの大きい残留物の輪郭をはっきりとさせて確実に検出する。残留物の面積を画素サイズで表したQの値は、例えば数十ピクセルから数百ピクセルの範囲内で設定される。このとき、残留物90の検出の抜けをなくすため、Q値をP値よりも小さい値に設定する(Q<P)。そして、これら特徴抽出された画像処理領域同士を結合処理し(符号S33)、サイズの小さい残留物(粉)からサイズの大きい残留物(屑)までを同時に検出する。
【0048】
そして、前記画像処理領域同士の結合処理(符号S33)に引き続いて、再度のラベリング処理(符号S4)を行い、検出された残留物の番号付けを行う。そして、再度のラベリング処理(符号S4)に続いて、順番に、RGB分割処理(符号S5)、カラー空間変換処理(符号S6)を行って前記残留物のカラーイメージデータを作成し、予め準備しておいた候補材質のカラーイメージデータとデータ比較し(符号S7)、その結果を表示する(符号S8)。
【0049】
ここで、RGB分割処理(符号S5)は、Red(赤色)、Green(緑色)、Blue(青色)の色情報ごとに画素解析するものであり、前記残留物が金属材質である場合には、カラー空間変換処理(符号S6)は、HSI、IHS、ISFEUKLIDのいずれか1種以上のカラー空間に変換処理することで、材質の正答率を高くすることができる。
【0050】
RGB分割処理(符号S5)の詳細な手順としては、検出された残留物の領域において、誤差を減らすために外側の輪郭部分を僅かに(数ピクセル以下で)除去した内部領域のRGB各々の輝度平均値を取得し、取得した輝度平均値をR、G、Bの三要素に分割し、RGB成分の各平均値を求める。この平均値に基づき既知の計算式によって他のカラー空間に変換し、複数種類のカラー空間で比較を行う。例えば分割したRGB平均値をもとにIHS空間に変換し、I(明度)、H(色調)、S(飽和度)の値を取得し、これらの値と、事前に収集しておいた材料データベースとを照合させることで、残留物がどのような材質であるかの推定をより正確に行うことができる。
【0051】
例えば、算出したRGB平均値が、R=158.7833、G=148.6147、 B=143.497であったとすると、既知の計算式によってIHS空間に変換した値は、I=149.966、H=74.563、S=17.927となり、これらの値と、事前に収集しておいた材料データベースとを照合させることで、残留物の材質が鉄であることが推定できる。
【0052】
図14は、本実施形態にてRGB分割処理したときの残留物の材質による赤色度と緑色度との関係を材料データベースとして例示する散布図であり、図の横軸がRed(赤色)であり、図の縦軸がGreen(緑色)である。図14に示す散布図では、アルミニウムの打点と、鉄の打点と、銅の打点は互いに近接しており、区別し難い。
図15は、本実施形態にてIHS変換処理したときの残留物の材質による明度と飽和度との関係を示す散布図である。図15に示す散布図によれば、アルミニウムの打点と、鉄の打点と、銅の打点とが離れた位置にあるため区別し易い。
本実施形態によれば、RGB分割処理とカラー空間変換処理を併用することで前記残留物の材質の推定精度を高められる。
【0053】
本発明の実施形態の残留物測定手順としては図1に示すフローチャートに限定されず、例えば図1以外にも図2ないし図4のフローチャートに示す残留物測定手順が挙げられる。同一の符号は同じ機能処理であることからそれらの説明を省略しつつ、図2から図4に示すフローチャートについて、図1との相違について以下に説明する。
【0054】
図2に示すフローチャートは、ラベリング処理(符号S3)において、多分岐処理を行っている点が図1と相違する。つまり、符号S2にて動的二値化処理して結合させた画像データを分岐させて、分岐した画像データのうち1つの画像データに対して直ちにラベリング処理(符号S313)を施して前記残留物の第1の特徴抽出(符号S314)を行い、これと平行して、残りの画像データに対してオープニング処理(符号S321)を行い、オープニング処理(符号S321)した画像データを分岐させて、分岐したオープニング処理画像データのうち1つの画像データに対して直ちにラベリング処理(符号S333)を施して前記残留物の第3の特徴抽出(符号S334)を行い、これと平行して、残りのオープニング処理画像データに対してクロージング処理(符号S322)とラベリング処理(符号S323)と第2の特徴抽出(符号S324)を行い、引き続き、これら特徴抽出された画像処理領域同士を結合処理する(符号S33)。このとき、第1の特徴抽出(符号S314)で検出する画像処理領域の画素サイズをP以下とし、第2の特徴抽出(符号S324)で検出する画像処理領域の画素サイズをQ以上とし、第3の特徴抽出(符号S334)で検出する画像処理領域の画素サイズをT以上とし、前記Qを前記Pよりも小さい値(Q<P)に設定し、かつ、前記Tを前記Qよりも小さい値(T<Q)に設定する(T<Q<P)。これら特徴抽出された画像処理領域同士を結合処理し(符号S33)、サイズの小さい残留物からサイズの大きい残留物までの検出力がさらに高くなることが期待できる。
【0055】
図3に示すフローチャートは、背景画像データ取得(図1の符号S10)と差分処理(図1の符号S12)を省いたものであり、例えば、背景画像データがない場合の残留物測定手順を示している。
【0056】
図4に示すフローチャートは、例えば、背景画像データや材質データベースがない場合の残留物測定手順を示している。
【0057】
(本発明の残留物測定装置)
本発明を適用した実施形態の残留物測定装置を示す斜視図を図5に示す。本実施形態の残留物測定装置1は、上述した実施形態の残留物測定方法を適用した装置であり、本体101の正面側にフィルタをセットし出し入れするためのトレイ103と、トレイ開閉ボタン104が配されている。コンピュータ7は本体101に内蔵され、ディスプレイ105とキーボードやマウス等の入力手段106が本体101横に付設されたテーブル上に配されている。
【0058】
図6は、本実施形態の残留物測定装置1のシステム構成を示すブロック図であり、フィルタ2を載置するステージ31と、フィルタ2の上方に配されて照明を当てる照明ランプ41と、フィルタ2上の残留物90を上方から撮像する撮像カメラ104とが本体101内の上部側に配置され、ステージ31を左右(X)、前後(Y)、上下(Z)に可動する制御器32と、照明ランプ41の照明強さを可変する調光器42と、これらを制御するコンピュータ7と当該コンピュータ7上で動作し前記画像データを画像処理する画像処理ソフトウエア5と前記画像データを蓄積するデータベース8と、コンピュータ7上で動作し制御器32と調光器42とを制御する制御ソフトウエア6とが本体101内の下部側に配置されている。撮像カメラ104からの信号はコンピュータ7に取り込まれて、画像処理ソフトウエア5によってデータ処理され、データベース8に蓄積される。ここで、符号107はプリンタやプロッタ等の印刷手段である。本実施形態では、照明ランプ41はリング型であるが、スポットライト型とすることも可能である。
【0059】
図8は、本実施形態の残留物測定結果の表示画面を例示する図であり、符号201は残留物90が付着したフィルタ2を撮像した画像データを示しており、符号202は選択した領域の拡大画像であり、符号203は選択した領域のサムネイル画像であり、符号204は個々の残留物90の最大長、短軸長、面積、推定材質等のデータ一覧表であり、符号205はサイズごとの残留物の度数分布グラフである。
【0060】
本実施形態によれば、サイズの小さい残留物(粉)からサイズの大きい残留物(屑)までを同時に自動検出し、測定評価結果を瞬時に画面表示することができる。
【0061】
図16は上記実施形態の残留物測定装置の他のシステム構成を示すブロック図である。本実施形態では、ステージ31上に柱34が立設固定され、フィルタ2上の残留物90を上方から撮像する撮像カメラ104が柱34の横から伸びたアームに取り付けられており、かつ、上方からフィルタ2上の残留物90の高さを計測するレーザ変位計35が柱34の横から伸びたアームに取り付けられて撮像カメラ104の視野外となる位置に配されている。そして、レーザ変位計35はガントリー型XYZステージによって左右(X)、前後(Y)、上下(Z)に可動し、制御器33を介して、コンピュータ7上で動作し制御ソフトウエア6にて制御される。撮像カメラ104やレーザ変位計35からの信号は制御器33を介してコンピュータ7に取り込まれて、画像処理ソフトウエア5によってデータ処理され、データベース8に蓄積される。図16では、撮像カメラ104とレーザ変位計35とが1本の柱に取り付けられているが、撮像カメラ104とレーザ変位計35とが別個の柱に取り付けられている形態としても構わない。
【0062】
本実施形態によれば、前記残留物90の高さ寸法が計測されるので、残留物90のカラーイメージから求めた面積データから三次元形状やその体積が推測でき、残留物90の体積データと候補材質の密度とを掛け合わせることで残留物90の重量を個別に算出することができる。
【0063】
以上、本発明は、上述した実施の形態に限定されるものではない。フィルタを照らす照明は上方からのみならず多角度的に照明を当ててもよく、背景画像データは、照明強さのみならず、照明の色調を変更した複数種類の背景画像データを準備することができる。ラベリング処理の前段階にて既知の画像処理(マスキング処理、エッジ検出処理等)を行うことは当然にできる。前記残留物のイメージデータは、カラーイメージに限定されるものではなく、白黒イメージやグレースケールに置き換えることも可能である。このように、本発明は、その趣旨を逸脱しない範囲で適宜変更が可能であることは言うまでもない。
【符号の説明】
【0064】
1 残留物測定装置、
2 フィルタ(濾過フィルタ)、
5 画像処理ソフトウエア、
7 コンピュータ、
90 残留物
【特許請求の範囲】
【請求項1】
濾過フィルタ上の残留物 (屑や粉等)を撮像カメラにて撮像し、取得した残留物を含む画像データに画像処理を行うことで前記残留物のカラー又はモノクロのイメージデータを作成し、当該イメージデータを測定評価する残留物測定方法において、
前記画像データを分岐させて、分岐した画像データのうち一方の画像データに対して直ちにラベリング処理を施して、画像処理領域の画素サイズをP以下として所定サイズの前記残留物を検出する特徴抽出を行い、かつ、他方の画像データに対してオープニング処理とクロージング処理のいずれか1種以上の処理を行ってからラベリング処理を施して、画像処理領域の画素サイズをQ以上とし当該QとPはQ<Pの関係とすることで、前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行い、引き続き、これら特徴抽出された画像処理領域同士を結合した後に再度のラベリング処理を行うことを特徴とする残留物測定方法。
【請求項2】
濾過フィルタ上の残留物 (屑や粉等)を撮像カメラにて撮像し、取得した残留物を含む画像データに画像処理を行うことで前記残留物のカラー又はモノクロのイメージデータを作成し、当該イメージデータを測定評価する残留物測定方法において、
前記残留物を付着させる前のフィルタを前記撮像カメラにて所定の照明条件下で撮像し取得した背景画像データを予め準備しておき、前記フィルタ上の残留物を前記撮像カメラにて前記照明条件と同じ照明条件下で撮像し取得した前記残留物を含む画像データから前記背景画像データを差分処理し、その後、差分処理した画像データを分岐させて、分岐した画像データのうち一方の画像データに対してマスク幅Jとして比較的輝度の大きい領域を検出する平均化処理を施して平均化画像を作成し、作成した平均化画像を閾値画像として動的二値化処理を行い、かつ、他方の画像データに対してマスク幅Kとし当該KとJはJ<Kの関係とすることで、比較的輝度の小さい領域を検出する平均化処理を施して平均化画像を作成し、作成した平均化画像を閾値画像として動的二値化処理を行い、引き続き、これら動的二値化処理領域同士を結合処理し、その後、前記画像データを分岐させて、分岐した画像データのうち一方の画像データに対して直ちにラベリング処理を施して、画像処理領域の画素サイズをP以下として所定サイズの前記残留物を検出する特徴抽出を行い、かつ、他方の画像データに対してオープニング処理とクロージング処理のいずれか1種以上の処理を行ってからラベリング処理を施して、画像処理領域の画素サイズをQ以上とし当該QとPはQ<Pの関係とすることで、前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行い、引き続き、これら特徴抽出された画像処理領域同士を結合し、再度のラベリング処理を行うことを特徴とする残留物測定方法。
【請求項3】
前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行うに際して、オープニング処理、クロージング処理、ラベリング処理の順に処理することを特徴とする請求項1または2に記載の残留物測定方法。
【請求項4】
前記イメージデータがカラーイメージの場合において、前記再度のラベリング処理を行った後、RGB分割処理を行い、引き続き、カラー空間変換処理を行って前記残留物のカラーイメージデータを作成し、予め準備しておいた候補材質のカラーイメージデータとデータ比較することを特徴とする請求項1ないし3のいずれか一項に記載の残留物測定方法。
【請求項5】
濾過フィルタ上の残留物 (屑や粉等)を撮像カメラにて上方から撮像し、コンピュータが取得した残留物を含む画像データをデータ蓄積手段に蓄積し、取り出して、コンピュータ上で動作し前記画像データを画像処理する画像処理ソフトウエアによって画像処理を行うことで前記残留物のカラー又はモノクロのイメージデータを作成し、当該イメージデータを測定評価する残留物測定装置に関し、
前記画像データを分岐させて、分岐した画像データのうち一方の画像データに対して直ちにラベリング処理を施して、画像処理領域の画素サイズをP以下として所定サイズの前記残留物を検出する特徴抽出を行い、かつ、他方の画像データに対してオープニング処理とクロージング処理のいずれか1種以上の処理を行ってからラベリング処理を施して、画像処理領域の画素サイズをQ以上とし当該QとPはQ<Pの関係とすることで、前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行い、引き続き、これら特徴抽出された画像処理領域同士を結合した後に再度のラベリング処理を行うことを特徴とする残留物測定装置。
【請求項6】
濾過フィルタ上の残留物 (屑や粉等)を撮像カメラにて上方から撮像し、コンピュータが取得した残留物を含む画像データをデータ蓄積手段に蓄積し、取り出して、コンピュータ上で動作し前記画像データを画像処理する画像処理ソフトウエアによって画像処理を行うことで前記残留物の又はモノクロのイメージデータを作成し、当該イメージデータを測定評価する残留物測定装置に関し、
前記残留物を付着させる前のフィルタを前記撮像カメラにて所定の照明条件下で撮像し取得した背景画像データを予め準備しておき、前記フィルタ上の残留物を前記撮像カメラにて前記照明条件と同じ照明条件下で撮像し取得した前記残留物を含む画像データから前記背景画像データを差分処理し、その後、差分処理した画像データを分岐させて、分岐した画像データのうち一方の画像データに対してマスク幅Jとして比較的輝度の大きい領域を検出する平均化処理を施して平均化画像を作成し、作成した平均化画像を閾値画像として動的二値化処理を行い、かつ、他方の画像データに対してマスク幅Kとし当該KとJはJ<Kの関係とすることで、比較的輝度の小さい領域を検出する平均化処理を施して平均化画像を作成し、作成した平均化画像を閾値画像として動的二値化処理を行い、引き続き、これら動的二値化処理領域同士を結合処理し、その後、前記画像データを分岐させて、分岐した画像データのうち一方の画像データに対して直ちにラベリング処理を施して、画像処理領域の画素サイズをP以下として所定サイズの前記残留物を検出する特徴抽出を行い、かつ、他方の画像データに対してオープニング処理とクロージング処理のいずれか1種以上の処理を行ってからラベリング処理を施して、画像処理領域の画素サイズをQ以上とし当該QとPはQ<Pの関係とすることで、前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行い、引き続き、これら特徴抽出された画像処理領域同士を結合し、再度のラベリング処理を行うことを特徴とする残留物測定装置。
【請求項7】
前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行うに際して、オープニング処理、クロージング処理、ラベリング処理の順に処理することを特徴とする請求項5または6に記載の残留物測定装置。
【請求項8】
前記イメージデータがカラーイメージの場合において、前記再度のラベリング処理を行った後、RGB分割処理を行い、引き続き、カラー空間変換処理を行って前記残留物のカラーイメージデータを作成し、予め準備しておいた候補材質のカラーイメージデータとデータ比較することを特徴とする請求項5ないし7のいずれか一項に記載の残留物測定装置。
【請求項9】
前記フィルタの上方にレーザ変位計が配されており、当該レーザ変位計と前記フィルタとを相対的に動かすことで前記フィルタ上の前記残留物の高さを読み取ることを特徴とする請求項5ないし8のいずれか一項に記載の残留物測定装置。
【請求項1】
濾過フィルタ上の残留物 (屑や粉等)を撮像カメラにて撮像し、取得した残留物を含む画像データに画像処理を行うことで前記残留物のカラー又はモノクロのイメージデータを作成し、当該イメージデータを測定評価する残留物測定方法において、
前記画像データを分岐させて、分岐した画像データのうち一方の画像データに対して直ちにラベリング処理を施して、画像処理領域の画素サイズをP以下として所定サイズの前記残留物を検出する特徴抽出を行い、かつ、他方の画像データに対してオープニング処理とクロージング処理のいずれか1種以上の処理を行ってからラベリング処理を施して、画像処理領域の画素サイズをQ以上とし当該QとPはQ<Pの関係とすることで、前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行い、引き続き、これら特徴抽出された画像処理領域同士を結合した後に再度のラベリング処理を行うことを特徴とする残留物測定方法。
【請求項2】
濾過フィルタ上の残留物 (屑や粉等)を撮像カメラにて撮像し、取得した残留物を含む画像データに画像処理を行うことで前記残留物のカラー又はモノクロのイメージデータを作成し、当該イメージデータを測定評価する残留物測定方法において、
前記残留物を付着させる前のフィルタを前記撮像カメラにて所定の照明条件下で撮像し取得した背景画像データを予め準備しておき、前記フィルタ上の残留物を前記撮像カメラにて前記照明条件と同じ照明条件下で撮像し取得した前記残留物を含む画像データから前記背景画像データを差分処理し、その後、差分処理した画像データを分岐させて、分岐した画像データのうち一方の画像データに対してマスク幅Jとして比較的輝度の大きい領域を検出する平均化処理を施して平均化画像を作成し、作成した平均化画像を閾値画像として動的二値化処理を行い、かつ、他方の画像データに対してマスク幅Kとし当該KとJはJ<Kの関係とすることで、比較的輝度の小さい領域を検出する平均化処理を施して平均化画像を作成し、作成した平均化画像を閾値画像として動的二値化処理を行い、引き続き、これら動的二値化処理領域同士を結合処理し、その後、前記画像データを分岐させて、分岐した画像データのうち一方の画像データに対して直ちにラベリング処理を施して、画像処理領域の画素サイズをP以下として所定サイズの前記残留物を検出する特徴抽出を行い、かつ、他方の画像データに対してオープニング処理とクロージング処理のいずれか1種以上の処理を行ってからラベリング処理を施して、画像処理領域の画素サイズをQ以上とし当該QとPはQ<Pの関係とすることで、前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行い、引き続き、これら特徴抽出された画像処理領域同士を結合し、再度のラベリング処理を行うことを特徴とする残留物測定方法。
【請求項3】
前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行うに際して、オープニング処理、クロージング処理、ラベリング処理の順に処理することを特徴とする請求項1または2に記載の残留物測定方法。
【請求項4】
前記イメージデータがカラーイメージの場合において、前記再度のラベリング処理を行った後、RGB分割処理を行い、引き続き、カラー空間変換処理を行って前記残留物のカラーイメージデータを作成し、予め準備しておいた候補材質のカラーイメージデータとデータ比較することを特徴とする請求項1ないし3のいずれか一項に記載の残留物測定方法。
【請求項5】
濾過フィルタ上の残留物 (屑や粉等)を撮像カメラにて上方から撮像し、コンピュータが取得した残留物を含む画像データをデータ蓄積手段に蓄積し、取り出して、コンピュータ上で動作し前記画像データを画像処理する画像処理ソフトウエアによって画像処理を行うことで前記残留物のカラー又はモノクロのイメージデータを作成し、当該イメージデータを測定評価する残留物測定装置に関し、
前記画像データを分岐させて、分岐した画像データのうち一方の画像データに対して直ちにラベリング処理を施して、画像処理領域の画素サイズをP以下として所定サイズの前記残留物を検出する特徴抽出を行い、かつ、他方の画像データに対してオープニング処理とクロージング処理のいずれか1種以上の処理を行ってからラベリング処理を施して、画像処理領域の画素サイズをQ以上とし当該QとPはQ<Pの関係とすることで、前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行い、引き続き、これら特徴抽出された画像処理領域同士を結合した後に再度のラベリング処理を行うことを特徴とする残留物測定装置。
【請求項6】
濾過フィルタ上の残留物 (屑や粉等)を撮像カメラにて上方から撮像し、コンピュータが取得した残留物を含む画像データをデータ蓄積手段に蓄積し、取り出して、コンピュータ上で動作し前記画像データを画像処理する画像処理ソフトウエアによって画像処理を行うことで前記残留物の又はモノクロのイメージデータを作成し、当該イメージデータを測定評価する残留物測定装置に関し、
前記残留物を付着させる前のフィルタを前記撮像カメラにて所定の照明条件下で撮像し取得した背景画像データを予め準備しておき、前記フィルタ上の残留物を前記撮像カメラにて前記照明条件と同じ照明条件下で撮像し取得した前記残留物を含む画像データから前記背景画像データを差分処理し、その後、差分処理した画像データを分岐させて、分岐した画像データのうち一方の画像データに対してマスク幅Jとして比較的輝度の大きい領域を検出する平均化処理を施して平均化画像を作成し、作成した平均化画像を閾値画像として動的二値化処理を行い、かつ、他方の画像データに対してマスク幅Kとし当該KとJはJ<Kの関係とすることで、比較的輝度の小さい領域を検出する平均化処理を施して平均化画像を作成し、作成した平均化画像を閾値画像として動的二値化処理を行い、引き続き、これら動的二値化処理領域同士を結合処理し、その後、前記画像データを分岐させて、分岐した画像データのうち一方の画像データに対して直ちにラベリング処理を施して、画像処理領域の画素サイズをP以下として所定サイズの前記残留物を検出する特徴抽出を行い、かつ、他方の画像データに対してオープニング処理とクロージング処理のいずれか1種以上の処理を行ってからラベリング処理を施して、画像処理領域の画素サイズをQ以上とし当該QとPはQ<Pの関係とすることで、前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行い、引き続き、これら特徴抽出された画像処理領域同士を結合し、再度のラベリング処理を行うことを特徴とする残留物測定装置。
【請求項7】
前記所定サイズよりも大きなサイズの前記残留物を検出する特徴抽出を行うに際して、オープニング処理、クロージング処理、ラベリング処理の順に処理することを特徴とする請求項5または6に記載の残留物測定装置。
【請求項8】
前記イメージデータがカラーイメージの場合において、前記再度のラベリング処理を行った後、RGB分割処理を行い、引き続き、カラー空間変換処理を行って前記残留物のカラーイメージデータを作成し、予め準備しておいた候補材質のカラーイメージデータとデータ比較することを特徴とする請求項5ないし7のいずれか一項に記載の残留物測定装置。
【請求項9】
前記フィルタの上方にレーザ変位計が配されており、当該レーザ変位計と前記フィルタとを相対的に動かすことで前記フィルタ上の前記残留物の高さを読み取ることを特徴とする請求項5ないし8のいずれか一項に記載の残留物測定装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【公開番号】特開2011−179987(P2011−179987A)
【公開日】平成23年9月15日(2011.9.15)
【国際特許分類】
【出願番号】特願2010−44775(P2010−44775)
【出願日】平成22年3月1日(2010.3.1)
【出願人】(000132161)株式会社スギノマシン (144)
【Fターム(参考)】
【公開日】平成23年9月15日(2011.9.15)
【国際特許分類】
【出願日】平成22年3月1日(2010.3.1)
【出願人】(000132161)株式会社スギノマシン (144)
【Fターム(参考)】
[ Back to top ]