説明

表面欠陥検査装置

【課題】被検査面に存在する欠陥に対して照射光の回り込みを四方八方から生じさせるような照明を用いながらも欠陥の誤検出が抑制された表面検査技術を提供する。
【解決手段】複数の発光素子から構成された照明部による照射光によって照明された被検査面に対する撮像カメラ4の出力信号を評価して被検査面における欠陥を検知する欠陥評価手段6とからなる表面欠陥検査装置。欠陥評価手段が、出力信号から生成された画像データに対して輪郭強調処理を施した後平滑化処理を施す欠陥強調処理を少なくとも1回行う前処理部60Aと、この前処理部から出力された画像データから被検査面の明暗画像を生成する明暗画像生成部60Bと、この明暗画像生成部から出力された明暗画像から欠陥を検出する欠陥決定部60Cを備えている。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、連続的に配置された複数の発光素子から構成された照明部と、前記照明部による照射光によって照明された被検査面を撮像する撮像カメラと、前記撮像カメラの出力信号を評価して前記被検査面における欠陥を検知する欠陥評価手段とからなる表面欠陥検査装置、及びこの表面欠陥検査装置を用いた表面欠陥検査方法に関する。
【背景技術】
【0002】
この種の検査装置の代表例として、自動車ボディの塗装面の検査に使用される技術を挙げることができる。そのような表面検査にあっては、被検査面としての塗装面上に存する凹凸や傷等が、その検査対象となる。パターン状の検査光を使用する検査技術として、所謂、ストライプ状、即ち、縦縞模様の明暗を作り出している照明光を塗装面に照射して、照射状態にある塗装面を撮像カメラにより撮像し、得られる撮像画像を用いて表面検査を行う技術がある。(特許文献1及び特許文献2に開示される技術)。
【0003】
例えば、塗装面を所定方向(例えばX方向)に移動させていった場合に、塗装面上にある凹凸面といった欠陥の画像部分が、前記移動方向に直交する方向(例えばY方向)の座標を変えることなく、その方向座標(X座標)を変えながら撮像されることを利用して、欠陥の検出を行うものがあり、欠陥領域の撮像画像においては、明のストライプ部位では暗く、暗のストライプ部位では明るく撮像されことを利用して欠陥を識別することから、欠陥は、ストライプの明部分及び暗部分の中間階調画像として捕らえられる(特許文献1参照)。
【0004】
表面の周期的な凹凸である「ゆず肌」と呼ばれる欠陥を検出しようとするために、検査光である明暗ストライプの境界線の撮像画像上でのゆらぎにより塗装厚みの班を見出そうとするものがある(特許文献2参照)。この検査手法では、被検査面を移動させる必要はないが、概して、塗装面の比較的広い範囲に渡ってストライプの境界線画像に位置ずれを起こさせるような乱れが発生している塗装面が検出対象となる。
【特許文献1】特開平8−145906号公報(図5、図9及び図15)
【特許文献2】特開平9−126744号公報(図13)
【発明の開示】
【発明が解決しようとする課題】
【0005】
特許文献1及び2のような上述した従来の表面検査手法では、被検査面を照明する照明部がストライプ状の明暗パターンを塗装面に照射するので、表面検査に用いる照射光の回り込みは、ストライプ状の明暗パターンと直交(横断)する方向でしか発生しないことになり、検査効率が悪い。しかしながら、被検査面に存在する欠陥に対して照射光の回り込みを四方八方から生じさせるためには、照明部を、内側に所定形状の暗面を残すように発光素子を連続的に配置させたレイアウトパターンを複数組み合わせて構成することになる。このような照明部によって照明された被検査面から撮像カメラを通じて得られる画像には多くの発光素子の発光像が存在することになり、それとともにノイズも増加することになり、ノイズと欠陥との区別が難しくなるという問題が生じる。
【0006】
上記実状に鑑み、本発明の課題は、被検査面に存在する欠陥に対して照射光の回り込みを四方八方から生じさせるような照明を用いながらも欠陥の誤検出が抑制された表面検査技術を提供することである。
【課題を解決するための手段】
【0007】
上記課題を解決するため、連続的に配置された複数の発光素子から構成された照明部と、前記照明部による照射光によって照明された被検査面を撮像する撮像カメラと、前記撮像カメラの出力信号を評価して前記被検査面における欠陥を検知する欠陥評価手段とからなる、本発明による表面欠陥検査装置では、前記発光素子が内側に所定形状の暗面を残すようなレイアウトパターンで繰り返し配置されており、かつ前記欠陥評価手段が、前記出力信号から生成された画像データに対して輪郭強調処理を施した後平滑化処理を施す欠陥強調処理を少なくとも1回行う前処理部と、この前処理部から出力された画像データから前記被検査面の明暗画像を生成する明暗画像生成部と、この明暗画像生成部から出力された明暗画像から欠陥を検出する欠陥決定部を備えている。
【0008】
この構成では、例えばリング状に連続配置された発光素子群の照射ポイントの内側に、つまり暗面に対向する被検査面に存在している欠陥に対して、その欠陥の全周方向から照射光の一部があたり、その被検査面を撮像した撮像カメラの出力信号から生成された画像データにおいて欠陥を示す比較的輝度値の高い画素がノイズを示す比較的輝度値の低い画素の中に混在することになる。そのような画像データに対して、輪郭強調処理を施した後平滑化処理を施す欠陥強調処理を行うことで欠陥とノイズの輝度値の比、つまりS/N比が向上し、次の2値化処理等によって生成される明暗画像において欠陥が高い信頼性で浮き上がるようになり、欠陥決定部による欠陥検出における誤検出が低減する。
【0009】
特に、自動車ボディの塗装面のような表面の欠陥検査では、撮像カメラから取得された画像データに対して、前記輪郭強調処理にSobelフィルタを、前記平滑化処理に平均値フィルタを用いるとともに、前記欠陥強調処理を2回繰り返すことでその後処理において欠陥領域を良好に浮き上がらせるような明暗画像が生成されることが、本願発明者の実験によって明らかになっている。このSobelフィルタは、横方向走査において((1,0,-1),(2,0,-2),(1,0,-1))のオペレータをもち、縦方向走査において((1,2,1),(0,0,0),(-1,-2,-1))のオペレータをもつ輪郭強調フィルタであり、平均値フィルタは注目画素とその周囲8画素の平均値を注目画素の新しい画素値としていく移動平均法を用いた平滑化フィルタである。
【0010】
本発明では、上記表面欠陥検査装置の検査アルゴリズムを流用した表面欠陥検査方法も権利の対象としており、連続的に配置された複数の発光素子から構成された照明部を用いるとともに、前記照明部による照射光によって照明された被検査面を撮像する撮像カメラの出力信号を評価して前記被検査面における欠陥を検知する、本発明による表面欠陥検査方法は、前記発光素子のレイアウトに対応する発光像とその発光像の内側に暗画像が形成されるように前記照明部からの照射光を被検査面にあてるステップと、前記撮像カメラの出力信号から生成された画像データに対して輪郭強調処理を施した後平滑化処理を施す欠陥強調処理を少なくとも1回行うステップと、前記欠陥強調処理後の画像データから前記被検査面の明暗画像を生成するステップと、生成された明暗画像から欠陥を検出するステップから構成されている。当然ながら、このような表面欠陥検査方法も上述した表面欠陥検査装置で述べたすべての作用効果を得ることができ、さらに上述した好適な実施形態も採用することができる。
本発明によるその他の特徴及び利点は、以下図面を用いた実施形態の説明により明らかになるだろう。
【発明を実施するための最良の形態】
【0011】
図1に、本発明による表面欠陥検査装置の一例として、コンベア2により紙面左方に搬送されている塗装工程終了後の自動車ボディ1の塗装面を検査する装置の模式的な構成図が示されている。この表面欠陥検査装置は、検査光としての照明光を被検査面である自動車ボディ1の塗装面に照射する照明部3と、この照明部3で照明された被検査面を撮像する撮像カメラ4と、この撮像カメラ4からの出力信号を用いた被検査面における欠陥の存在の評価やその評価欠陥の出力を行うコントローラ5と、このコントローラ5の出力部10に接続される出力機器としてのモニタ12やプリンタ13とから構成されている。コントローラ5には、照明部3の制御を行う照明・撮影制御部9、撮像カメラ4からの出力信号を取り込んでデジタル画像データ(以下単に入力画像と称する)としてメモリ8に展開する画像入力部7、入力画像を用いて欠陥評価を行う欠陥評価手段6が備えられている。さらにコントローラ5は、通信部11を介してこの表面欠陥検査装置の上位制御体としてのホストコンピュータ14にデータ伝送可能に接続されている。このホストコンピュータ14には必要に応じてコントローラ5にダウンロードされる検査対象となる自動車ボディ1の情報やコンベヤ2の動作情報が蓄積されており、さらに、コントローラ5で生成された塗装面の欠陥情報もコントローラ5からホストコンピュータ14にアップロードされ、そこに蓄積される。また、ホストコンピュータ14にネットワーク接続された端末によって制御されるプロジェクタ15やプリンタなどが検査照合ステーションに備えられ、表面欠陥検査装置のコントローラ5からホストコンピュータ14を介して送られてくる欠陥情報に基づいて、欠陥位置などを検査員に指示するように構成されている。
【0012】
照明部3の発光面3a及び撮像カメラ4のレンズ面4aは、コンベヤ2によって搬送される自動車ボディ1の被検査面に対向するように配置されているか、あるいは必要に応じて、発光面3a及びレンズ面4aの鉛直線と被検査面の鉛直線ができるだけ一致又は平行となるように被検査面に対して追従制御される。
【0013】
照明部3は、多数の発光素子(この実施形態ではLED素子を用いるので以後LED素子と称することにするが、もちろん本発明の発光素子はLED素子に限定されるわけではなく、他の発光素子を用いてもよい)30を、6角形のスペースを残すような網状(リング状)のレイアウトパターンで、しかもこの6角形レイアウトパターンを繰り返すように連続的に(隣接するLED素子30との間をつめながら)配置した構成を有している。6角形網状に配置されたLED素子30によって残されたスペースは、ここでは暗面31と呼ばれ、黒もしくは暗色のプレート面である。
【0014】
網状に配置されたLED素子30によって多くの暗面31が現出しているが、その内の最も中央に位置する暗面31に撮像カメラ4のレンズ面4aが位置するように撮像カメラ4が照明部3に組み込まれている。撮像カメラ4の設置数は、照明部3の発光面3aサイズによって適宜決定される。
【0015】
コントローラ5は、CPUを中核部材として、この表面欠陥検査装置の種々の動作を行うための機能部をハードウエア又はソフトウエアあるいはその両方で構築しているが、図3に示されているように、本発明に特に関係する機能部として、メモリ8に展開された入力画像を欠陥検出に適した画像に調整する前処理部60Aと、前処理された入力画像から明暗画像を生成する明暗画像生成部60Bと、この明暗画像を用いて被検査面上の欠陥を見つけ出す欠陥決定部60Cに分けることができる。
【0016】
前処理部60Aには、入力画像に対する輝度調整を行う輝度調整部61aと、輝度調整された入力画像に対してここではSobelフィルタを用いて輪郭強調処理を行う輪郭強調処理部61cと、輪郭強調処理された入力画像に対してここでは平均値フィルタを用いて平滑化処理を行う平滑化処理部61bとが含まれている。輝度調整部61aは、ガンマ調整だけではなく、入力画像に含まれている発光像の輝度レベルが塗装色や塗装面毎の基準となる正常な被検査面から得られるLED素子の発光像の輝度レベルに達するように画素領域単位の輝度調整も行うことが可能である。平滑化処理部61bに実装されている平均値フィルタは、注目画素とその周囲8画素の平均値を注目画素の新しい画素値としていく移動平均法を用いたよく知られたフィルタであり、輪郭強調処理部61cに実装されているSobelフィルタは、横方向走査において((1,0,-1),(2,0,-2),(1,0,-1))のオペレータをもち、縦方向走査において((1,2,1),(0,0,0),(-1,-2,-1))のオペレータをもつフィルタであり、ここで重要なことは、従来からよく行われているような平滑化処理された画像に対して輪郭強調処理を行うのではなく、輪郭強調処理された画像に対して平滑化処理を行うことである。
【0017】
図4(a)と(b)にそれぞれ、前処理を受ける前の典型的な入力画像の濃度値を示す濃度グラフと、前処理後の典型的な入力画像の濃度値を示す濃度グラフが示されている。この濃度グラフは図2で示された照明部3のレイアウトパターンのうちA−A線で示された部分の照射像に対応する画素位置を横軸にその画素階調値(濃度)を縦軸にとったものである。Sobelフィルタをかけてから平均値フィルタをかける欠陥強調処理を行うことで、ノイズが抑制されるとともに欠陥像と発光像が鋭く明確化されており、後の二値化処理に適した画像となることが理解できる。つまり、本発明では、輝度調整された入力画像に対してSobelフィルタをかけてから平均値フィルタをかける欠陥強調処理を行うことが重要であり、特に自動車ボディの塗装面に生じる欠陥を検査対象とする場合では、Sobelフィルタをかけてから平均値フィルタをかける欠陥強調処理を2回繰り返すことが好適である。
【0018】
明暗画像生成部60Bには、入力画像の濃淡ヒストグラムから統計的手法で2値化閾値を決定する2値化閾値決定部62aと、2値化閾値決定部62aによって決定された2値化閾値を用いて前処理部60Bで前処理された入力画像を二値化画像にして明暗画像を生成する2値化処理部62bが含まれている。2値化処理部62によって2値化された明暗画像の一例が図5に示されている。この2値化明暗画像においては、輝度の高い領域は白く表示されているが、6角形レイアウトパターンで連続配置された発光像であるLED素子群は敷き詰められた6角形状の連続して繋がった白い輪郭線として表示され、暗面31に対向する塗装面領域は暗領域として表示され、場合によっては存在する塗装欠陥はその周囲からの照射光による乱反射により暗領域に浮かぶ白い独立した領域として表示される。このことから、欠陥検出は、2値化画像において、輝度が突出している領域(この実施形態では白い領域)であって所定のパターンで連続していない領域、つまり孤立点を探し出せばよいことになる。所定レベルの輝度値(濃度値)を有しながら連続する画素を探したり、孤立した領域を探したりする画像処理アルゴリズム自体は良く知られたものを用いることができる。
【0019】
しかしながら、被検査面ここでは塗装面の形状による照射光に対する反射特性の変動等によって、図6に拡大して示すように、本来は連続して繋がった線として現れるLED素子30の発光像に途切れが生じ、その途切れた部分が欠陥として誤検出される可能性がある。このような誤検出を適切に回避するように欠陥決定部60Cは実質的にはプログラムで構成されている。つまり、この欠陥決定部60Cは、所定数以内の画素数から構成される非連続の独立した画素領域を孤立点として検出して欠陥候補とする欠陥候補抽出部63と、連続配置されたLED素子30の発光像を示す領域に含まれる欠陥候補を欠陥候補から除外する欠陥候補選別部64と、この欠陥候補選別部64で欠陥候補から除外された孤立点領域及び背景などの不要画像領域を統合して欠陥判定対象外領域としてマスク処理する画像マスク生成部65と、画像マスク外に位置する複数の欠陥候補領域を識別するために異なる欠陥候補領域には異なるラベル(番号)を割り当てるラベリング処理を行うラベル設定部66と、各ラベリングされた欠陥候補領域の面積を演算する面積演算部67と、この面積演算部67からの面積情報に基づいて欠陥候補を真の欠陥と判定して欠陥マップに書き込む欠陥判定部68を備えている。欠陥候補選別部64は、欠陥候補抽出部63で抽出された欠陥候補を選別するために、撮像カメラ4から順次送られてくる画像から所定回数欠陥候補として抽出されているかどうかをチェックすることで突発的に生じる明領域を欠陥候補として認識することを防止する欠陥候補時系列判定部64aと、図6からよく理解できるように抽出された欠陥候補(孤立点)が連続している発光像の延長線上に位置しているからどうかをチェックすることで発光像の途切れ部を欠陥候補として認識することを防止する発光像非連続部探索部64bを備えている。この発光像非連続部の探索は、連続する発光像画素を辿っていきながらその途切れ端の延長線領域に位置する暗領域を抽出する形状特徴抽出アルゴリズム等を用いて行うことが可能であり、この途切れ領域に存在する孤立点は欠陥候補から除外される。
【0020】
このように構成された欠陥評価手段6による塗装面の欠陥評価の手順を図7のフローチャートを用いて以下に説明する。
まず、撮像カメラ4から画像入力部7を介して順次送られてくるフレーム画像をメモリ8に取り込む(#01)。取り込まれた入力画像は、前処理部60Aによって前処理を受ける。この前処理では、まず、輝度調整部61aによって輝度(濃度値)調整される(#02)。その際入力画像の特徴量が必要となるが、その特徴量は入力画像を所定の区画数で区画し、各区画毎に演算された濃度平均値の最大値を特徴量とすることが好ましい。続いて、Sobelフィルタをかけてから平均値フィルタをかける欠陥強調処理を2回行うために、カウント変数nに0を代入し、回数を規定する変数aに2を代入する(#03)。まず、Sobelフィルタによる輪郭強調処理を行う(#04)。さらに、平均値フィルタによる平滑化処理を行う(#05)。その後、変数nを1だけインクリメントし(#06)、変数nと変数aの値を比較する(#07)。変数nと変数aの値が異なっていると(#07No分岐)、ステップ#04にジャンプしてSobelフィルタをかけてから平均値フィルタをかける処理を繰り返す。変数nと変数aの値が同じであれば(#07Yes分岐)、Sobelフィルタをかけてから平均値フィルタをかける欠陥強調処理を2回行ったことになるので、明暗画像生成処理部60Bによる処理に入る。2値化閾値決定部62aで2値化閾値が決定されると(#08)、前述したように前処理された入力画像はこの2値化閾値で2値化処理されて2値化画像となる(#09)。
【0021】
2値化された入力画像から、欠陥候補抽出部63によって、所定数以内(画像解像度等から予め決定される)の画素数からなる孤立した明画素領域が欠陥候補として抽出される(#10)。抽出された欠陥候補のうち外乱光等により瞬時的かつ局地的に生じる孤立点に属する欠陥候補は欠陥候補時系列判定部64aによって欠陥候補から除外され(#11)、さらに抽出された欠陥候補のうち発光像の途切れ領域に位置する孤立点に属する欠陥候補は発光像非連続部探索部64bによって欠陥候補から除外される(#12)。
【0022】
発光像非連続部探索部64bによって見つけ出された発光像の途切れ領域を含むその周辺領域は、ホストコンピュータ14から伝送される被検査物としての自動車ボディ1の形状情報やコンベヤ2による搬送位置情報に基づいて決定される被検査面としての塗装面以外の背景領域とともに不要画素領域として画像マスク生成部65によってマスク処理される(#13)。なおこの実施形態では、ホストコンピュータ14から得られる搬送位置情報は、実際の位置とは異なる可能があるので、レーザーセンサなどを用いてリアルタイムでの自動車ボディ1の位置ずれをチェックして、その画像マスクの位置を修正している(#14)。
【0023】
このようにして欠陥候補の選別や背景画像の除去を終えた後、残されている欠陥候補(孤立点)をラベリングし(#15)、各ラベルを割り当てられた孤立点の面積を演算し(#16)、予め設定されている面積条件(閾値以上の面積をもつかどうか)を満たしている孤立点だけが真の欠陥として判定し(#17)、その座標位置及びサイズなどを欠陥マップに書き込む(#18)。
【0024】
以上で欠陥評価手段6による塗装面の欠陥評価の手順は終了するが、この手順を通じて塗装面の検査が終わると、塗装面検査照合ステーションにおいて、ホストコンピュータ14を介して表面欠陥検査装置のコントローラ5から送られてきた欠陥マップのうち、塗装面検査照合ステーションに搬入された自動車ボディのIDに一致するIDを付与されている欠陥マップを用いて、欠陥照合が行われる。その際、検査員による照合作業を容易にするため、該当する欠陥マップに基づいて欠陥箇所を指摘するようにプロジェクタ15を動作させると好都合である。もちろん、そのような欠陥マップに基づく欠陥情報を表面欠陥検査装置の出力部に接続されたプリンタ13によって紙出力し、この出力用紙を直接自動車ボディ1に貼り付けてもよい。
【0025】
上述した実施形態では、輪郭強調処理にSobelフィルタを、平滑化処理に平均値フィルタを用いていたが、Sobelフィルタ以外の輪郭強調フィルタを用いることや、平均値フィルタ以外の平滑化処理フィルタを用いることを本発明では除外していない。また、他のフィルタを用いた場合、輪郭強調フィルタをかけてから平滑化処理フィルタをかけるいわゆる欠陥強調処理の繰り返し回数を実験等を通じて最適に設定するとよい。
【図面の簡単な説明】
【0026】
【図1】本発明による表面欠陥検査装置の模式的に示す構成図
【図2】照明部と撮像カメラを示す模式図
【図3】表面欠陥検査装置に実装されている欠陥評価手段の構成を示す機能ブロック図
【図4】入力画像の濃度特性グラフと入力画像に対してSobelフィルタをかけてから平均値フィルタをかける処理を2回行った場合の濃度特性グラフ。
【図5】2値化された入力画像を説明する説明図
【図6】発光像の途切れ部に存在する孤立点を説明する説明図
【図7】欠陥評価手段による被検査面の欠陥評価の手順を示すフローチャート
【符号の説明】
【0027】
3:照明部
4:撮像カメラ
5:コントローラ
6:欠陥評価手段
30:発光素子(LED素子)
31:暗面
60A:前処理部
60B:明暗画像生成部
60C:欠陥決定部
61a:輝度調整部
61b:平均化処理部(平均値フィルタ)
61c:輪郭強調処理部(Sobelフィルタ)
62b:2値化処理部
63:欠陥候補(孤立点)抽出部
64:欠陥候補選別部
65:画像マスク生成部
66:ラベル設定部
67:面積演算部
68:欠陥判定部

【特許請求の範囲】
【請求項1】
連続的に配置された複数の発光素子から構成された照明部と、前記照明部による照射光によって照明された被検査面を撮像する撮像カメラと、前記撮像カメラの出力信号を評価して前記被検査面における欠陥を検知する欠陥評価手段とからなる表面欠陥検査装置において、
前記発光素子が内側に所定形状の暗面を残すようなレイアウトパターンで繰り返し配置されており、かつ
前記欠陥評価手段が、前記出力信号から生成された画像データに対して輪郭強調処理を施した後平滑化処理を施す欠陥強調処理を少なくとも1回行う前処理部と、この前処理部から出力された画像データから前記被検査面の明暗画像を生成する明暗画像生成部と、この明暗画像生成部から出力された明暗画像から欠陥を検出する欠陥決定部を備えていることを特徴とする表面欠陥検査装置。
【請求項2】
前記輪郭強調処理はSobelフィルタによって行われ、前記平滑化処理は平均値フィルタによって行われ、前記欠陥強調処理が2回繰り返されることを特徴とする請求項1に記載の表面欠陥検査装置。
【請求項3】
連続的に配置された複数の発光素子から構成された照明部を用いるとともに、前記照明部による照射光によって照明された被検査面を撮像する撮像カメラの出力信号を評価して前記被検査面における欠陥を検知する表面欠陥検査方法において、
前記発光素子のレイアウトに対応する発光像とその発光像の内側に暗画像が形成されるように前記照明部からの照射光を被検査面にあてるステップと、前記撮像カメラの出力信号から生成された画像データに対して輪郭強調処理を施した後平滑化処理を施す欠陥強調処理を少なくとも1回行うステップと、前記欠陥強調処理後の画像データから前記被検査面の明暗画像を生成するステップと、生成された明暗画像から欠陥を検出するステップからなることを特徴とする表面欠陥検査方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2006−343185(P2006−343185A)
【公開日】平成18年12月21日(2006.12.21)
【国際特許分類】
【出願番号】特願2005−168149(P2005−168149)
【出願日】平成17年6月8日(2005.6.8)
【出願人】(000002967)ダイハツ工業株式会社 (2,560)
【Fターム(参考)】