表面検査装置および表面検査方法
【課題】処理負荷、処理時間の増大を抑制し、境界部分の表面欠陥をも取りこぼすことのない検査を可能とすること。
【解決手段】検査対象を有する物体を相対移動させながら撮像した検査対象の撮像画像に基づいて検査対象の表面検査を行う表面検査装置であって、検査対象の撮像画像に設定された検査領域内に更に設定される１〜複数のフィルタ領域のそれぞれに対して所定のフィルタ処理を行い、前回フィルタ処理画像と今回フィルタ処理画像との差分値であるフィルタ処理差分画像に対して、フィルタ領域ごとに画素単位でのしきい値処理を施した二値化画像（表面欠陥候補差分画像）を検査領域全体で統合した二値化画像（表面欠陥候補統合化差分画像）の画素値に前回の処理で得られた表面欠陥画像の画素値を加算することで得た二値化画像（表面欠陥候補統合化画像）を用いて表面欠陥の箇所および個数を特定する。
【解決手段】検査対象を有する物体を相対移動させながら撮像した検査対象の撮像画像に基づいて検査対象の表面検査を行う表面検査装置であって、検査対象の撮像画像に設定された検査領域内に更に設定される１〜複数のフィルタ領域のそれぞれに対して所定のフィルタ処理を行い、前回フィルタ処理画像と今回フィルタ処理画像との差分値であるフィルタ処理差分画像に対して、フィルタ領域ごとに画素単位でのしきい値処理を施した二値化画像（表面欠陥候補差分画像）を検査領域全体で統合した二値化画像（表面欠陥候補統合化差分画像）の画素値に前回の処理で得られた表面欠陥画像の画素値を加算することで得た二値化画像（表面欠陥候補統合化画像）を用いて表面欠陥の箇所および個数を特定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表面検査装置および表面検査方法に関する。
【背景技術】
【０００２】
従来、撮像した表面画像を用いて物体表面のキズを検出する手法が開示されている（例えば下記特許文献１）。この特許文献１では、入力画像を重なりをもった矩形領域に分割し、この分割した矩形領域を輝度しきい値で二値化し、二値化した画素のうち所定の画素数を算出し、この画素数が画素数しきい値を超えた場合に当該矩形をキズあり矩形とし、さらに、このキズあり矩形をマスク画像として、通常の二値化画像とのＡＮＤをとって、キズのみが検出された二値化画像を得るようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−６９８８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１において、入力画像を重なりをもった矩形領域に分割しているのは、矩形の境界部分にキズやへこみなどの表面欠陥があった場合に、その表面欠陥を取りこぼさないようにするためである。しかしながら、入力画像を重なりをもった矩形領域に分割した場合、同一のしきい値判定を行う重複領域が存在し、且つ、この重複領域は分割数の増加に従って２次元的に増大するので、処理量（処理負荷）が増大し、処理時間も増大するという問題がある。
【０００５】
また、上記特許文献１の手法では、検査領域を矩形でのみ分割しているので、余分な検査領域が増え、効率的な検査ができないという問題がある。
【０００６】
本発明は、上記に鑑みてなされたものであって、処理負荷、処理時間の増大を抑制し、境界部分の表面欠陥をも取りこぼすことのない検査を可能とする表面検査装置および表面検査方法を得ることを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明は、検査対象を有する物体を相対移動させながら撮像した前記検査対象の撮像画像に基づいて、前記検査対象の表面検査を行う表面検査部を備えた表面検査装置であって、前記表面検査部は、前記検査対象の撮像画像に設定された検査領域内に更に設定される１〜複数のフィルタ領域のそれぞれに対して所定のフィルタ処理を行うフィルタ処理部と、前記フィルタ領域ごとに各画素の画素値と当該フィルタ領域ごとに設定される所定のしきい値との大小関係に基づく当該フィルタ領域ごとの二値化画像を表面欠陥候補画像として生成する表面欠陥候補画像生成部と、前記表面欠陥候補画像を前記検査領域全体で統合した二値化画像を表面欠陥候補統合化画像として生成する表面欠陥候補統合化画像生成部と、前記表面欠陥候補統合化画像に基づいて表面欠陥の箇所および個数を特定するラベリング処理部と、を備えたことを特徴とする。
【発明の効果】
【０００８】
この発明によれば、処理負荷、処理時間の増大を来さず、境界部分の表面欠陥をも取りこぼすことのない検査が可能になるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態１に係る表面検査装置の構成および表面検査方法の説明図である。
【図２】図２は、図１に示した画像処理部の細部構成を示す図である。
【図３】図３は、図２に示した表面検査部の細部構成を示す図である。
【図４】図４は、初回画像に対する検査領域設定手順を示すフローチャートである。
【図５】図５は、検査対象として取り込まれる取り込み画像に対する処理手順を示すフローチャートである。
【図６】図６は、撮像画像の一例を模式的に示す図である。
【図７】図７は、検査領域およびフィルタ領域の概念を説明する図である。
【図８】図８は、明暗差のある撮像画像の一例を模式的に示す図である。
【図９】図９は、図８に示す撮像画像の場合のフィルタ領域を説明する図である。
【図１０】図１０は、図８に例示した撮像画像を処理して得られた表面欠陥候補統合化画像を示す図である。
【図１１】図１１は、図４および図５のフィルタ処理に適用する２×２フィルタを示す図である。
【図１２】図１２は、図４および図５のフィルタ処理に適用する３×３フィルタを示す図である。
【図１３】図１３は、三角形のフィルタ領域の斜辺部分に２×２フィルタを適用した場合の処理の一例を示す図である。
【図１４】図１４は、三角形のフィルタ領域の斜辺部分に３×３フィルタを適用した場合の処理の一例を示す図である。
【図１５】図１５は、三角形のフィルタ領域の斜辺部分に３×３フィルタを適用した場合の図１４とは異なる処理の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照し、本発明の実施の形態にかかる表面検査装置および表面検査方法について説明する。なお、以下に示す実施の形態により本発明が限定されるものではない。
【００１１】
実施の形態１．
図１は、実施の形態１に係る表面検査装置の構成および表面検査方法の説明図である。図１の上部に示すように、実施の形態１に係る表面検査装置１０は、画像入力部１１、画像処理部１２および画像表示部１３を備えて構成される。
【００１２】
また、図１の下部には、検査対象物体の一例である列車１と、列車１の上部を撮影するカメラ６とが示されている。列車１は、複数の車両を連結することで構成され、図示の車両２の上部には、空調装置３および集電装置４が搭載されている。
【００１３】
カメラ６による列車１の撮影は、列車１が、例えば車両検査場に入庫する場合を利用して行う。カメラ６は固定され、カメラ６に向かって移動する列車１（車両２）の上部に開口を向けることで、検査対象としての例えば空調装置３および集電装置４を撮像する。撮像した画像は、画像入力部１１に入力される。画像処理部１２は、画像入力部１１を介して撮像画像を取り込み、後述する画像処理を行う。画像表示部１３は、画像処理部１２の処理結果を受領して表示し、ユーザから設定情報を画像処理部１２に付与するヒューマン・マシン・インタフェース（ＨＭＩ）として機能する。
【００１４】
なお、図１では、列車１に向かって列車の右上部側から撮像する場合を示しているが、撮像位置は任意である。すなわち、列車１に向かって列車の上部側から撮像してもよいし、列車１に向かって列車の左上部側から撮像しても構わない。
【００１５】
また、図１では、カメラ６を固定し、列車１を移動させているが、固定した列車１に対し、カメラ６を移動させて撮像してもよい。つまり、検査対象を有する物体を相対移動させながらカメラ６にて撮像すればよい。また、図１では、１台のカメラしか図示していないが、複数のカメラを備えていてもよい。
【００１６】
また、図１では、車両２を照明する照明手段を図示していないが、カメラ６で車両２を撮像する際に、車両２の上部面に照明光を照射してもよい。この場合、例えば、棒状蛍光灯または複数の電球を並べたものなどによって、車両２へのカメラ６による撮像範囲よりも少し広い領域を照明することが好ましい。さらに、カメラ６の背後に、遮光版を配設してもよい。これにより、背景光が車両２の表面に反射して撮像されることがなくなるという効果が得られる。
【００１７】
つぎに、実施の形態１に係る表面検査装置の動作について、図１〜図５の各図面を参照して説明する。ここで、図２は、図１に示した画像処理部１２の細部構成を示す図であり、画像処理部１２は、画像蓄積部１４、表面検査部１５、伸縮率算出部１６および画像修正部１７を備えて構成される。また、図３は、図２に示した表面検査部１５の細部構成を示す図であり、表面検査部１５は、フィルタ処理部４１、フィルタ処理差分画像生成部４２、表面欠陥候補差分画像生成部４３、表面欠陥候補統合化差分画像生成部４４、表面欠陥候補統合化画像生成部４５、ラベリング処理部４６、表面欠陥拡大判定処理部４７、表面欠陥画像生成部４８および、表面欠陥情報生成部４９を備えて構成される。さらに、図４は、初回画像に対する検査領域設定手順を示すフローチャートであり、図５は、検査対象として取り込まれる取り込み画像に対する処理手順を示すフローチャートである。
【００１８】
まず、初回画像に対する検査領域設定手順について説明する。図４において、画像処理部１２は、カメラ６が撮像した撮像画像を画像入力部１１を介して取り込む（ステップＳ１０１）。画像入力部１１を介して取り込まれた画像は、画像蓄積部１４に蓄積される。画像処理部１２は、検査対象の画像を画像蓄積部１４から読み出し、検査に必要な画像部分を切り出す（ステップＳ１０２）。この処理では、検査に必要な部分が完全に含まれるように、撮像画像から例えば矩形領域が切り出される。
【００１９】
ステップＳ１０３では、検査領域の縦幅／横幅（縦横比および、縮尺率または拡大率）を基準と一致させるための縮尺／拡大処理を実行する。カメラ６に向かう鉄道車両の走行速度は、毎回異なることが予想される。走行速度が異なる場合、撮像画像の縦幅、横幅および縦横比が異なってくるので、初回画像から切り出した部分の検査領域と次回画像から切り出した部分の検査領域とを一致させるため、縦幅、横幅および縦横比を補正する処理を行う。すなわち、この実施の形態では、走行速度が毎回異なることを許容し、例えば切り出し画像内の任意物体における縦幅または横幅を基準とし、この基準に縦幅および横幅、もしくは縦幅および縦横比を一致させる処理を行う手段を画像処理部１２に伸縮率算出部１６および画像修正部１７として具備させる。
【００２０】
具体的に説明すると、伸縮率算出部１６は、例えば空調装置または集電装置の長さ、幅などを基準長とし、この基準長に基づいて今回の撮像画像における検査対象の伸縮率を算出する。画像修正部１７は、伸縮率算出部１６が算出した伸縮率に基づいて初回画像および２回目以降の画像に対する画像修正を行う。なお、これら伸縮率算出部および画像修正部の一例については、本出願人による先願である特開２００９−１７４９２３号公報において、詳細に記述しているので、当該公報を参照されたい。また、当該公報の内容は、本願明細書に取り込まれて本願発明の一部をなすものとする。
【００２１】
なお、カメラ６を固定し、列車１を移動させる撮像手法を用いると共に、予め走行速度を規定して撮像する場合であれば、列車１は固定された線路上を規定速度で走行するため、撮像画像の寸法、縦横比は毎回、一定の精度のものが得られる。したがって、このような撮像手法を用いる場合には、伸縮率算出部１６および画像修正部１７の構成を省略することができ、また、ステップＳ１０３の処理も省略可能である。
【００２２】
続くステップＳ１０４では、ステップＳ１０３にて修正された領域に対し、検査領域が設定される。この検査領域は、実際の検査処理が行われる領域であり、画像表示部１３を介し、ユーザによって、その領域（範囲）が設定される。
【００２３】
ステップＳ１０５では、設定された検査領域内に１〜複数のフィルタ領域が設定され、この処理フローを終える。なお、このフィルタ領域は、検査領域が更に細分化された領域であり、検査領域と同様に、画像表示部１３を介し、ユーザによって設定される。なお、フィルタ領域の数は、１であっても構わない。この場合、フィルタ領域は、検査領域に一致する。
【００２４】
つぎに、検査対象として取り込まれる取り込み画像に対する処理手順について図５を参照して説明する。なお、ステップＳ２０５以降の処理については、初回画像についても処理の対象となる。
【００２５】
図５において、ステップＳ２０１では検査対象物体に対する新たな画像が取り込まれる。ステップＳ２０２，Ｓ２０３の処理については、図４のステップＳ１０２，１０３にて説明したとおりである。ステップＳ２０３に続くステップＳ２０４では、前回画像の読み出し処理が行われる。なお、ここでいう前回画像は、縮尺／拡大処理が施された同一の検査対象における直近の処理画像である。例えば、検査対象がある鉄道車両に搭載されたエアコン装置である場合、同じ鉄道車両に搭載された同一のエアコン装置を検査したときに用いた処理画像のうちの直近のものである。さらに具体例で説明すると、今回の検査が４回目であれば、３回目の検査時に用いた処理画像が、このフローチャートでいうところの前回画像となる。
【００２６】
ステップＳ２０５では、検査領域に設定されたフィルタ領域ごとに所定のフィルタ処理が実行される。画像処理部１２には、予め、フィルタ領域ごとにフィルタの種類やフィルタ係数などが設定されており、表面検査部１５のフィルタ処理部４１（図３参照）は、ステップＳ１０５にて設定されたフィルタ領域に適用すべきフィルタ種類、フィルタ係数などに応ずる所定のフィルタ処理を実行する。なお、フィルタ処理を実行した画像は、フィルタ処理画像として保持される。
【００２７】
ステップＳ２０６では、前回のフィルタ処理画像と今回のフィルタ処理画像との差分値であるフィルタ処理差分画像が生成される。
【００２８】
このステップＳ２０６の処理は、検査対象における表面欠陥が、前回よりも拡大していないかどうかの判定を定量的に行うための差分画像を生成する処理である。例えば、各フィルタ処理画像はグレー画像（階調画像）であり、例えば０〜２５５の輝度値を有しているので、差分値は整数値で表される。なお、この処理は、表面検査部１５のフィルタ処理差分画像生成部４２（図３参照）によって実行される。
【００２９】
ステップＳ２０７では、フィルタ処理差分画像に対して、フィルタ領域ごとに画素単位でのしきい値処理が行われる。具体的には、各画素の画素値と、フィルタ領域ごとに設定される所定のしきい値との大小関係が判定され、画素値がしきい値を超えていれば二値のうちの“０”（もしくは“１”）が付与され、画素値がしきい値以下であれば“１”（もしくは“０”）が付与された二値化画像（表面欠陥候補差分画像）が生成される。この処理は、表面検査部１５の表面欠陥候補差分画像生成部４３（図３参照）によって実行される。なお、しきい値としては、例えば６０程度の値（最大値が２５５の場合）が選ばれる。
【００３０】
ステップＳ２０８では、表面欠陥候補差分画像を検査領域全体で統合した表面欠陥候補統合化差分画像が生成される。この処理は、表面検査部１５の表面欠陥候補統合化差分画像生成部４４（図３参照）によって実行される。
【００３１】
ステップＳ２０９では、前回の処理で生成した表面欠陥画像（後述するステップＳ２１３参照）の画素値に今回の処理で生成した表面欠陥候補統合化差分画像の画素値を加算して表面欠陥候補統合化画像を生成する。この処理は、表面検査部１５の表面欠陥候補統合化画像生成部４５（図３参照）によって実行される。
【００３２】
ステップＳ２１０では、ステップＳ２０９で生成された表面欠陥候補統合化画像を用いて、表面欠陥の箇所と個数を特定するためのラベリング処理が実行される。この処理は、表面検査部１５のラベリング処理部４６（図３参照）によって実行される。
【００３３】
ステップＳ２１１では、ラベリングされた表面欠陥に対しての表面欠陥拡大判定処理が実行される。なお、既存の表面欠陥が拡大しているか否かを判定する場合では、例えば前回の表面欠陥画像の大きさ（例えば幅、面積）と、今回の表面欠陥候補統合化差分画像を基に、判定することが可能である。なお、このときの判定基準としては、面積であれば例えば５％、幅であれば例えば３％などの値を用いることができる。例えば、前回の表面欠陥画像に比べて表面欠陥候補画像の面積が５％以上大きくなった場合あるいは、表面欠陥画像のある方向の幅が例えば３％以上大きくなった場合に既存の表面欠陥が広がっていると判定すればよい。なお、この判定処理は、表面検査部１５の表面欠陥拡大判定処理部４７（図３参照）によって実行される。
【００３４】
ステップＳ２１２では、今回の処理で生成した表面欠陥候補統合化画像を次回の処理で使用する表面欠陥画像として生成（更新）する処理を行う。この処理は、表面検査部１５の表面欠陥画像生成部４８（図３参照）によって実行される。
【００３５】
最後に、ステップＳ２１３では、検査領域内外の表面欠陥数や、新たに生じた表面欠陥数などの情報を含む表面欠陥情報が生成される。この処理は、表面検査部１５の表面欠陥情報生成部４９によって実行される。表面欠陥情報生成部４９は、表面欠陥情報を視認性の高い表示に変換して画像表示部１３に表示する。
【００３６】
なお、これらステップＳ２０１〜Ｓ２１３の処理において生成された各種画像（フィルタ処理画像、フィルタ処理差分画像、表面欠陥候補差分画像、表面欠陥候補統合化差分画像、表面欠陥候補統合化画像、表面欠陥画像）も所定の表示画面に適宜表示可能であることは言うまでもない。これらの画像の表示処理は、画像表示部１３によって実行される。
【００３７】
つぎに、検査領域およびフィルタ領域の概念について、図６〜図１０の各図面を参照して説明する。ここで、図６は、撮像画像の一例を模式的に示す図であり、図７は、検査領域およびフィルタ領域の概念を説明する図であり、図８は、明暗差のある撮像画像の一例を模式的に示す図であり、図９は、図８に示す撮像画像の場合のフィルタ領域を説明する図であり、図１０は、図８に例示した撮像画像を処理して得られた表面欠陥候補統合化画像を示す図である。
【００３８】
図６に示す例では、鉄道車両の上部にある空調装置の撮像イメージを模式的に示している。図示のように、第１の表面欠陥である表面欠陥２３、第２の表面欠陥である表面欠陥２４および、第３の表面欠陥である表面欠陥２５が存在するが、表面欠陥２３，２４は空調装置上の表面欠陥であり、表面欠陥２５は空調装置外の表面欠陥である。
【００３９】
図７において、破線部で囲まれた矩形領域２１は、撮像画像から切り出した部分を示している。一方、矩形領域２１の内側に空調装置の輪郭形状に合わせて設定される実線で示される領域が検査領域２２であり、検査領域２２の内部に番号を付して区分される領域が、フィルタ領域である。図７では、矩形または三角形で区分される１３のフィルタ領域が設定されているが、三角形で区分されているフィルタ領域のうち、Ｎｏ１，３，８，１０，１１，１３のフィルタ領域は、空調装置の輪郭形状および立体形状に合わせて設定されている。
【００４０】
図８では、例えば太陽光によって生ずる空調装置表面上の明暗差をハッチングで示している。本実施の形態の表面検査装置のように、立体的な構造物を平面的な画像を用いて検査する装置の場合、図８に示すような明暗差が機器の立体的形状や太陽光の入射角度などによって変化し、表面欠陥を取りこぼしてしまう虞がある。そこで、本実施の形態では、図９に示すように、検査領域内の明暗差がある領域に複数のフィルタ領域を設定している。
【００４１】
図９では、図７に示されるフィルタ領域４〜７を変更し、撮像画像上の明暗差に合わせて三角形のフィルタ領域５，６を含むフィルタ領域４〜７を設定している。
【００４２】
このようなフィルタ領域を用いた処理を行った場合、明暗差のある領域に跨る表面欠陥が存在していたとしても、明暗差に応じた最適なフィルタ処理を選択できるので、一つの表面欠陥を複数の表面欠陥として誤る可能性を低く抑えることが可能となる。
【００４３】
また、図５のフローで示すように、フィルタ領域ごとのしきい値処理（ステップＳ２０７）では、表面欠陥であるかの判断は行わず、表面欠陥の連続性を判断するラベリング処理（ステップＳ２１０）を行った後の欠陥判定処理（ステップＳ２１０）において、表面欠陥であるか否かの判定を行っているので、例えば複数のフィルタ領域に跨る表面欠陥２４を複数の表面欠陥として検出してしまう確率を極めて低く抑えることができる。
【００４４】
また、本実施の形態の表面検査装置では、空調装置の輪郭形状に合わせて検査領域を設定しているため、検査領域内には含まれない表面欠陥２５については検出を行わず、検査領域内にある表面欠陥のみの検出が可能になる（図６および図１０参照）。すなわち、本実施の形態の表面検査装置では、検査領域内にある表面欠陥と検査領域外にある表面欠陥とを識別し、検査領域内にある表面欠陥のみを確実に検出することが可能になる。
【００４５】
以上説明したように、実施の形態１では、検査対象の撮像画像に設定された検査領域内に更に設定される１〜複数のフィルタ領域のそれぞれに対して所定のフィルタ処理を行い、フィルタ領域ごとに各画素の画素値とフィルタ領域ごとに設定される所定のしきい値との大小関係に基づく二値化画像（表面欠陥候補画像）と、この表面欠陥候補画像を検査領域全体で統合した二値化画像（表面欠陥候補統合化画像）とを生成し、この表面欠陥候補統合化画像に基づいて表面欠陥の箇所および個数を特定することとしたので、検査領域内にある表面欠陥のみを確実に検出することができ、処理負荷、処理時間の増大を抑制し、境界部分の表面欠陥をも取りこぼすことのない検査が可能になる。
【００４６】
実施の形態２．
実施の形態２では、実施の形態１の表面検査装置に適用可能なフィルタ処理の詳細について説明する。図１１および図１２は、図５のフィルタ処理（ステップＳ２０５）に適用するフィルタの一例を示す図であり、図１１は２×２フィルタを示し、図１２は３×３フィルタを示している。まず、図１１において、２×２フィルタ２６に示したハッチング部分は、それぞれのフィルタにおける着目画素である。すなわち、図１１に示す２×２フィルタ２６においては、ハッチングで示す左上の画素Ｋ１の画素値は、自身を含む画素Ｋ１〜Ｋ４による４画素の平均値に置換される。同様に、図１２に示す３×３フィルタ２７においては、ハッチングで示す中央の画素Ｋ１の画素値は、自身を含む画素Ｋ１〜Ｋ９による９画素の平均値に置換される。なお、各画素位置に重み付けの係数が設定されていれば、各係数が乗算された後に平均値が求められる。
【００４７】
図１３は、三角形のフィルタ領域の斜辺部分に図１１に示す２×２フィルタを適用した場合の処理の一例を示す図である。図１３において、斜辺２８の左下側の領域はフィルタ処理領域であり、斜辺２８の右上側の領域はフィルタ処理外領域である。また、一つのマスは一つの画素を表している。
【００４８】
ここで、２×２フィルタ２９のように、４つの画素の全てがフィルタ処理領域に入っている場合には、全ての画素の情報を用いて所定のフィルタ処理を行う。一方、２×２フィルタ３０のように右上の画素がフィルタ処理領域に入っていない場合、フィルタ処理領域に入っている３つの画素の情報を用いて所定のフィルタ処理を行う。
【００４９】
図１４は、三角形のフィルタ領域の斜辺部分に図１２に示す３×３フィルタを適用した場合の処理の一例を示す図である。図１４において、斜辺３１の右下側の領域はフィルタ処理領域であり、斜辺３１の左上側の領域はフィルタ処理外領域である。
【００５０】
ここで、３×３フィルタ３２のように、９つの画素の全てがフィルタ処理領域に入っている場合には、全ての画素の情報を用いて所定のフィルタ処理を行う。一方、３×３フィルタ３３のように左上の３つの画素がフィルタ処理領域に入っていない場合、フィルタ処理領域に入っている残り６つの画素の情報を用いて所定のフィルタ処理を行う。
【００５１】
図１５は、三角形のフィルタ領域の斜辺部分に図１２に示す３×３フィルタを適用した場合の図１４とは異なる処理の一例を示す図である。図１５において、斜辺３４の右下側の領域はフィルタ処理領域であり、斜辺３４の左上側の領域はフィルタ処理外領域である。
【００５２】
図１３で説明する２×２フィルタ２９，３０や、図１４で説明する３×３フィルタ３２，３３は、それぞれが平滑化フィルタであることを前提としている。平滑化フィルタの場合、少なくとも着目画素以外の係数は同一値であるため、フィルタ処理領域外の画素を処理対象から外しても本実施の形態の効果の方が強く表れ、意図しない結果となることは殆どないと考えられる。
【００５３】
一方、３×３フィルタ３５が、平滑化フィルタ以外のフィルタ（例えばエッジフィルタ）の場合、２×２フィルタにおける４つの係数、３×３フィルタにおける９つの係数は非対称であるため、図１３および図１４で説明した手法をそのまま適用すると意図した結果が得られない可能性がある。そこで、平滑化フィルタ以外のフィルタを用いる場合、以下の手法を適用する。
【００５４】
図１５において、３×３フィルタ３５，３６が平滑化フィルタであるか否かを判定し、平滑化フィルタの場合には、図１４で説明した手法を適用する。一方、３×３フィルタ３５，３６が平滑化フィルタではない場合、フィルタ処理領域内に含まれる画素数とフィルタ処理領域外の画素数とを比較し、フィルタ処理領域の画素数の方が多い場合には、通常のフィルタ処理を実行する。これとは逆に、フィルタ処理領域の画素数の方が少ない場合には、フィルタ処理そのものを実行しない。
【００５５】
上記処理を図１５に即して説明すると、３×３フィルタ３５の場合、フィルタ処理領域の画素数は６であり、フィルタ処理領域外の画素数は３であるため（フィルタ処理領域の画素数＞フィルタ処理領域外の画素数）、３×３フィルタ３５の処理を実施する。すなわち、３×３フィルタ３５では、９つの画素を用いて本来のフィルタ処理を実施する。３×３フィルタ３６の場合、フィルタ処理領域の画素数は３であり、フィルタ処理領域外の画素数は６であるため（フィルタ処理領域の画素数＜フィルタ処理領域外の画素数）、３×３フィルタ３６の処理は実施しない。すなわち、３×３フィルタ３６における３つの画素ではフィルタ処理を実施しない。
【００５６】
上記のようなフィルタ処理によれば、フィルタ本来の機能を損なうことのないフィルタ処理が可能となるので、意図しない結果が得られる確率を低く抑えることができるという効果が得られる。
【００５７】
なお、上記の説明では、２×２フィルタおよび３×３フィルタの場合を例示したが、これらに限定されるものではなく、任意のｍ×ｎフィルタ（ｍ，ｎは２以上の整数）に適用可能であることは言うまでもない。
【００５８】
以上説明したように、実施の形態２では、フィルタ領域に設定されるフィルタが平滑フィルタの場合と、平滑フィルタ以外の場合とで、フィルタ処理の内容を異ならせるようにしているので、フィルタ本来の機能を損なうことのないフィルタ処理が可能となり、意図しない結果が得られる確率を低く抑えることができる。
【００５９】
なお、以上の実施の形態１，２に示した構成は、本発明の構成の一例であり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、一部を省略する等、変更して構成することも可能であることは言うまでもない。
【００６０】
さらに、実施の形態１，２では、鉄道車両への適用を想定した表面検査装置を対象として発明内容の説明を行ったが、適用分野はこれに限られるものではなく、自力で移動することができる物体や、自力では移動できなくても何らかの移動手段にて移動可能な物体であれば、本実施の形態に示す上記手法の適用が可能であることは言うまでもない。
【産業上の利用可能性】
【００６１】
以上のように、本発明にかかる表面検査装置は、処理負荷、処理時間の増大を抑制した効率的な検査を可能とする発明として有用である。
【符号の説明】
【００６２】
１ 列車
２ 車両
３ 空調装置
４ 集電装置
６ カメラ
１０ 表面検査装置
１１ 画像入力部
１２ 画像処理部
１３ 画像表示部
１４ 画像蓄積部
１５ 表面検査部
１６ 伸縮率算出部
１７ 画像修正部
２１ 矩形領域
２２ 検査領域
２３，２４，２５ 表面欠陥
２６，２９，３０ ２×２フィルタ
２７，３２，３３，３５，３６ ３×３フィルタ
２８，３１，３４ 斜辺
４１ フィルタ処理部
４２ フィルタ処理差分画像生成部
４３ 表面欠陥候補差分画像生成部
４４ 表面欠陥候補統合化差分画像生成部
４５ 表面欠陥候補統合化画像生成部
４６ ラベリング処理部
４７ 表面欠陥拡大判定処理部
４８ 表面欠陥画像生成部
４９ 表面欠陥情報生成部
【技術分野】
【０００１】
本発明は、表面検査装置および表面検査方法に関する。
【背景技術】
【０００２】
従来、撮像した表面画像を用いて物体表面のキズを検出する手法が開示されている（例えば下記特許文献１）。この特許文献１では、入力画像を重なりをもった矩形領域に分割し、この分割した矩形領域を輝度しきい値で二値化し、二値化した画素のうち所定の画素数を算出し、この画素数が画素数しきい値を超えた場合に当該矩形をキズあり矩形とし、さらに、このキズあり矩形をマスク画像として、通常の二値化画像とのＡＮＤをとって、キズのみが検出された二値化画像を得るようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−６９８８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１において、入力画像を重なりをもった矩形領域に分割しているのは、矩形の境界部分にキズやへこみなどの表面欠陥があった場合に、その表面欠陥を取りこぼさないようにするためである。しかしながら、入力画像を重なりをもった矩形領域に分割した場合、同一のしきい値判定を行う重複領域が存在し、且つ、この重複領域は分割数の増加に従って２次元的に増大するので、処理量（処理負荷）が増大し、処理時間も増大するという問題がある。
【０００５】
また、上記特許文献１の手法では、検査領域を矩形でのみ分割しているので、余分な検査領域が増え、効率的な検査ができないという問題がある。
【０００６】
本発明は、上記に鑑みてなされたものであって、処理負荷、処理時間の増大を抑制し、境界部分の表面欠陥をも取りこぼすことのない検査を可能とする表面検査装置および表面検査方法を得ることを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明は、検査対象を有する物体を相対移動させながら撮像した前記検査対象の撮像画像に基づいて、前記検査対象の表面検査を行う表面検査部を備えた表面検査装置であって、前記表面検査部は、前記検査対象の撮像画像に設定された検査領域内に更に設定される１〜複数のフィルタ領域のそれぞれに対して所定のフィルタ処理を行うフィルタ処理部と、前記フィルタ領域ごとに各画素の画素値と当該フィルタ領域ごとに設定される所定のしきい値との大小関係に基づく当該フィルタ領域ごとの二値化画像を表面欠陥候補画像として生成する表面欠陥候補画像生成部と、前記表面欠陥候補画像を前記検査領域全体で統合した二値化画像を表面欠陥候補統合化画像として生成する表面欠陥候補統合化画像生成部と、前記表面欠陥候補統合化画像に基づいて表面欠陥の箇所および個数を特定するラベリング処理部と、を備えたことを特徴とする。
【発明の効果】
【０００８】
この発明によれば、処理負荷、処理時間の増大を来さず、境界部分の表面欠陥をも取りこぼすことのない検査が可能になるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態１に係る表面検査装置の構成および表面検査方法の説明図である。
【図２】図２は、図１に示した画像処理部の細部構成を示す図である。
【図３】図３は、図２に示した表面検査部の細部構成を示す図である。
【図４】図４は、初回画像に対する検査領域設定手順を示すフローチャートである。
【図５】図５は、検査対象として取り込まれる取り込み画像に対する処理手順を示すフローチャートである。
【図６】図６は、撮像画像の一例を模式的に示す図である。
【図７】図７は、検査領域およびフィルタ領域の概念を説明する図である。
【図８】図８は、明暗差のある撮像画像の一例を模式的に示す図である。
【図９】図９は、図８に示す撮像画像の場合のフィルタ領域を説明する図である。
【図１０】図１０は、図８に例示した撮像画像を処理して得られた表面欠陥候補統合化画像を示す図である。
【図１１】図１１は、図４および図５のフィルタ処理に適用する２×２フィルタを示す図である。
【図１２】図１２は、図４および図５のフィルタ処理に適用する３×３フィルタを示す図である。
【図１３】図１３は、三角形のフィルタ領域の斜辺部分に２×２フィルタを適用した場合の処理の一例を示す図である。
【図１４】図１４は、三角形のフィルタ領域の斜辺部分に３×３フィルタを適用した場合の処理の一例を示す図である。
【図１５】図１５は、三角形のフィルタ領域の斜辺部分に３×３フィルタを適用した場合の図１４とは異なる処理の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照し、本発明の実施の形態にかかる表面検査装置および表面検査方法について説明する。なお、以下に示す実施の形態により本発明が限定されるものではない。
【００１１】
実施の形態１．
図１は、実施の形態１に係る表面検査装置の構成および表面検査方法の説明図である。図１の上部に示すように、実施の形態１に係る表面検査装置１０は、画像入力部１１、画像処理部１２および画像表示部１３を備えて構成される。
【００１２】
また、図１の下部には、検査対象物体の一例である列車１と、列車１の上部を撮影するカメラ６とが示されている。列車１は、複数の車両を連結することで構成され、図示の車両２の上部には、空調装置３および集電装置４が搭載されている。
【００１３】
カメラ６による列車１の撮影は、列車１が、例えば車両検査場に入庫する場合を利用して行う。カメラ６は固定され、カメラ６に向かって移動する列車１（車両２）の上部に開口を向けることで、検査対象としての例えば空調装置３および集電装置４を撮像する。撮像した画像は、画像入力部１１に入力される。画像処理部１２は、画像入力部１１を介して撮像画像を取り込み、後述する画像処理を行う。画像表示部１３は、画像処理部１２の処理結果を受領して表示し、ユーザから設定情報を画像処理部１２に付与するヒューマン・マシン・インタフェース（ＨＭＩ）として機能する。
【００１４】
なお、図１では、列車１に向かって列車の右上部側から撮像する場合を示しているが、撮像位置は任意である。すなわち、列車１に向かって列車の上部側から撮像してもよいし、列車１に向かって列車の左上部側から撮像しても構わない。
【００１５】
また、図１では、カメラ６を固定し、列車１を移動させているが、固定した列車１に対し、カメラ６を移動させて撮像してもよい。つまり、検査対象を有する物体を相対移動させながらカメラ６にて撮像すればよい。また、図１では、１台のカメラしか図示していないが、複数のカメラを備えていてもよい。
【００１６】
また、図１では、車両２を照明する照明手段を図示していないが、カメラ６で車両２を撮像する際に、車両２の上部面に照明光を照射してもよい。この場合、例えば、棒状蛍光灯または複数の電球を並べたものなどによって、車両２へのカメラ６による撮像範囲よりも少し広い領域を照明することが好ましい。さらに、カメラ６の背後に、遮光版を配設してもよい。これにより、背景光が車両２の表面に反射して撮像されることがなくなるという効果が得られる。
【００１７】
つぎに、実施の形態１に係る表面検査装置の動作について、図１〜図５の各図面を参照して説明する。ここで、図２は、図１に示した画像処理部１２の細部構成を示す図であり、画像処理部１２は、画像蓄積部１４、表面検査部１５、伸縮率算出部１６および画像修正部１７を備えて構成される。また、図３は、図２に示した表面検査部１５の細部構成を示す図であり、表面検査部１５は、フィルタ処理部４１、フィルタ処理差分画像生成部４２、表面欠陥候補差分画像生成部４３、表面欠陥候補統合化差分画像生成部４４、表面欠陥候補統合化画像生成部４５、ラベリング処理部４６、表面欠陥拡大判定処理部４７、表面欠陥画像生成部４８および、表面欠陥情報生成部４９を備えて構成される。さらに、図４は、初回画像に対する検査領域設定手順を示すフローチャートであり、図５は、検査対象として取り込まれる取り込み画像に対する処理手順を示すフローチャートである。
【００１８】
まず、初回画像に対する検査領域設定手順について説明する。図４において、画像処理部１２は、カメラ６が撮像した撮像画像を画像入力部１１を介して取り込む（ステップＳ１０１）。画像入力部１１を介して取り込まれた画像は、画像蓄積部１４に蓄積される。画像処理部１２は、検査対象の画像を画像蓄積部１４から読み出し、検査に必要な画像部分を切り出す（ステップＳ１０２）。この処理では、検査に必要な部分が完全に含まれるように、撮像画像から例えば矩形領域が切り出される。
【００１９】
ステップＳ１０３では、検査領域の縦幅／横幅（縦横比および、縮尺率または拡大率）を基準と一致させるための縮尺／拡大処理を実行する。カメラ６に向かう鉄道車両の走行速度は、毎回異なることが予想される。走行速度が異なる場合、撮像画像の縦幅、横幅および縦横比が異なってくるので、初回画像から切り出した部分の検査領域と次回画像から切り出した部分の検査領域とを一致させるため、縦幅、横幅および縦横比を補正する処理を行う。すなわち、この実施の形態では、走行速度が毎回異なることを許容し、例えば切り出し画像内の任意物体における縦幅または横幅を基準とし、この基準に縦幅および横幅、もしくは縦幅および縦横比を一致させる処理を行う手段を画像処理部１２に伸縮率算出部１６および画像修正部１７として具備させる。
【００２０】
具体的に説明すると、伸縮率算出部１６は、例えば空調装置または集電装置の長さ、幅などを基準長とし、この基準長に基づいて今回の撮像画像における検査対象の伸縮率を算出する。画像修正部１７は、伸縮率算出部１６が算出した伸縮率に基づいて初回画像および２回目以降の画像に対する画像修正を行う。なお、これら伸縮率算出部および画像修正部の一例については、本出願人による先願である特開２００９−１７４９２３号公報において、詳細に記述しているので、当該公報を参照されたい。また、当該公報の内容は、本願明細書に取り込まれて本願発明の一部をなすものとする。
【００２１】
なお、カメラ６を固定し、列車１を移動させる撮像手法を用いると共に、予め走行速度を規定して撮像する場合であれば、列車１は固定された線路上を規定速度で走行するため、撮像画像の寸法、縦横比は毎回、一定の精度のものが得られる。したがって、このような撮像手法を用いる場合には、伸縮率算出部１６および画像修正部１７の構成を省略することができ、また、ステップＳ１０３の処理も省略可能である。
【００２２】
続くステップＳ１０４では、ステップＳ１０３にて修正された領域に対し、検査領域が設定される。この検査領域は、実際の検査処理が行われる領域であり、画像表示部１３を介し、ユーザによって、その領域（範囲）が設定される。
【００２３】
ステップＳ１０５では、設定された検査領域内に１〜複数のフィルタ領域が設定され、この処理フローを終える。なお、このフィルタ領域は、検査領域が更に細分化された領域であり、検査領域と同様に、画像表示部１３を介し、ユーザによって設定される。なお、フィルタ領域の数は、１であっても構わない。この場合、フィルタ領域は、検査領域に一致する。
【００２４】
つぎに、検査対象として取り込まれる取り込み画像に対する処理手順について図５を参照して説明する。なお、ステップＳ２０５以降の処理については、初回画像についても処理の対象となる。
【００２５】
図５において、ステップＳ２０１では検査対象物体に対する新たな画像が取り込まれる。ステップＳ２０２，Ｓ２０３の処理については、図４のステップＳ１０２，１０３にて説明したとおりである。ステップＳ２０３に続くステップＳ２０４では、前回画像の読み出し処理が行われる。なお、ここでいう前回画像は、縮尺／拡大処理が施された同一の検査対象における直近の処理画像である。例えば、検査対象がある鉄道車両に搭載されたエアコン装置である場合、同じ鉄道車両に搭載された同一のエアコン装置を検査したときに用いた処理画像のうちの直近のものである。さらに具体例で説明すると、今回の検査が４回目であれば、３回目の検査時に用いた処理画像が、このフローチャートでいうところの前回画像となる。
【００２６】
ステップＳ２０５では、検査領域に設定されたフィルタ領域ごとに所定のフィルタ処理が実行される。画像処理部１２には、予め、フィルタ領域ごとにフィルタの種類やフィルタ係数などが設定されており、表面検査部１５のフィルタ処理部４１（図３参照）は、ステップＳ１０５にて設定されたフィルタ領域に適用すべきフィルタ種類、フィルタ係数などに応ずる所定のフィルタ処理を実行する。なお、フィルタ処理を実行した画像は、フィルタ処理画像として保持される。
【００２７】
ステップＳ２０６では、前回のフィルタ処理画像と今回のフィルタ処理画像との差分値であるフィルタ処理差分画像が生成される。
【００２８】
このステップＳ２０６の処理は、検査対象における表面欠陥が、前回よりも拡大していないかどうかの判定を定量的に行うための差分画像を生成する処理である。例えば、各フィルタ処理画像はグレー画像（階調画像）であり、例えば０〜２５５の輝度値を有しているので、差分値は整数値で表される。なお、この処理は、表面検査部１５のフィルタ処理差分画像生成部４２（図３参照）によって実行される。
【００２９】
ステップＳ２０７では、フィルタ処理差分画像に対して、フィルタ領域ごとに画素単位でのしきい値処理が行われる。具体的には、各画素の画素値と、フィルタ領域ごとに設定される所定のしきい値との大小関係が判定され、画素値がしきい値を超えていれば二値のうちの“０”（もしくは“１”）が付与され、画素値がしきい値以下であれば“１”（もしくは“０”）が付与された二値化画像（表面欠陥候補差分画像）が生成される。この処理は、表面検査部１５の表面欠陥候補差分画像生成部４３（図３参照）によって実行される。なお、しきい値としては、例えば６０程度の値（最大値が２５５の場合）が選ばれる。
【００３０】
ステップＳ２０８では、表面欠陥候補差分画像を検査領域全体で統合した表面欠陥候補統合化差分画像が生成される。この処理は、表面検査部１５の表面欠陥候補統合化差分画像生成部４４（図３参照）によって実行される。
【００３１】
ステップＳ２０９では、前回の処理で生成した表面欠陥画像（後述するステップＳ２１３参照）の画素値に今回の処理で生成した表面欠陥候補統合化差分画像の画素値を加算して表面欠陥候補統合化画像を生成する。この処理は、表面検査部１５の表面欠陥候補統合化画像生成部４５（図３参照）によって実行される。
【００３２】
ステップＳ２１０では、ステップＳ２０９で生成された表面欠陥候補統合化画像を用いて、表面欠陥の箇所と個数を特定するためのラベリング処理が実行される。この処理は、表面検査部１５のラベリング処理部４６（図３参照）によって実行される。
【００３３】
ステップＳ２１１では、ラベリングされた表面欠陥に対しての表面欠陥拡大判定処理が実行される。なお、既存の表面欠陥が拡大しているか否かを判定する場合では、例えば前回の表面欠陥画像の大きさ（例えば幅、面積）と、今回の表面欠陥候補統合化差分画像を基に、判定することが可能である。なお、このときの判定基準としては、面積であれば例えば５％、幅であれば例えば３％などの値を用いることができる。例えば、前回の表面欠陥画像に比べて表面欠陥候補画像の面積が５％以上大きくなった場合あるいは、表面欠陥画像のある方向の幅が例えば３％以上大きくなった場合に既存の表面欠陥が広がっていると判定すればよい。なお、この判定処理は、表面検査部１５の表面欠陥拡大判定処理部４７（図３参照）によって実行される。
【００３４】
ステップＳ２１２では、今回の処理で生成した表面欠陥候補統合化画像を次回の処理で使用する表面欠陥画像として生成（更新）する処理を行う。この処理は、表面検査部１５の表面欠陥画像生成部４８（図３参照）によって実行される。
【００３５】
最後に、ステップＳ２１３では、検査領域内外の表面欠陥数や、新たに生じた表面欠陥数などの情報を含む表面欠陥情報が生成される。この処理は、表面検査部１５の表面欠陥情報生成部４９によって実行される。表面欠陥情報生成部４９は、表面欠陥情報を視認性の高い表示に変換して画像表示部１３に表示する。
【００３６】
なお、これらステップＳ２０１〜Ｓ２１３の処理において生成された各種画像（フィルタ処理画像、フィルタ処理差分画像、表面欠陥候補差分画像、表面欠陥候補統合化差分画像、表面欠陥候補統合化画像、表面欠陥画像）も所定の表示画面に適宜表示可能であることは言うまでもない。これらの画像の表示処理は、画像表示部１３によって実行される。
【００３７】
つぎに、検査領域およびフィルタ領域の概念について、図６〜図１０の各図面を参照して説明する。ここで、図６は、撮像画像の一例を模式的に示す図であり、図７は、検査領域およびフィルタ領域の概念を説明する図であり、図８は、明暗差のある撮像画像の一例を模式的に示す図であり、図９は、図８に示す撮像画像の場合のフィルタ領域を説明する図であり、図１０は、図８に例示した撮像画像を処理して得られた表面欠陥候補統合化画像を示す図である。
【００３８】
図６に示す例では、鉄道車両の上部にある空調装置の撮像イメージを模式的に示している。図示のように、第１の表面欠陥である表面欠陥２３、第２の表面欠陥である表面欠陥２４および、第３の表面欠陥である表面欠陥２５が存在するが、表面欠陥２３，２４は空調装置上の表面欠陥であり、表面欠陥２５は空調装置外の表面欠陥である。
【００３９】
図７において、破線部で囲まれた矩形領域２１は、撮像画像から切り出した部分を示している。一方、矩形領域２１の内側に空調装置の輪郭形状に合わせて設定される実線で示される領域が検査領域２２であり、検査領域２２の内部に番号を付して区分される領域が、フィルタ領域である。図７では、矩形または三角形で区分される１３のフィルタ領域が設定されているが、三角形で区分されているフィルタ領域のうち、Ｎｏ１，３，８，１０，１１，１３のフィルタ領域は、空調装置の輪郭形状および立体形状に合わせて設定されている。
【００４０】
図８では、例えば太陽光によって生ずる空調装置表面上の明暗差をハッチングで示している。本実施の形態の表面検査装置のように、立体的な構造物を平面的な画像を用いて検査する装置の場合、図８に示すような明暗差が機器の立体的形状や太陽光の入射角度などによって変化し、表面欠陥を取りこぼしてしまう虞がある。そこで、本実施の形態では、図９に示すように、検査領域内の明暗差がある領域に複数のフィルタ領域を設定している。
【００４１】
図９では、図７に示されるフィルタ領域４〜７を変更し、撮像画像上の明暗差に合わせて三角形のフィルタ領域５，６を含むフィルタ領域４〜７を設定している。
【００４２】
このようなフィルタ領域を用いた処理を行った場合、明暗差のある領域に跨る表面欠陥が存在していたとしても、明暗差に応じた最適なフィルタ処理を選択できるので、一つの表面欠陥を複数の表面欠陥として誤る可能性を低く抑えることが可能となる。
【００４３】
また、図５のフローで示すように、フィルタ領域ごとのしきい値処理（ステップＳ２０７）では、表面欠陥であるかの判断は行わず、表面欠陥の連続性を判断するラベリング処理（ステップＳ２１０）を行った後の欠陥判定処理（ステップＳ２１０）において、表面欠陥であるか否かの判定を行っているので、例えば複数のフィルタ領域に跨る表面欠陥２４を複数の表面欠陥として検出してしまう確率を極めて低く抑えることができる。
【００４４】
また、本実施の形態の表面検査装置では、空調装置の輪郭形状に合わせて検査領域を設定しているため、検査領域内には含まれない表面欠陥２５については検出を行わず、検査領域内にある表面欠陥のみの検出が可能になる（図６および図１０参照）。すなわち、本実施の形態の表面検査装置では、検査領域内にある表面欠陥と検査領域外にある表面欠陥とを識別し、検査領域内にある表面欠陥のみを確実に検出することが可能になる。
【００４５】
以上説明したように、実施の形態１では、検査対象の撮像画像に設定された検査領域内に更に設定される１〜複数のフィルタ領域のそれぞれに対して所定のフィルタ処理を行い、フィルタ領域ごとに各画素の画素値とフィルタ領域ごとに設定される所定のしきい値との大小関係に基づく二値化画像（表面欠陥候補画像）と、この表面欠陥候補画像を検査領域全体で統合した二値化画像（表面欠陥候補統合化画像）とを生成し、この表面欠陥候補統合化画像に基づいて表面欠陥の箇所および個数を特定することとしたので、検査領域内にある表面欠陥のみを確実に検出することができ、処理負荷、処理時間の増大を抑制し、境界部分の表面欠陥をも取りこぼすことのない検査が可能になる。
【００４６】
実施の形態２．
実施の形態２では、実施の形態１の表面検査装置に適用可能なフィルタ処理の詳細について説明する。図１１および図１２は、図５のフィルタ処理（ステップＳ２０５）に適用するフィルタの一例を示す図であり、図１１は２×２フィルタを示し、図１２は３×３フィルタを示している。まず、図１１において、２×２フィルタ２６に示したハッチング部分は、それぞれのフィルタにおける着目画素である。すなわち、図１１に示す２×２フィルタ２６においては、ハッチングで示す左上の画素Ｋ１の画素値は、自身を含む画素Ｋ１〜Ｋ４による４画素の平均値に置換される。同様に、図１２に示す３×３フィルタ２７においては、ハッチングで示す中央の画素Ｋ１の画素値は、自身を含む画素Ｋ１〜Ｋ９による９画素の平均値に置換される。なお、各画素位置に重み付けの係数が設定されていれば、各係数が乗算された後に平均値が求められる。
【００４７】
図１３は、三角形のフィルタ領域の斜辺部分に図１１に示す２×２フィルタを適用した場合の処理の一例を示す図である。図１３において、斜辺２８の左下側の領域はフィルタ処理領域であり、斜辺２８の右上側の領域はフィルタ処理外領域である。また、一つのマスは一つの画素を表している。
【００４８】
ここで、２×２フィルタ２９のように、４つの画素の全てがフィルタ処理領域に入っている場合には、全ての画素の情報を用いて所定のフィルタ処理を行う。一方、２×２フィルタ３０のように右上の画素がフィルタ処理領域に入っていない場合、フィルタ処理領域に入っている３つの画素の情報を用いて所定のフィルタ処理を行う。
【００４９】
図１４は、三角形のフィルタ領域の斜辺部分に図１２に示す３×３フィルタを適用した場合の処理の一例を示す図である。図１４において、斜辺３１の右下側の領域はフィルタ処理領域であり、斜辺３１の左上側の領域はフィルタ処理外領域である。
【００５０】
ここで、３×３フィルタ３２のように、９つの画素の全てがフィルタ処理領域に入っている場合には、全ての画素の情報を用いて所定のフィルタ処理を行う。一方、３×３フィルタ３３のように左上の３つの画素がフィルタ処理領域に入っていない場合、フィルタ処理領域に入っている残り６つの画素の情報を用いて所定のフィルタ処理を行う。
【００５１】
図１５は、三角形のフィルタ領域の斜辺部分に図１２に示す３×３フィルタを適用した場合の図１４とは異なる処理の一例を示す図である。図１５において、斜辺３４の右下側の領域はフィルタ処理領域であり、斜辺３４の左上側の領域はフィルタ処理外領域である。
【００５２】
図１３で説明する２×２フィルタ２９，３０や、図１４で説明する３×３フィルタ３２，３３は、それぞれが平滑化フィルタであることを前提としている。平滑化フィルタの場合、少なくとも着目画素以外の係数は同一値であるため、フィルタ処理領域外の画素を処理対象から外しても本実施の形態の効果の方が強く表れ、意図しない結果となることは殆どないと考えられる。
【００５３】
一方、３×３フィルタ３５が、平滑化フィルタ以外のフィルタ（例えばエッジフィルタ）の場合、２×２フィルタにおける４つの係数、３×３フィルタにおける９つの係数は非対称であるため、図１３および図１４で説明した手法をそのまま適用すると意図した結果が得られない可能性がある。そこで、平滑化フィルタ以外のフィルタを用いる場合、以下の手法を適用する。
【００５４】
図１５において、３×３フィルタ３５，３６が平滑化フィルタであるか否かを判定し、平滑化フィルタの場合には、図１４で説明した手法を適用する。一方、３×３フィルタ３５，３６が平滑化フィルタではない場合、フィルタ処理領域内に含まれる画素数とフィルタ処理領域外の画素数とを比較し、フィルタ処理領域の画素数の方が多い場合には、通常のフィルタ処理を実行する。これとは逆に、フィルタ処理領域の画素数の方が少ない場合には、フィルタ処理そのものを実行しない。
【００５５】
上記処理を図１５に即して説明すると、３×３フィルタ３５の場合、フィルタ処理領域の画素数は６であり、フィルタ処理領域外の画素数は３であるため（フィルタ処理領域の画素数＞フィルタ処理領域外の画素数）、３×３フィルタ３５の処理を実施する。すなわち、３×３フィルタ３５では、９つの画素を用いて本来のフィルタ処理を実施する。３×３フィルタ３６の場合、フィルタ処理領域の画素数は３であり、フィルタ処理領域外の画素数は６であるため（フィルタ処理領域の画素数＜フィルタ処理領域外の画素数）、３×３フィルタ３６の処理は実施しない。すなわち、３×３フィルタ３６における３つの画素ではフィルタ処理を実施しない。
【００５６】
上記のようなフィルタ処理によれば、フィルタ本来の機能を損なうことのないフィルタ処理が可能となるので、意図しない結果が得られる確率を低く抑えることができるという効果が得られる。
【００５７】
なお、上記の説明では、２×２フィルタおよび３×３フィルタの場合を例示したが、これらに限定されるものではなく、任意のｍ×ｎフィルタ（ｍ，ｎは２以上の整数）に適用可能であることは言うまでもない。
【００５８】
以上説明したように、実施の形態２では、フィルタ領域に設定されるフィルタが平滑フィルタの場合と、平滑フィルタ以外の場合とで、フィルタ処理の内容を異ならせるようにしているので、フィルタ本来の機能を損なうことのないフィルタ処理が可能となり、意図しない結果が得られる確率を低く抑えることができる。
【００５９】
なお、以上の実施の形態１，２に示した構成は、本発明の構成の一例であり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、一部を省略する等、変更して構成することも可能であることは言うまでもない。
【００６０】
さらに、実施の形態１，２では、鉄道車両への適用を想定した表面検査装置を対象として発明内容の説明を行ったが、適用分野はこれに限られるものではなく、自力で移動することができる物体や、自力では移動できなくても何らかの移動手段にて移動可能な物体であれば、本実施の形態に示す上記手法の適用が可能であることは言うまでもない。
【産業上の利用可能性】
【００６１】
以上のように、本発明にかかる表面検査装置は、処理負荷、処理時間の増大を抑制した効率的な検査を可能とする発明として有用である。
【符号の説明】
【００６２】
１ 列車
２ 車両
３ 空調装置
４ 集電装置
６ カメラ
１０ 表面検査装置
１１ 画像入力部
１２ 画像処理部
１３ 画像表示部
１４ 画像蓄積部
１５ 表面検査部
１６ 伸縮率算出部
１７ 画像修正部
２１ 矩形領域
２２ 検査領域
２３，２４，２５ 表面欠陥
２６，２９，３０ ２×２フィルタ
２７，３２，３３，３５，３６ ３×３フィルタ
２８，３１，３４ 斜辺
４１ フィルタ処理部
４２ フィルタ処理差分画像生成部
４３ 表面欠陥候補差分画像生成部
４４ 表面欠陥候補統合化差分画像生成部
４５ 表面欠陥候補統合化画像生成部
４６ ラベリング処理部
４７ 表面欠陥拡大判定処理部
４８ 表面欠陥画像生成部
４９ 表面欠陥情報生成部
【特許請求の範囲】
【請求項１】
検査対象を有する物体を相対移動させながら撮像した前記検査対象の撮像画像に基づいて前記検査対象の表面検査を行うと共に、前記検査対象上の表面欠陥を表す表面欠陥画像を生成する表面検査部を備えた表面検査装置であって、
前記表面検査部は、
前記検査対象の撮像画像に設定された検査領域内に更に設定される１〜複数のフィルタ領域のそれぞれに対して所定のフィルタ処理を行うフィルタ処理部と、
前記フィルタ処理部により、前回の撮像画像を使用して生成された前回フィルタ処理画像と今回の撮像画像を使用して生成された今回フィルタ処理画像との差分値をフィルタ処理差分画像として生成するフィルタ処理差分画像生成部と、
前記フィルタ処理差分画像に対して、前記フィルタ領域ごとに画素単位でのしきい値処理を行うことで生成した二値化画像を表面欠陥候補差分画像として生成する表面欠陥候補差分画像生成部と、
前記表面欠陥候補差分画像を検査領域全体で統合した表面欠陥候補統合化差分画像を生成する表面欠陥候補統合化差分画像生成部と、
前回の処理で得られた前記表面欠陥画像の画素値に今回の処理で得られた表面欠陥候補統合化差分画像の画素値を加算して表面欠陥候補統合化画像を生成する表面欠陥候補統合化画像生成部と、
前記表面欠陥候補統合化画像を用いて表面欠陥の箇所および個数を特定するラベリング処理部と、
今回の処理で生成した表面欠陥候補統合化画像を次回の処理で使用する表面欠陥画像として生成する表面欠陥画像生成部と、
を備えたことを特徴とする表面検査装置。
【請求項２】
前記表面検査部は、前回の処理で得られた前記表面欠陥画像と、今回の処理で得られた表面欠陥候補統合化差分画像とに基づいて既存の表面欠陥が拡大しているか否かを判定する表面欠陥拡大判定処理部を備えたことを特徴とする請求項１に記載の表面検査装置。
【請求項３】
前記表面検査部は、
所定の基準長に基づいて、今回の処理で使用する今回撮像画像における検査対象の横幅および縦幅の伸縮率を算出する伸縮率算出部と、
前記伸縮率算出部が算出した伸縮率に基づいて、前記今回撮像画像の縦幅および横幅を修正する画像修正部と、
を備え、
前記フィルタ処理部は、前記画像修正部にて修正された画像を用いてフィルタ処理を実行することを特徴とする請求項２に記載の表面検査装置。
【請求項４】
前記検査領域は、前記検査対象の輪郭形状に合わせて設定されていることを特徴とする請求項１〜３の何れか１項に記載の表面検査装置。
【請求項５】
前記フィルタ領域は、矩形および三角形で区分されていることを特徴とする請求項１〜３の何れか１項に記載の表面検査装置。
【請求項６】
前記フィルタ領域に設定されるフィルタが平滑フィルタであるとき、
前記フィルタ処理部は、前記平滑フィルタを三角形で設定されるフィルタ領域に適用する場合には、前記平滑フィルタに含まれる画素が前記検査領域内に含まれるか否かを判定し、当該検査領域内に含まれる画素のみを使用してフィルタ処理を実行することを特徴とする請求項１〜５の何れか１項に記載の表面検査装置。
【請求項７】
前記フィルタ領域に設定されるフィルタが平滑フィルタ以外であるとき、
前記フィルタ処理部は、前記平滑フィルタ以外のフィルタを三角形で設定されるフィルタ領域に適用する場合には、前記平滑フィルタに含まれる画素のうち、前記検査領域内に含まれる画素数と、前記検査領域外の画素数とを比較し、当該検査領域の画素数の方が多い場合には通常のフィルタ処理を実行し、当該検査領域の画素数の方が少ない場合には当該フィルタ処理そのものを実行しないことを特徴とする請求項１〜５の何れか１項に記載の表面検査装置。
【請求項８】
検査対象を有する物体を相対移動させながら撮像した前記検査対象の撮像画像に基づいて、前記検査対象の表面検査を行う表面検査ステップと、前記検査対象上の表面欠陥を表す表面欠陥画像を生成する表面欠陥画像生成ステップと、を含む表面検査方法であって、
前記検査対象の撮像画像に設定された検査領域内に更に設定される１〜複数のフィルタ領域のそれぞれに対して所定のフィルタ処理を行う第１の処理ステップと、
前記第１の処理ステップにて前回の撮像画像を使用して生成された前回フィルタ処理画像と今回の撮像画像を使用して生成された今回フィルタ処理画像との差分値をフィルタ処理差分画像として生成する第２の処理ステップと、
前記フィルタ処理差分画像に対して、前記フィルタ領域ごとに画素単位でのしきい値処理を行うことで得られる二値化画像を表面欠陥候補差分画像として生成する第３の処理ステップと、
前記表面欠陥候補差分画像を検査領域全体で統合した二値化画像を表面欠陥候補統合化差分画像として生成する第４の処理ステップと、
前回の処理で得られた前記表面欠陥画像の画素値に今回の処理で得られた表面欠陥候補統合化差分画像の画素値を加算することで得られる二値化画像を表面欠陥候補統合化画像として生成する第５の処理ステップと、
前記表面欠陥候補統合化画像を用いて表面欠陥の箇所および個数を特定する第６の処理ステップと、
今回の処理で生成した表面欠陥候補統合化画像を次回の処理で使用する表面欠陥画像として生成する第７の処理ステップと、
を含むことを特徴とする表面検査方法。
【請求項９】
前回の処理で得られた前記表面欠陥画像と、今回の処理で得られた表面欠陥候補統合化差分画像とに基づいて既存の表面欠陥が拡大しているか否かを判定する第８の処理ステップをさらに有することを特徴とする請求項８に記載の表面検査方法。
【請求項１】
検査対象を有する物体を相対移動させながら撮像した前記検査対象の撮像画像に基づいて前記検査対象の表面検査を行うと共に、前記検査対象上の表面欠陥を表す表面欠陥画像を生成する表面検査部を備えた表面検査装置であって、
前記表面検査部は、
前記検査対象の撮像画像に設定された検査領域内に更に設定される１〜複数のフィルタ領域のそれぞれに対して所定のフィルタ処理を行うフィルタ処理部と、
前記フィルタ処理部により、前回の撮像画像を使用して生成された前回フィルタ処理画像と今回の撮像画像を使用して生成された今回フィルタ処理画像との差分値をフィルタ処理差分画像として生成するフィルタ処理差分画像生成部と、
前記フィルタ処理差分画像に対して、前記フィルタ領域ごとに画素単位でのしきい値処理を行うことで生成した二値化画像を表面欠陥候補差分画像として生成する表面欠陥候補差分画像生成部と、
前記表面欠陥候補差分画像を検査領域全体で統合した表面欠陥候補統合化差分画像を生成する表面欠陥候補統合化差分画像生成部と、
前回の処理で得られた前記表面欠陥画像の画素値に今回の処理で得られた表面欠陥候補統合化差分画像の画素値を加算して表面欠陥候補統合化画像を生成する表面欠陥候補統合化画像生成部と、
前記表面欠陥候補統合化画像を用いて表面欠陥の箇所および個数を特定するラベリング処理部と、
今回の処理で生成した表面欠陥候補統合化画像を次回の処理で使用する表面欠陥画像として生成する表面欠陥画像生成部と、
を備えたことを特徴とする表面検査装置。
【請求項２】
前記表面検査部は、前回の処理で得られた前記表面欠陥画像と、今回の処理で得られた表面欠陥候補統合化差分画像とに基づいて既存の表面欠陥が拡大しているか否かを判定する表面欠陥拡大判定処理部を備えたことを特徴とする請求項１に記載の表面検査装置。
【請求項３】
前記表面検査部は、
所定の基準長に基づいて、今回の処理で使用する今回撮像画像における検査対象の横幅および縦幅の伸縮率を算出する伸縮率算出部と、
前記伸縮率算出部が算出した伸縮率に基づいて、前記今回撮像画像の縦幅および横幅を修正する画像修正部と、
を備え、
前記フィルタ処理部は、前記画像修正部にて修正された画像を用いてフィルタ処理を実行することを特徴とする請求項２に記載の表面検査装置。
【請求項４】
前記検査領域は、前記検査対象の輪郭形状に合わせて設定されていることを特徴とする請求項１〜３の何れか１項に記載の表面検査装置。
【請求項５】
前記フィルタ領域は、矩形および三角形で区分されていることを特徴とする請求項１〜３の何れか１項に記載の表面検査装置。
【請求項６】
前記フィルタ領域に設定されるフィルタが平滑フィルタであるとき、
前記フィルタ処理部は、前記平滑フィルタを三角形で設定されるフィルタ領域に適用する場合には、前記平滑フィルタに含まれる画素が前記検査領域内に含まれるか否かを判定し、当該検査領域内に含まれる画素のみを使用してフィルタ処理を実行することを特徴とする請求項１〜５の何れか１項に記載の表面検査装置。
【請求項７】
前記フィルタ領域に設定されるフィルタが平滑フィルタ以外であるとき、
前記フィルタ処理部は、前記平滑フィルタ以外のフィルタを三角形で設定されるフィルタ領域に適用する場合には、前記平滑フィルタに含まれる画素のうち、前記検査領域内に含まれる画素数と、前記検査領域外の画素数とを比較し、当該検査領域の画素数の方が多い場合には通常のフィルタ処理を実行し、当該検査領域の画素数の方が少ない場合には当該フィルタ処理そのものを実行しないことを特徴とする請求項１〜５の何れか１項に記載の表面検査装置。
【請求項８】
検査対象を有する物体を相対移動させながら撮像した前記検査対象の撮像画像に基づいて、前記検査対象の表面検査を行う表面検査ステップと、前記検査対象上の表面欠陥を表す表面欠陥画像を生成する表面欠陥画像生成ステップと、を含む表面検査方法であって、
前記検査対象の撮像画像に設定された検査領域内に更に設定される１〜複数のフィルタ領域のそれぞれに対して所定のフィルタ処理を行う第１の処理ステップと、
前記第１の処理ステップにて前回の撮像画像を使用して生成された前回フィルタ処理画像と今回の撮像画像を使用して生成された今回フィルタ処理画像との差分値をフィルタ処理差分画像として生成する第２の処理ステップと、
前記フィルタ処理差分画像に対して、前記フィルタ領域ごとに画素単位でのしきい値処理を行うことで得られる二値化画像を表面欠陥候補差分画像として生成する第３の処理ステップと、
前記表面欠陥候補差分画像を検査領域全体で統合した二値化画像を表面欠陥候補統合化差分画像として生成する第４の処理ステップと、
前回の処理で得られた前記表面欠陥画像の画素値に今回の処理で得られた表面欠陥候補統合化差分画像の画素値を加算することで得られる二値化画像を表面欠陥候補統合化画像として生成する第５の処理ステップと、
前記表面欠陥候補統合化画像を用いて表面欠陥の箇所および個数を特定する第６の処理ステップと、
今回の処理で生成した表面欠陥候補統合化画像を次回の処理で使用する表面欠陥画像として生成する第７の処理ステップと、
を含むことを特徴とする表面検査方法。
【請求項９】
前回の処理で得られた前記表面欠陥画像と、今回の処理で得られた表面欠陥候補統合化差分画像とに基づいて既存の表面欠陥が拡大しているか否かを判定する第８の処理ステップをさらに有することを特徴とする請求項８に記載の表面検査方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−８８１６１（Ｐ２０１２−８８１６１Ａ）
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願番号】特願２０１０−２３４７２９（Ｐ２０１０−２３４７２９）
【出願日】平成２２年１０月１９日（２０１０．１０．１９）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願日】平成２２年１０月１９日（２０１０．１０．１９）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]