表面検査装置
【課題】自動車の車体のような検査対象物の形状及び色彩に関する表面状態を同時に検査できる表面検査装置を提供する。
【解決手段】検査対象物1の表面を主走査方向に走査するラインセンサ12を有し、画像データを出力するカメラ3と、主走査方向と直交する副走査方向にカメラ3と検査対象物1を相対的に移動させる副走査装置と、被検査対象物1の表面の主走査領域Lをそれぞれ異なる照明角度で照明するように配置された複数の光源5A、5B、5C及び5Dを含む照明装置4と、光源を切り替えて選択的に点灯させる光源駆動装置7,8と、光源のそれぞれの点灯毎に、カメラから出力される画像データに対し演算処理を施して検査対象物の表面状態を示す処理結果を出力する演算処理装置15と、光源のそれぞれの点灯に対応する処理結果を個別に表示する表示装置16を有する。
【解決手段】検査対象物1の表面を主走査方向に走査するラインセンサ12を有し、画像データを出力するカメラ3と、主走査方向と直交する副走査方向にカメラ3と検査対象物1を相対的に移動させる副走査装置と、被検査対象物1の表面の主走査領域Lをそれぞれ異なる照明角度で照明するように配置された複数の光源5A、5B、5C及び5Dを含む照明装置4と、光源を切り替えて選択的に点灯させる光源駆動装置7,8と、光源のそれぞれの点灯毎に、カメラから出力される画像データに対し演算処理を施して検査対象物の表面状態を示す処理結果を出力する演算処理装置15と、光源のそれぞれの点灯に対応する処理結果を個別に表示する表示装置16を有する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、イメージセンサを有するカメラを用いて自動車の車体のような検査対象物の表面の形状及び色彩の欠陥などの表面検査を行う表面検査装置に関する。
【背景技術】
【0002】
自動車の製造現場における車体の表面検査は、車体の表面形状(凹凸)や色彩の僅かな欠陥についても確実に発見するために、従来から多数の検査者の目視によって行われている。
【0003】
一方、車体の表面検査を自動化する技術も種々提案されている。例えば、特開2000−241147号公報(特許文献1)には、車体のプレス形成により生じる車体表面の傾斜角度の緩やかな凹凸や突起等の表面欠陥をインラインで検査するために、車体の搬送方向の前後から被検査面に対して照明光を一定の照射角度αで照射する広角度照明手段と、広角度照明手段を間にして前後にαよりも大きい撮像角度βで照明光の反射光を撮像する撮像手段を配置し、前後の撮像手段により得た受光画像に基づいて被検査面の表面欠陥を抽出する技術が記載されている。
【特許文献1】特開2000−241147号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
目視による表面検査では、多大な労力と時間を必要とする。また、目視による欠陥の発見のためには、車体を両側に多数の照明光源を配置したいわゆる光のトンネルに通しながら検査を行う必要があり、設備コストも高くなってしまう。
【0005】
特許文献1に記載された技術では、凹凸のような形状的な欠陥を検査することはできるが、色むらなどの色彩の欠陥を検査することはできない。
【0006】
本発明は、車体のような検査対象物の形状及び色彩に関する表面状態を同時に検査できる表面検査装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一態様に係る表面検査装置は、検査対象物の表面を一定の周期で主走査方向に走査するラインセンサを有し、画像データを出力するカメラと、前記主走査方向と直交する副走査方向に前記カメラと前記検査対象物とを相対的に移動させる副走査手段と、前記被検査対象物の表面の主走査領域をそれぞれ異なる照明角度で照明するように配置された複数の光源を含む照明手段と、前記光源を切り替えて少なくとも一つずつ選択的に点灯させる駆動手段と、前記駆動手段による前記光源の選択的な点灯毎に前記カメラから出力される画像データに対し演算処理を施して前記検査対象物の表面状態を示す処理結果を出力する演算処理手段と、前記光源のそれぞれの選択的な各点灯に対応する前記処理結果を個別に表示する表示手段とを具備する。
【発明の効果】
【0008】
本発明によれば、被検査対象物表面の主走査領域を順次異なる照明角度で照明して各照明角度での処理結果を個別に生成して表示するため、複数の異なる照明角度に依存して、検査対象物の形状及び色彩に関する表面状態、すなわち検査対象物表面の形状的及び色彩的な欠陥を同時に検査することができる。
【発明を実施するための最良の形態】
【0009】
以下、図面を参照して本発明の実施の形態を説明する。
図1は、本発明の一実施形態に係る表面検査装置を示している。検査対象物1は、これに限られるものではないが例えば自動車の車体である。検査対象物1は検査時には搬送路2に載せられ、図示しない副走査装置によって搬送路2と共に矢印Yに示す方向(副走査方向)に移動する。搬送路2の側方には、検査対象物1の側面を撮影するカメラ(ディジタルカメラ)3が設置されている。カメラ3に加えて、さらに検査対象物1の上面を撮影するカメラを設置してもよい。
【0010】
カメラ3の前方、すなわちカメラ3に対して検査対象物1に寄った側に、照明装置4が配置されている。照明装置4は、図2に詳細を示すように線状の複数の光源5A、5B、5C及び5Dと、光源5A、5B、5C及び5Dを支持する支持部材6を有する。光源5A、5B、5C及び5Dは、いずれも例えば複数のLED(発光ダイオード)をライン状に配列したLEDアレイである。照明装置4は、LEDアレイのアレイ方向がほぼ垂直となるように設置される。なお、LEDアレイに代えて例えば冷陰極放電管のような放電管を用いても構わない。
【0011】
支持部材6は例えば半円筒状の形状をなし、その内面上に光源5A、5B、5C及び5Dが支持される。支持部材6の光源5Bと5Cとの間の領域には、検査対象物1の表面からの反射光を通過させてカメラ3に導くためのスリットSが設けられている。なお、支持部材はこのような形状に限られず、例えば光源5A、5B、5C及び5Dの両側を支持するようなものでもよい。この場合、スリットSは必要でなく、単に光源5A、5B、5C及び5Dの間の隙間を通して検査対象物1の表面からの反射光をカメラ3に導くようにすればよい。
【0012】
ここで、光源5A、5B、5C及び5Dは検査対象物1の表面上の線状の領域(カメラ3の主走査領域という)Lを主走査領域Lに対してそれぞれ異なる角度の方向から照明するように配置される。すなわち、光源5A、5B、5C及び5Dのうち両側二つの光源5A及び5Dの照明角度は相対的に大きく、他の光源5B及び5Cの照明角度は相対的に小さい。ここで照明角度とは、主走査領域Lの正面方向(0°方向)に対する照明方向(照明光の光軸方向)の角度である。このように照明装置4は、主走査領域Lを大きい照明角度で斜め方向から照明する光源5A及び5Dと、主走査領域Lを小さい照明角度(垂直に近い角度)で正面の近い方向から照明する光源5B及び5Cを備えている。ここでは照明装置4は4個の光源5A、5B、5C及び5Dを備えているが、さらに多数の光源を照明角度を異ならせて配置してもよい。
【0013】
カメラ3は、結像レンズ11、CCDラインイメージセンサのようなラインイメージセンサ12、増幅器13及びA/Dコンバータ14を有し、検査対象物1の表面の画像が結像レンズ11を介してラインイメージセンサ12上に結像される。ラインイメージセンサ12は、複数個(例えば、5120個)の光電変換素子を副走査方向Yと直交する矢印Xで示す方向(主走査方向)に配列して構成される。ラインイメージセンサ12は、コントローラ9による制御の下で検査対象物1の表面上を例えば2,000走査/秒の周期(主走査周期)で主走査方向Xに走査して検査対象物1の表面状態を画像として読み取り、画像信号を出力する。検査対象物1が自動車の車体の場合、カメラ3から検査対象物1までの距離(対物距離)は、例えば3,600mm程度に設定される。また、主走査領域Lの長さ(主走査幅という)は、例えば2,400mm程度に設定される。
【0014】
ラインイメージセンサ12から出力される画像信号は、増幅器13によって増幅された後、さらにA/Dコンバータ14により例えば8ビットパラレルのディジタルデータに変換され、カメラ3から画像データとして出力される。
【0015】
照明装置4の光源5A、5B、5C及び5Dには、光源切替器7を介して光源駆動回路8が接続される。光源切替器7はコントローラ9によって制御され、光源5A、5B、5C及び5Dをラインイメージセンサ12の主走査に同期して主走査周期の整数倍の点灯周期で順次点灯させる。すなわち、光源切替器7は主走査に同期して主走査周期の整数倍(例えば1倍)の点灯周期で切り替えられ、光源駆動回路8から出力される駆動電流を選択的に光源5A、5B、5C及び5Dに供給する。LEDアレイや冷陰極放電管は非常に応答速度が速いため、光源5A、5B、5C及び5Dを上記のように速い周期で点滅させることは容易である。
【0016】
主走査領域Lは、光源5A、5B、5C及び5Dのうち点灯した一つの光源によって照明される。カメラ3は、こうして照明された主走査領域Lからの反射光を検出して主走査領域Lを撮影する。カメラ3から出力される画像データは、演算処理装置16に入力される。演算処理装置16は、入力される画像データに対し後述するような演算処理を施すことにより、検査対象物1の表面状態を示す処理結果を出力する。演算処理装置16から出力される処理結果は、液晶ディスプレイまたはCRTディスプレイのような表示装置16に供給され、画像として表示される。
【0017】
演算処理装置16は、コントローラ9による制御の下で、ラインイメージセンサ12による主走査に同期して、言い換えれば光源切替器7による光源5A、5B、5C及び5Dのそれぞれの点灯毎に演算処理を行う。光源5A、5B、5C及び5Dのそれぞれの点灯毎に得られる処理結果は表示装置16において個別に、すなわち図4に示すように表示装置16の画面上の異なる表示領域10A、10B、10C及び10Dに画像として表示される。
【0018】
一般に物体の平滑な表面を観察する場合、(a)斜め方向から観察すると表面形状は認識できるが、角度によっては光源からの光の反射により光源の色を観察することになってしまうため、物体表面の実際の色彩を認識することはできない。一方、(b)物体表面を正面あるいはそれに近い角度の方向から観察すると、実際の色彩を認識することはできるが、凹凸のような形状を認識することは難しい。
【0019】
本発明の一実施形態によると、照明角度の大きい光源5A及び5Dの点灯時には、上記(a)の原理により、検査対象物1の主として形状に関する表面状態を示す処理結果が演算処理装置16から出力される。照明角度の小さい光源5B及び5Cの点灯時には、上記(b)の原理から、主として色彩に関する表面状態を示す処理結果が演算処理装置16から出力される。従って、これらの処理結果を図4に示したように個別に画像として表示することにより、形状と色彩に関する表面状態を同時に観察することができる。
【0020】
なお、上記の説明では光源5A、5B、5C及び5Dを一個ずつ点灯させるようにしたが、複数個同時に点灯させるモードを含んでいてもよい。例えば、(1)5Aのみを点灯、(2)5Aと5Bを同時点灯、(3)5Bのみを点灯、(4)5Bと5Cを同時点灯、(5)5Cのみを点灯、(6)5Cと5Dを同時点灯、というように点灯させてもよい。このようにすると、一つの主走査領域Lに対して演算処理装置16から4つの処理結果が出力され(光源5A、5B、5C及び5Dを一個ずつ点灯させる場合には、6つの処理結果が出力される)、より多数の方向からの主走査が行われることになる。
【0021】
検査対象物1である自動車の車体は、色彩が種々異なる。また、同じ車体でも塗装前のいわゆるホワイトボディと塗装後では色彩が異なる。色彩が異なれば明度も異なることになり、光源5A、5B、5C及び5Dで主走査領域Lを照明した場合の反射光の強度も異なることになる。また、自動車の車体は表面の粗さが種々異なり、例えば表面が光沢性の場合とマット状がある。表面が光沢性の場合はカメラ3に入射する反射光の強度が高く、またマット状の場合は光が拡散するためカメラ3に入射する反射光の強度が低下する。
【0022】
そこで、コントローラ9により検査対象物1の表面の色彩(明度)や表面の粗さ(光沢性かマット状か)に応じて光源駆動回路8から出力される駆動電流を変化させ、表面の明度が高い場合あるいは表面が光沢性の場合は駆動電流を下げて光源5A、5B、5C及び5Dの発光強度を下げ、明度が低い場合あるいは表面がマット状のように粗い場合は発光強度をあげることが望ましい。このように光源5A、5B、5C及び5Dの発光強度を検査対象物1の色彩(明度)や表面の粗さに応じて変えることによって、明度や粗さによらずほぼ一定の感度で検査を行うことができる。
【0023】
さらに、検査対象物1が自動車の車体の場合、表面形状は平坦でなく、一般に曲面であり、しかも長さ方向においても変化している。すなわち、主走査領域Lの形状は一定でなく、検査対象物1によってまた検査対象物1の長さ方向位置によって異なる。従って、光源5A、5B、5C及び5Dの形状を可変とすることが望ましい。具体的には、例えば照明装置4の光源5A、5B、5C及び5D及び支持部材6をフレキシブルなものとし、検査対象物1や主走査領域Lの位置に応じて主走査領域Lの形状に合わせて光源5A、5B、5C及び5D及び支持部材6の形状を変えるようにしてもよい。
【0024】
次に、演算処理装置16について具体的に説明する。ラインイメージセンサ12を用いたカメラ3においては、イメージセンサ12による明度の読み取り精度に光電変換素子によってばらつきがある。このばらつきはイメージセンサ12を構成する個々の光電変換素子の感度の差などの原因によるものであり、素子ばらつきと呼ばれ、通常3%程度の値をとる。一般的な表面検査装置では、この素子ばらつきの範囲を越えた明度変化がないと、微細な欠陥などの検出を行うことができない。目視による明暗検出精度は1/1500〜1/2000と言われているので、ラインイメージセンサを用いた表面検査装置は目視の1/60の精度しかないことになり、目視検査の代替は不可能とされてきた。
【0025】
この課題を解決すべくイメージセンサの素子ばらつきを補償する方法の一例として、ラインイメージセンサによって得られる画像データ列のうち主走査方向に連続する複数の画素からなるブロックの画像データを加算し、かつ隣接するブロックの加算データの相関演算を行う技術が知られている。しかし、この方法は一つの主走査ライン上で隣接する画素にまたがっている欠陥に対しては検出が可能であるが、隣接する主走査ラインにまたがっている欠陥や、主走査ライン上で隣接する画素にまたがり、かつ隣接する主走査ラインにまたがっている欠陥に対しては検出を行うことができない。このため、検査精度の向上に限界がある。
【0026】
ここで説明する演算処理装置16を含む表面検査装置は、検査対象物上の欠陥を隣接する主走査ラインにまたがっている欠陥や主走査ライン上で隣接する画素にまたがり、かつ隣接する主走査ラインにまたがっている欠陥を検出可能である。従って、先のように検査対象物1の表面の主走査領域Lを照明装置4により順次異なる照明角度で照明し、各照明角度での処理結果を個別に生成して表示することと相まって、形状及び色彩に関する表面状態の検査を精度よく行うことを可能とする。
【0027】
さらに、ここで説明する演算処理装置16は分解能を例えば点について100μm径、線に対して20μm幅程度(髪の毛の幅を識別できる)と非常に高くとることができ、これは人間が目視で400〜500mm程度まで対象物に近づいて検査を行う場合の分解能と同程度である。また、これに伴い被写界深度(合焦状態が得られる範囲)についても、カメラ3から検査対象物1までの対物距離が3,600mmで、かつ主走査幅が2,400mmの場合、被写界深度は1,300mm程度と大きい。このため、自動車の車体のように表面形状が起伏に富む検査対象物の表面状態を、対物距離3,600mmというように検査対象物1から対物比較的遠い定位置に置かれたカメラ3を用いて検査することは十分に可能である。
【0028】
なお、本実施形態ではカメラ3から検査対象物1に寄った側に光源5A、5B、5C及び5Dを配置したが、カメラ3と光源5A、5B、5C及び5Dの位置関係はこれに限られるものではない。例えばカメラ3を搬送路2の側方に配置し、光源5A、5B、5C及び5Dの前方に配置したミラーによって検査対象物1の表面の主走査領域Lからの反射光をカメラ3に導くようにしてもよい。
【0029】
次に、演算処理装置16の幾つかの具体例について説明する。
(演算処理装置の第1の具体例)
第1の具体例による演算処理装置16は、図4に示されるようにラインメモリ17、加算器18、演算器19及び判定器20を有する。ラインメモリ17は、カメラ3から入力される画像データを光源5A、5B、5C及び5Dの数(厳密には、一つの主走査領域Lの走査回数)に相当する複数(nとする)の主走査ライン分記憶するメモリであり、シフトレジスタまたはFIFO(先入れ・先出し)メモリが用いられる。
【0030】
カメラ3から出力される画像データは、加算器18の第1入力端に供給されると共に、ラインメモリ17に供給される。ラインメモリ17の出力は、加算器18の第2入力端に供給される。加算器17は、ラインメモリ17の入力の画像データと出力の画像データとを加算する。
【0031】
ここで、加算器18の第1入力A及び第2入力Bにそれぞれ入力される画像データは、ラインイメージセンサ12の同一素子から得られる画像信号に対応している。すなわち、加算器18の入力Aに対して入力Bはラインメモリ17によりn主走査ライン分の時間遅れている。例えば、入力Aにラインイメージセンサ12のi番目(i=1,2,…)の素子に対応する画像データが入力されるとき、入力Bには同じi番目の素子に対応する1主走査ライン前の画像データがラインメモリ17から入力される。従って、加算器18では図5に示すように入力A、Bにそれぞれ入力される時間的に隣接する2つの主走査ライン(Nライン目とN+1ライン目、N+1ライン目とN+1ライン目、…)の画像データ21が加算され、画像データ列22が生成される。ここで、時間的に隣接する2つの主走査ラインとは、同一光源の点灯に対応してカメラ3から出力される画像データの時間的に隣接するデータをいう。例えば、光源5Aの点灯に対応してカメラ3から出力される第1画像データと、次に同じ光源5Aの点灯に対応してカメラ3から出力される第2画像データとは時間的に隣接しているとする。これは以降の具体例においても同様である。
【0032】
こうしてラインメモリ17と加算器18により構成される画像データ列生成器によって生成された画像データ列22は、演算器19に入力される。演算器19は、加算器18からの画像データ列に主走査方向Xに連続する複数の画素からなるブロックの画像データを加算(積算)してブロック内加算データを生成し、それをブロック内の最初の画素の画素データとし、かつ主走査方向で互いに隣接するブロック内加算データの相関値を算出する処理を、ブロックの位置を主走査方向にシフトさせて繰り返し行う。
【0033】
具体的には、演算器19は図6に示すように、加算器18からの画像データ列22(図参照)が初段に入力されるように接続されたM段のシフトレジスタ31及び2M段のシフトレジスタ32と、シフトレジスタ31の各段の出力を加算する加算器33と、シフトレジスタ32の後段のM段の出力を加算する加算器34と、加算器33、34の出力が供給される相関器35によって構成される。ここで、1主走査ラインの画像データの画素を主走査方向に連続する複数の画素からなるブロックに分割したとき、Mは1ブロックを構成する画素数である。このMの値は、任意に変更可能であることが望ましく、例えば1〜111というような値をとる。
【0034】
図7を用いて演算器19の動作を説明する。加算器33では、加算器18から出力される画像データ列22のうち主走査方向に連続するM画素からなる一つのブロックの画像データが加算される。加算器34では、画像データ列22のうち加算器33で画像データが加算されるブロックに対して主走査方向に隣接した次のブロックの画像データが加算される。ここで、加算器33,34から出力されるブロック内加算データをb1,b2とすると、相関器35においては、例えば両者の差b1−b2が相関値36として求められる。
【0035】
画像データ列22の新たな画素のデータがシフトレジスタ31,32に入力される毎に、図7に示すように加算器33,34で画像データが加算されるブロックの位置が順次主走査方向にシフトされ、同様の動作が行われる。このような動作により、加算器33,34からブロック内加算データc1,c2;d1,d2;e1,e2;…が順次出力され、相関器35からはc1−c2、d1−d2、e1−e2が相関値36として順次求められることになる。
【0036】
ここでは、相関器25は隣接するブロック内加算データの差を相関値36として求めたが、隣接するブロック内加算データの比(b1/b2、…)を相関値36として求めてもよい。相関器25から出力される相関値36は、図4中の判定器20に入力される。判定器20は、例えばコンパレータによって構成され、相関器26から出力される相関値36を適当なしきい値と比較することによって、検査対象物10の表面欠陥の有無を判定し、表面状態を示す処理結果を出力する。
【0037】
すなわち、検査対象物10上に欠陥があると、その欠陥の近傍ではラインイメージセンサ12の同一の素子に対応する画像データの大きさが副走査に伴って、つまり検査対象物10の相対的移動に伴って時間的に変化することにより、相関器35で得られる相関値36が大きくなって、判定器20においてしきい値を越えるため、判定器20でこの欠陥を認識することができる。判定器20の判定結果(処理結果)は、例えばパーソナルコンピュータにより処理されて図示しない表示装置により表示される。
【0038】
上記のように構成された演算処理装置15によると、まず演算器19においてブロック内加算を行うことによる累積機能と、主走査方向で隣接するブロック内加算データの相関をとることによる自己相関機能によって、ラインイメージセンサ12の素子ばらつきの影響を除去すると共に、相関器35で得られる相関値36が大きくなり、欠陥の検出感度を高めることができる。
【0039】
さらに、特にラインメモリ17と加算器18を用いて副走査方向に隣接する2つの主走査ラインの画像データを加算し、これにより得られた画像データ列を演算器19に入力することによって、図8Aに示すように検査対象物10上の欠陥51が一つの主走査ライン(図ではN番目のライン)内にのみ存在する場合は勿論、図8Bのように隣接する2つの主走査ライン(図ではN番目のラインとN+1番目のライン)にまたがっている欠陥52や、図5Cのように主走査ライン上で隣接する画素にまたがり、かつ隣接する2つの主走査ラインにまたがっている欠陥53を含めて検出可能として、さらなる高精度の検査が可能となる。
【0040】
以下、この原理を詳細に説明する。
まず、図8Aに示すように検査対象物10上の欠陥51が一つの主走査ライン内にのみ存在する場合、図9Aに示すように一つの画素内に存在する欠陥50に対応する画像データ(カメラ3出力)に比較して、2つの画素にまたがって存在する欠陥51に対応する画像データの出力が小さくなる。1画素のデータが2画素に分配されるので、出力レベルは半分になる。次のラインでは欠陥が無いので、出力は0であり、副走査方向に隣接する2ラインの画像データを加算する加算器18の出力(画像データ列22)はNラインの画像信号と同じである。この画像データ列22が演算器19の累積機能によって主走査方向のブロック内の画素データが累積されて、当該ブロック内の所定の、例えば最初の1画素の画素データとされる。
【0041】
ここで、説明の便宜上、ブロックは2画素からなるとすると、加算器33は図9Bに示すように、1画素ずれた2つの画像データ列を加算する。このため、各画素データに次の画素データが加算されることになり、欠陥51に対応する画素c6′の画像データのレベルは欠陥50に対応する画素c2′の画像データと同じとなる(レベルが大きくなる)ため、欠陥50は勿論、欠陥51についても容易に検出することができる。
【0042】
次に、図8Bに示すように隣接する2つの主走査ラインにまたがった欠陥52が存在する場合、図10Aに示すように一つの主走査ライン内の一つの画素内に存在する欠陥50に対応する画像データに比較して、欠陥52に対応する画像データの出力が小さくなる。これは、Nラインでも(N+1)ラインでも同じである。しかし、副走査方向に隣接する2ラインの画像データを加算する加算器18により、欠陥52に対応する画像データ列22の出力は欠陥51に対応する画像データ列22の出力と同じになる。このため、2つの主走査ラインにまたがって存在する欠陥52も、容易に検出することができる。図10Bはブロック内加算データを示すが、この例の場合は主走査方向の2つの画素にまたがっている欠陥が存在しないので、ブロック内加算は不要である。
【0043】
さらに、図8Cのように主走査ライン上で隣接する画素にまたがり、かつ隣接する2つの主走査ラインにまたがった欠陥53が存在する場合、図11Aに示すように一つの主走査ライン内の一つの画素内に存在する欠陥50に対応する画像データに比較して、欠陥53に対応する画像データの出力が小さくなる。1画素のデータが4画素に分配されるので、Nライン、(N+1)ラインとも欠陥53に対応する画像データの出力レベルは1/4になる。しかし、副走査方向に隣接する2ラインの画像データを加算する加算器18により、欠陥53に対応する画像データ列22の出力レベルは1/2まで増幅される。この画像データ列22が演算器19の主走査方向での累積機能による効果によって、当該ブロック内の所定の、例えば最初の1画素の画素データとされる。
【0044】
ここで、説明の便宜上、ブロックは2画素からなるとすると、加算器33は図11Bに示すように、1画素ずれた2つの画像データ列を加算する。このため、各画素データに次の画素データが加算されることになり、欠陥53に対応する画素c6′の画像データのレベルは欠陥50に対応する画素c2′の画像データと同じとなる(レベルが大きくなる)ため、欠陥50は勿論、欠陥53についても容易に検出することができる。
【0045】
(演算処理装置の第2の具体例)
次に、図12を参照して演算処理装置16の第2の具体例について説明する。先に述べた第1の具体例では、カメラ3から出力される画像データ21について、ラインメモリ17及び加算器18を用いて時間的に隣接する2つの主走査ラインの画像データを加算して画像データ列22を生成する際、これら2つの主走査ラインの副走査方向Yに隣接する2つの画素(主走査方向の位置が同じ画素)の画像データを加算している。
【0046】
しかし、副走査方向に隣接する2つの主走査ラインの画像データを加算して画像データ列を生成する方法は、これに限られるものではなく、例えば図12に示すような方法で画像データ列を生成してもよい。この方法では、副走査方向Yに隣接する2つの主走査ラインの画像データ21について、副走査方向に隣接しかつ主走査方向に隣接する4つの画素の画像データを加算する処理を該4つの画素の位置を一画素単位で主走査方向にシフトして行うことにより、画像データ列22Aを生成する。
【0047】
この方法によると、画像データ列の各データの大きさが大きくなるため、検査精度をさらに高めることができ、また例えば図8C、図11Aで説明したような主走査ライン上で隣接する画素にまたがり、かつ隣接する主走査ラインにまたがって存在する欠陥53を検出する上で特に有効である。
【0048】
(演算処理装置の第3の具体例)
第3の具体例では、時間的に隣接する2つの主走査ラインの画像データを加算して画像データ列を生成する際、第1の具体例と同様に図13Aに示すように時間的に隣接する2つの主走査ライン(ここでは、便宜上NラインとN+1ラインとしている)の副走査方向に隣接する2つの画素(主走査方向の位置が同じ画素)の画像データを加算して画像データ列を生成する処理に加えて、図13B、図13Cの処理を併用する。図13Bは、副走査方向に対して斜め右上がりの方向(第1の方向)で隣接する画素の画像データを加算して画像データ列を生成する処理である。図13Cは、副走査方向に対して斜め左上がりの方向(第2の方向)で隣接する画素の画像データを加算して画像データ列を生成する処理である。
【0049】
図14は、第3の具体例における演算処理装置16Aの構成を示す図であり、ラインメモリ17Aは1主走査ライン分の画素数(この例では、5120画素)+1=5121段のシフトレジスタにより構成される。このシフトレジスタの入力と、5120段目の出力、5121段目の出力、5119段目の出力が加算器18A,18B,18Cによりそれぞれ加算される。これにより、加算器18Aからは図10Aに示す2つの主走査ラインの副走査方向に隣接する2つの画素の画像データを加算した画像データ列、加算器18Bからは図13Bに示す副走査方向に対して斜め右上がりの方向で隣接する画素の画像データを加算した画像データ列、加算器18Cからは図13Cに示すように副走査方向に対して斜め左上がりの方向で隣接する画素の画像データを加算した画像データ列が出力される。
【0050】
これらの画像データ列は、それぞれ第1具体例で説明したと同様の演算器19A,19B,19Cを経て判定器20A,20B,20Cに入力され、閾値判定される。これら判定器20A,20B,20Cの判定結果は、例えばパーソナルコンピュータにより処理されて図示しない表示装置により表示される。この場合、判定器20A,20B,20Cの判定結果を互いに区別が付くように色を変えて表示してもよい。
【0051】
第3の具体例によると、例えば検査対象物10上に存在する線状のような非常に細い欠陥であって、ラインイメージセンサ12上を斜めに横切るような欠陥に対しても、容易に検出が可能となる。すなわち、このような欠陥は2つの主走査ライン上で図13Bまたは図13Cに示すように副走査方向に対して斜めの方向で隣接する画素にまたがって現れるため、これらの画素の画像データを加算した後に演算器で処理することにより、容易に検出されることになる。
【0052】
これまでの説明では、ラインメモリと加算器を用いて時間的に隣接する2つの主走査ラインの画像データを加算した画像データ列を演算器を介してブロック内加算を行った後、判定器に入力したが、演算器を介さずに判定器に入力しても構わない。
【0053】
人間の眼球は、固視微動と呼ばれる微小な震動を行っている。すなわち、眼球は上下左右を見るときの運動とは別に、固視微動を行うことによって、網膜が刺激に慣れないようにすることで、精度を上げていると考えられている。固視微動の主たる運動成分は、上下方向である。
【0054】
隣接する2つの主走査ラインの画像データを加算する処理は、このような人間の眼球の固視微動に相当している。すなわち、本実施形態では電子的な処理ないしは機械的な処理によって副走査方向の移動(微動)を行いつつ、隣接した2つの主走査ラインの画像データを加算した画像データ列を処理して表面検査を行うことにより、検査精度を上げているのである。
【0055】
上述したような演算処理装置によれば、検査対象物1上の主走査ラインにまたがっている欠陥や、主走査ライン上で隣接する画素にまたがり、かつ隣接する主走査ラインにまたがっている欠陥を含めて検出することが可能である。従って、検査対象物1の表面の主走査領域Lを照明装置4により順次異なる照明角度で照明して各照明角度での処理結果を個別に生成して表示することと相まって、検査対象物1の形状及び色彩に関する表面状態の検査をより一層精度よく行うことができる。
【図面の簡単な説明】
【0056】
【図1】本発明の一実施形態に係る表面検査装置の構成を示すブロック図
【図2】図1中の照明装置の詳細を示す斜視図
【図3】図1中の表示装置における画像表示例を示す図
【図4】図1中の演算処理装置の第1の具体例を示すブロック図
【図5】同実施形態における副走査方向に隣接する2つの主走査ラインの画像データを加算して画像データ列を生成する動作を説明する図
【図6】図4中の演算器の構成を示すブロック図
【図7】図6に示す演算器の動作を説明する図
【図8A】検査対象物上の欠陥の例について説明する図
【図8B】検査対象物上の他の欠陥の例について説明する図
【図8C】検査対象物上のさらに別の欠陥の例について説明する図
【図9A】一つの主走査ライン内にのみ存在する欠陥とそれに対応する画像データ及びブロック内加算データの関係を示す図
【図9B】一つの主走査ライン内にのみ存在する欠陥に対応する画像データ及びブロック内加算データの関係を示す図
【図10A】隣接する2つの主走査ラインにまたがって存在する欠陥とそれに対応する画像データ及びブロック内加算データの関係を示す図
【図10B】隣接する2つの主走査ラインにまたがって存在する欠陥に対応する画像データ及びブロック内加算データの関係を示す図
【図11A】は主走査ライン上で隣接する画素にまたがり、かつ隣接する2つの主走査ラインにまたがった欠陥とそれに対応する画像データ及びブロック内加算データの関係を示す図
【図11B】は主走査ライン上で隣接する画素にまたがり、かつ隣接する2つの主走査ラインにまたがった欠陥に対応する画像データ及びブロック内加算データの関係を示す図
【図12】演算処理装置の第2の具体例における副走査方向に隣接する2つの主走査ラインの画像データを加算して画像データ列を生成する動作を説明する図
【図13A】演算処理装置の第3の具体例における副走査方向に隣接する2つの主走査ラインの画像データを加算して画像データ列を生成する変形例を説明する図
【図13B】演算処理装置の第3の具体例における副走査方向に隣接する2つの主走査ラインの画像データを加算して画像データ列を生成する変形例を説明する図
【図13C】演算処理装置の第3の具体例における副走査方向に隣接する2つの主走査ラインの画像データを加算して画像データ列を生成する変形例を説明する図
【図14】演算処理装置の第3の具体例を示すブロック図
【符号の説明】
【0057】
1・・・検査対象物
2・・・搬送路
3・・・カメラ
4・・・照明装置
5A、5B、5C、5D・・・光源
6・・・支持体
7・・・光源切替器
8・・・光源駆動回路
9・・・コントローラ
10A、10B、10C、10D・・・表示領域
11・・・結像レンズ
12・・・ラインイメージセンサ
13・・・増幅器
14・・・A/Dコンバータ
15・・・演算処理装置
16・・・表示装置
【技術分野】
【0001】
本発明は、イメージセンサを有するカメラを用いて自動車の車体のような検査対象物の表面の形状及び色彩の欠陥などの表面検査を行う表面検査装置に関する。
【背景技術】
【0002】
自動車の製造現場における車体の表面検査は、車体の表面形状(凹凸)や色彩の僅かな欠陥についても確実に発見するために、従来から多数の検査者の目視によって行われている。
【0003】
一方、車体の表面検査を自動化する技術も種々提案されている。例えば、特開2000−241147号公報(特許文献1)には、車体のプレス形成により生じる車体表面の傾斜角度の緩やかな凹凸や突起等の表面欠陥をインラインで検査するために、車体の搬送方向の前後から被検査面に対して照明光を一定の照射角度αで照射する広角度照明手段と、広角度照明手段を間にして前後にαよりも大きい撮像角度βで照明光の反射光を撮像する撮像手段を配置し、前後の撮像手段により得た受光画像に基づいて被検査面の表面欠陥を抽出する技術が記載されている。
【特許文献1】特開2000−241147号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
目視による表面検査では、多大な労力と時間を必要とする。また、目視による欠陥の発見のためには、車体を両側に多数の照明光源を配置したいわゆる光のトンネルに通しながら検査を行う必要があり、設備コストも高くなってしまう。
【0005】
特許文献1に記載された技術では、凹凸のような形状的な欠陥を検査することはできるが、色むらなどの色彩の欠陥を検査することはできない。
【0006】
本発明は、車体のような検査対象物の形状及び色彩に関する表面状態を同時に検査できる表面検査装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一態様に係る表面検査装置は、検査対象物の表面を一定の周期で主走査方向に走査するラインセンサを有し、画像データを出力するカメラと、前記主走査方向と直交する副走査方向に前記カメラと前記検査対象物とを相対的に移動させる副走査手段と、前記被検査対象物の表面の主走査領域をそれぞれ異なる照明角度で照明するように配置された複数の光源を含む照明手段と、前記光源を切り替えて少なくとも一つずつ選択的に点灯させる駆動手段と、前記駆動手段による前記光源の選択的な点灯毎に前記カメラから出力される画像データに対し演算処理を施して前記検査対象物の表面状態を示す処理結果を出力する演算処理手段と、前記光源のそれぞれの選択的な各点灯に対応する前記処理結果を個別に表示する表示手段とを具備する。
【発明の効果】
【0008】
本発明によれば、被検査対象物表面の主走査領域を順次異なる照明角度で照明して各照明角度での処理結果を個別に生成して表示するため、複数の異なる照明角度に依存して、検査対象物の形状及び色彩に関する表面状態、すなわち検査対象物表面の形状的及び色彩的な欠陥を同時に検査することができる。
【発明を実施するための最良の形態】
【0009】
以下、図面を参照して本発明の実施の形態を説明する。
図1は、本発明の一実施形態に係る表面検査装置を示している。検査対象物1は、これに限られるものではないが例えば自動車の車体である。検査対象物1は検査時には搬送路2に載せられ、図示しない副走査装置によって搬送路2と共に矢印Yに示す方向(副走査方向)に移動する。搬送路2の側方には、検査対象物1の側面を撮影するカメラ(ディジタルカメラ)3が設置されている。カメラ3に加えて、さらに検査対象物1の上面を撮影するカメラを設置してもよい。
【0010】
カメラ3の前方、すなわちカメラ3に対して検査対象物1に寄った側に、照明装置4が配置されている。照明装置4は、図2に詳細を示すように線状の複数の光源5A、5B、5C及び5Dと、光源5A、5B、5C及び5Dを支持する支持部材6を有する。光源5A、5B、5C及び5Dは、いずれも例えば複数のLED(発光ダイオード)をライン状に配列したLEDアレイである。照明装置4は、LEDアレイのアレイ方向がほぼ垂直となるように設置される。なお、LEDアレイに代えて例えば冷陰極放電管のような放電管を用いても構わない。
【0011】
支持部材6は例えば半円筒状の形状をなし、その内面上に光源5A、5B、5C及び5Dが支持される。支持部材6の光源5Bと5Cとの間の領域には、検査対象物1の表面からの反射光を通過させてカメラ3に導くためのスリットSが設けられている。なお、支持部材はこのような形状に限られず、例えば光源5A、5B、5C及び5Dの両側を支持するようなものでもよい。この場合、スリットSは必要でなく、単に光源5A、5B、5C及び5Dの間の隙間を通して検査対象物1の表面からの反射光をカメラ3に導くようにすればよい。
【0012】
ここで、光源5A、5B、5C及び5Dは検査対象物1の表面上の線状の領域(カメラ3の主走査領域という)Lを主走査領域Lに対してそれぞれ異なる角度の方向から照明するように配置される。すなわち、光源5A、5B、5C及び5Dのうち両側二つの光源5A及び5Dの照明角度は相対的に大きく、他の光源5B及び5Cの照明角度は相対的に小さい。ここで照明角度とは、主走査領域Lの正面方向(0°方向)に対する照明方向(照明光の光軸方向)の角度である。このように照明装置4は、主走査領域Lを大きい照明角度で斜め方向から照明する光源5A及び5Dと、主走査領域Lを小さい照明角度(垂直に近い角度)で正面の近い方向から照明する光源5B及び5Cを備えている。ここでは照明装置4は4個の光源5A、5B、5C及び5Dを備えているが、さらに多数の光源を照明角度を異ならせて配置してもよい。
【0013】
カメラ3は、結像レンズ11、CCDラインイメージセンサのようなラインイメージセンサ12、増幅器13及びA/Dコンバータ14を有し、検査対象物1の表面の画像が結像レンズ11を介してラインイメージセンサ12上に結像される。ラインイメージセンサ12は、複数個(例えば、5120個)の光電変換素子を副走査方向Yと直交する矢印Xで示す方向(主走査方向)に配列して構成される。ラインイメージセンサ12は、コントローラ9による制御の下で検査対象物1の表面上を例えば2,000走査/秒の周期(主走査周期)で主走査方向Xに走査して検査対象物1の表面状態を画像として読み取り、画像信号を出力する。検査対象物1が自動車の車体の場合、カメラ3から検査対象物1までの距離(対物距離)は、例えば3,600mm程度に設定される。また、主走査領域Lの長さ(主走査幅という)は、例えば2,400mm程度に設定される。
【0014】
ラインイメージセンサ12から出力される画像信号は、増幅器13によって増幅された後、さらにA/Dコンバータ14により例えば8ビットパラレルのディジタルデータに変換され、カメラ3から画像データとして出力される。
【0015】
照明装置4の光源5A、5B、5C及び5Dには、光源切替器7を介して光源駆動回路8が接続される。光源切替器7はコントローラ9によって制御され、光源5A、5B、5C及び5Dをラインイメージセンサ12の主走査に同期して主走査周期の整数倍の点灯周期で順次点灯させる。すなわち、光源切替器7は主走査に同期して主走査周期の整数倍(例えば1倍)の点灯周期で切り替えられ、光源駆動回路8から出力される駆動電流を選択的に光源5A、5B、5C及び5Dに供給する。LEDアレイや冷陰極放電管は非常に応答速度が速いため、光源5A、5B、5C及び5Dを上記のように速い周期で点滅させることは容易である。
【0016】
主走査領域Lは、光源5A、5B、5C及び5Dのうち点灯した一つの光源によって照明される。カメラ3は、こうして照明された主走査領域Lからの反射光を検出して主走査領域Lを撮影する。カメラ3から出力される画像データは、演算処理装置16に入力される。演算処理装置16は、入力される画像データに対し後述するような演算処理を施すことにより、検査対象物1の表面状態を示す処理結果を出力する。演算処理装置16から出力される処理結果は、液晶ディスプレイまたはCRTディスプレイのような表示装置16に供給され、画像として表示される。
【0017】
演算処理装置16は、コントローラ9による制御の下で、ラインイメージセンサ12による主走査に同期して、言い換えれば光源切替器7による光源5A、5B、5C及び5Dのそれぞれの点灯毎に演算処理を行う。光源5A、5B、5C及び5Dのそれぞれの点灯毎に得られる処理結果は表示装置16において個別に、すなわち図4に示すように表示装置16の画面上の異なる表示領域10A、10B、10C及び10Dに画像として表示される。
【0018】
一般に物体の平滑な表面を観察する場合、(a)斜め方向から観察すると表面形状は認識できるが、角度によっては光源からの光の反射により光源の色を観察することになってしまうため、物体表面の実際の色彩を認識することはできない。一方、(b)物体表面を正面あるいはそれに近い角度の方向から観察すると、実際の色彩を認識することはできるが、凹凸のような形状を認識することは難しい。
【0019】
本発明の一実施形態によると、照明角度の大きい光源5A及び5Dの点灯時には、上記(a)の原理により、検査対象物1の主として形状に関する表面状態を示す処理結果が演算処理装置16から出力される。照明角度の小さい光源5B及び5Cの点灯時には、上記(b)の原理から、主として色彩に関する表面状態を示す処理結果が演算処理装置16から出力される。従って、これらの処理結果を図4に示したように個別に画像として表示することにより、形状と色彩に関する表面状態を同時に観察することができる。
【0020】
なお、上記の説明では光源5A、5B、5C及び5Dを一個ずつ点灯させるようにしたが、複数個同時に点灯させるモードを含んでいてもよい。例えば、(1)5Aのみを点灯、(2)5Aと5Bを同時点灯、(3)5Bのみを点灯、(4)5Bと5Cを同時点灯、(5)5Cのみを点灯、(6)5Cと5Dを同時点灯、というように点灯させてもよい。このようにすると、一つの主走査領域Lに対して演算処理装置16から4つの処理結果が出力され(光源5A、5B、5C及び5Dを一個ずつ点灯させる場合には、6つの処理結果が出力される)、より多数の方向からの主走査が行われることになる。
【0021】
検査対象物1である自動車の車体は、色彩が種々異なる。また、同じ車体でも塗装前のいわゆるホワイトボディと塗装後では色彩が異なる。色彩が異なれば明度も異なることになり、光源5A、5B、5C及び5Dで主走査領域Lを照明した場合の反射光の強度も異なることになる。また、自動車の車体は表面の粗さが種々異なり、例えば表面が光沢性の場合とマット状がある。表面が光沢性の場合はカメラ3に入射する反射光の強度が高く、またマット状の場合は光が拡散するためカメラ3に入射する反射光の強度が低下する。
【0022】
そこで、コントローラ9により検査対象物1の表面の色彩(明度)や表面の粗さ(光沢性かマット状か)に応じて光源駆動回路8から出力される駆動電流を変化させ、表面の明度が高い場合あるいは表面が光沢性の場合は駆動電流を下げて光源5A、5B、5C及び5Dの発光強度を下げ、明度が低い場合あるいは表面がマット状のように粗い場合は発光強度をあげることが望ましい。このように光源5A、5B、5C及び5Dの発光強度を検査対象物1の色彩(明度)や表面の粗さに応じて変えることによって、明度や粗さによらずほぼ一定の感度で検査を行うことができる。
【0023】
さらに、検査対象物1が自動車の車体の場合、表面形状は平坦でなく、一般に曲面であり、しかも長さ方向においても変化している。すなわち、主走査領域Lの形状は一定でなく、検査対象物1によってまた検査対象物1の長さ方向位置によって異なる。従って、光源5A、5B、5C及び5Dの形状を可変とすることが望ましい。具体的には、例えば照明装置4の光源5A、5B、5C及び5D及び支持部材6をフレキシブルなものとし、検査対象物1や主走査領域Lの位置に応じて主走査領域Lの形状に合わせて光源5A、5B、5C及び5D及び支持部材6の形状を変えるようにしてもよい。
【0024】
次に、演算処理装置16について具体的に説明する。ラインイメージセンサ12を用いたカメラ3においては、イメージセンサ12による明度の読み取り精度に光電変換素子によってばらつきがある。このばらつきはイメージセンサ12を構成する個々の光電変換素子の感度の差などの原因によるものであり、素子ばらつきと呼ばれ、通常3%程度の値をとる。一般的な表面検査装置では、この素子ばらつきの範囲を越えた明度変化がないと、微細な欠陥などの検出を行うことができない。目視による明暗検出精度は1/1500〜1/2000と言われているので、ラインイメージセンサを用いた表面検査装置は目視の1/60の精度しかないことになり、目視検査の代替は不可能とされてきた。
【0025】
この課題を解決すべくイメージセンサの素子ばらつきを補償する方法の一例として、ラインイメージセンサによって得られる画像データ列のうち主走査方向に連続する複数の画素からなるブロックの画像データを加算し、かつ隣接するブロックの加算データの相関演算を行う技術が知られている。しかし、この方法は一つの主走査ライン上で隣接する画素にまたがっている欠陥に対しては検出が可能であるが、隣接する主走査ラインにまたがっている欠陥や、主走査ライン上で隣接する画素にまたがり、かつ隣接する主走査ラインにまたがっている欠陥に対しては検出を行うことができない。このため、検査精度の向上に限界がある。
【0026】
ここで説明する演算処理装置16を含む表面検査装置は、検査対象物上の欠陥を隣接する主走査ラインにまたがっている欠陥や主走査ライン上で隣接する画素にまたがり、かつ隣接する主走査ラインにまたがっている欠陥を検出可能である。従って、先のように検査対象物1の表面の主走査領域Lを照明装置4により順次異なる照明角度で照明し、各照明角度での処理結果を個別に生成して表示することと相まって、形状及び色彩に関する表面状態の検査を精度よく行うことを可能とする。
【0027】
さらに、ここで説明する演算処理装置16は分解能を例えば点について100μm径、線に対して20μm幅程度(髪の毛の幅を識別できる)と非常に高くとることができ、これは人間が目視で400〜500mm程度まで対象物に近づいて検査を行う場合の分解能と同程度である。また、これに伴い被写界深度(合焦状態が得られる範囲)についても、カメラ3から検査対象物1までの対物距離が3,600mmで、かつ主走査幅が2,400mmの場合、被写界深度は1,300mm程度と大きい。このため、自動車の車体のように表面形状が起伏に富む検査対象物の表面状態を、対物距離3,600mmというように検査対象物1から対物比較的遠い定位置に置かれたカメラ3を用いて検査することは十分に可能である。
【0028】
なお、本実施形態ではカメラ3から検査対象物1に寄った側に光源5A、5B、5C及び5Dを配置したが、カメラ3と光源5A、5B、5C及び5Dの位置関係はこれに限られるものではない。例えばカメラ3を搬送路2の側方に配置し、光源5A、5B、5C及び5Dの前方に配置したミラーによって検査対象物1の表面の主走査領域Lからの反射光をカメラ3に導くようにしてもよい。
【0029】
次に、演算処理装置16の幾つかの具体例について説明する。
(演算処理装置の第1の具体例)
第1の具体例による演算処理装置16は、図4に示されるようにラインメモリ17、加算器18、演算器19及び判定器20を有する。ラインメモリ17は、カメラ3から入力される画像データを光源5A、5B、5C及び5Dの数(厳密には、一つの主走査領域Lの走査回数)に相当する複数(nとする)の主走査ライン分記憶するメモリであり、シフトレジスタまたはFIFO(先入れ・先出し)メモリが用いられる。
【0030】
カメラ3から出力される画像データは、加算器18の第1入力端に供給されると共に、ラインメモリ17に供給される。ラインメモリ17の出力は、加算器18の第2入力端に供給される。加算器17は、ラインメモリ17の入力の画像データと出力の画像データとを加算する。
【0031】
ここで、加算器18の第1入力A及び第2入力Bにそれぞれ入力される画像データは、ラインイメージセンサ12の同一素子から得られる画像信号に対応している。すなわち、加算器18の入力Aに対して入力Bはラインメモリ17によりn主走査ライン分の時間遅れている。例えば、入力Aにラインイメージセンサ12のi番目(i=1,2,…)の素子に対応する画像データが入力されるとき、入力Bには同じi番目の素子に対応する1主走査ライン前の画像データがラインメモリ17から入力される。従って、加算器18では図5に示すように入力A、Bにそれぞれ入力される時間的に隣接する2つの主走査ライン(Nライン目とN+1ライン目、N+1ライン目とN+1ライン目、…)の画像データ21が加算され、画像データ列22が生成される。ここで、時間的に隣接する2つの主走査ラインとは、同一光源の点灯に対応してカメラ3から出力される画像データの時間的に隣接するデータをいう。例えば、光源5Aの点灯に対応してカメラ3から出力される第1画像データと、次に同じ光源5Aの点灯に対応してカメラ3から出力される第2画像データとは時間的に隣接しているとする。これは以降の具体例においても同様である。
【0032】
こうしてラインメモリ17と加算器18により構成される画像データ列生成器によって生成された画像データ列22は、演算器19に入力される。演算器19は、加算器18からの画像データ列に主走査方向Xに連続する複数の画素からなるブロックの画像データを加算(積算)してブロック内加算データを生成し、それをブロック内の最初の画素の画素データとし、かつ主走査方向で互いに隣接するブロック内加算データの相関値を算出する処理を、ブロックの位置を主走査方向にシフトさせて繰り返し行う。
【0033】
具体的には、演算器19は図6に示すように、加算器18からの画像データ列22(図参照)が初段に入力されるように接続されたM段のシフトレジスタ31及び2M段のシフトレジスタ32と、シフトレジスタ31の各段の出力を加算する加算器33と、シフトレジスタ32の後段のM段の出力を加算する加算器34と、加算器33、34の出力が供給される相関器35によって構成される。ここで、1主走査ラインの画像データの画素を主走査方向に連続する複数の画素からなるブロックに分割したとき、Mは1ブロックを構成する画素数である。このMの値は、任意に変更可能であることが望ましく、例えば1〜111というような値をとる。
【0034】
図7を用いて演算器19の動作を説明する。加算器33では、加算器18から出力される画像データ列22のうち主走査方向に連続するM画素からなる一つのブロックの画像データが加算される。加算器34では、画像データ列22のうち加算器33で画像データが加算されるブロックに対して主走査方向に隣接した次のブロックの画像データが加算される。ここで、加算器33,34から出力されるブロック内加算データをb1,b2とすると、相関器35においては、例えば両者の差b1−b2が相関値36として求められる。
【0035】
画像データ列22の新たな画素のデータがシフトレジスタ31,32に入力される毎に、図7に示すように加算器33,34で画像データが加算されるブロックの位置が順次主走査方向にシフトされ、同様の動作が行われる。このような動作により、加算器33,34からブロック内加算データc1,c2;d1,d2;e1,e2;…が順次出力され、相関器35からはc1−c2、d1−d2、e1−e2が相関値36として順次求められることになる。
【0036】
ここでは、相関器25は隣接するブロック内加算データの差を相関値36として求めたが、隣接するブロック内加算データの比(b1/b2、…)を相関値36として求めてもよい。相関器25から出力される相関値36は、図4中の判定器20に入力される。判定器20は、例えばコンパレータによって構成され、相関器26から出力される相関値36を適当なしきい値と比較することによって、検査対象物10の表面欠陥の有無を判定し、表面状態を示す処理結果を出力する。
【0037】
すなわち、検査対象物10上に欠陥があると、その欠陥の近傍ではラインイメージセンサ12の同一の素子に対応する画像データの大きさが副走査に伴って、つまり検査対象物10の相対的移動に伴って時間的に変化することにより、相関器35で得られる相関値36が大きくなって、判定器20においてしきい値を越えるため、判定器20でこの欠陥を認識することができる。判定器20の判定結果(処理結果)は、例えばパーソナルコンピュータにより処理されて図示しない表示装置により表示される。
【0038】
上記のように構成された演算処理装置15によると、まず演算器19においてブロック内加算を行うことによる累積機能と、主走査方向で隣接するブロック内加算データの相関をとることによる自己相関機能によって、ラインイメージセンサ12の素子ばらつきの影響を除去すると共に、相関器35で得られる相関値36が大きくなり、欠陥の検出感度を高めることができる。
【0039】
さらに、特にラインメモリ17と加算器18を用いて副走査方向に隣接する2つの主走査ラインの画像データを加算し、これにより得られた画像データ列を演算器19に入力することによって、図8Aに示すように検査対象物10上の欠陥51が一つの主走査ライン(図ではN番目のライン)内にのみ存在する場合は勿論、図8Bのように隣接する2つの主走査ライン(図ではN番目のラインとN+1番目のライン)にまたがっている欠陥52や、図5Cのように主走査ライン上で隣接する画素にまたがり、かつ隣接する2つの主走査ラインにまたがっている欠陥53を含めて検出可能として、さらなる高精度の検査が可能となる。
【0040】
以下、この原理を詳細に説明する。
まず、図8Aに示すように検査対象物10上の欠陥51が一つの主走査ライン内にのみ存在する場合、図9Aに示すように一つの画素内に存在する欠陥50に対応する画像データ(カメラ3出力)に比較して、2つの画素にまたがって存在する欠陥51に対応する画像データの出力が小さくなる。1画素のデータが2画素に分配されるので、出力レベルは半分になる。次のラインでは欠陥が無いので、出力は0であり、副走査方向に隣接する2ラインの画像データを加算する加算器18の出力(画像データ列22)はNラインの画像信号と同じである。この画像データ列22が演算器19の累積機能によって主走査方向のブロック内の画素データが累積されて、当該ブロック内の所定の、例えば最初の1画素の画素データとされる。
【0041】
ここで、説明の便宜上、ブロックは2画素からなるとすると、加算器33は図9Bに示すように、1画素ずれた2つの画像データ列を加算する。このため、各画素データに次の画素データが加算されることになり、欠陥51に対応する画素c6′の画像データのレベルは欠陥50に対応する画素c2′の画像データと同じとなる(レベルが大きくなる)ため、欠陥50は勿論、欠陥51についても容易に検出することができる。
【0042】
次に、図8Bに示すように隣接する2つの主走査ラインにまたがった欠陥52が存在する場合、図10Aに示すように一つの主走査ライン内の一つの画素内に存在する欠陥50に対応する画像データに比較して、欠陥52に対応する画像データの出力が小さくなる。これは、Nラインでも(N+1)ラインでも同じである。しかし、副走査方向に隣接する2ラインの画像データを加算する加算器18により、欠陥52に対応する画像データ列22の出力は欠陥51に対応する画像データ列22の出力と同じになる。このため、2つの主走査ラインにまたがって存在する欠陥52も、容易に検出することができる。図10Bはブロック内加算データを示すが、この例の場合は主走査方向の2つの画素にまたがっている欠陥が存在しないので、ブロック内加算は不要である。
【0043】
さらに、図8Cのように主走査ライン上で隣接する画素にまたがり、かつ隣接する2つの主走査ラインにまたがった欠陥53が存在する場合、図11Aに示すように一つの主走査ライン内の一つの画素内に存在する欠陥50に対応する画像データに比較して、欠陥53に対応する画像データの出力が小さくなる。1画素のデータが4画素に分配されるので、Nライン、(N+1)ラインとも欠陥53に対応する画像データの出力レベルは1/4になる。しかし、副走査方向に隣接する2ラインの画像データを加算する加算器18により、欠陥53に対応する画像データ列22の出力レベルは1/2まで増幅される。この画像データ列22が演算器19の主走査方向での累積機能による効果によって、当該ブロック内の所定の、例えば最初の1画素の画素データとされる。
【0044】
ここで、説明の便宜上、ブロックは2画素からなるとすると、加算器33は図11Bに示すように、1画素ずれた2つの画像データ列を加算する。このため、各画素データに次の画素データが加算されることになり、欠陥53に対応する画素c6′の画像データのレベルは欠陥50に対応する画素c2′の画像データと同じとなる(レベルが大きくなる)ため、欠陥50は勿論、欠陥53についても容易に検出することができる。
【0045】
(演算処理装置の第2の具体例)
次に、図12を参照して演算処理装置16の第2の具体例について説明する。先に述べた第1の具体例では、カメラ3から出力される画像データ21について、ラインメモリ17及び加算器18を用いて時間的に隣接する2つの主走査ラインの画像データを加算して画像データ列22を生成する際、これら2つの主走査ラインの副走査方向Yに隣接する2つの画素(主走査方向の位置が同じ画素)の画像データを加算している。
【0046】
しかし、副走査方向に隣接する2つの主走査ラインの画像データを加算して画像データ列を生成する方法は、これに限られるものではなく、例えば図12に示すような方法で画像データ列を生成してもよい。この方法では、副走査方向Yに隣接する2つの主走査ラインの画像データ21について、副走査方向に隣接しかつ主走査方向に隣接する4つの画素の画像データを加算する処理を該4つの画素の位置を一画素単位で主走査方向にシフトして行うことにより、画像データ列22Aを生成する。
【0047】
この方法によると、画像データ列の各データの大きさが大きくなるため、検査精度をさらに高めることができ、また例えば図8C、図11Aで説明したような主走査ライン上で隣接する画素にまたがり、かつ隣接する主走査ラインにまたがって存在する欠陥53を検出する上で特に有効である。
【0048】
(演算処理装置の第3の具体例)
第3の具体例では、時間的に隣接する2つの主走査ラインの画像データを加算して画像データ列を生成する際、第1の具体例と同様に図13Aに示すように時間的に隣接する2つの主走査ライン(ここでは、便宜上NラインとN+1ラインとしている)の副走査方向に隣接する2つの画素(主走査方向の位置が同じ画素)の画像データを加算して画像データ列を生成する処理に加えて、図13B、図13Cの処理を併用する。図13Bは、副走査方向に対して斜め右上がりの方向(第1の方向)で隣接する画素の画像データを加算して画像データ列を生成する処理である。図13Cは、副走査方向に対して斜め左上がりの方向(第2の方向)で隣接する画素の画像データを加算して画像データ列を生成する処理である。
【0049】
図14は、第3の具体例における演算処理装置16Aの構成を示す図であり、ラインメモリ17Aは1主走査ライン分の画素数(この例では、5120画素)+1=5121段のシフトレジスタにより構成される。このシフトレジスタの入力と、5120段目の出力、5121段目の出力、5119段目の出力が加算器18A,18B,18Cによりそれぞれ加算される。これにより、加算器18Aからは図10Aに示す2つの主走査ラインの副走査方向に隣接する2つの画素の画像データを加算した画像データ列、加算器18Bからは図13Bに示す副走査方向に対して斜め右上がりの方向で隣接する画素の画像データを加算した画像データ列、加算器18Cからは図13Cに示すように副走査方向に対して斜め左上がりの方向で隣接する画素の画像データを加算した画像データ列が出力される。
【0050】
これらの画像データ列は、それぞれ第1具体例で説明したと同様の演算器19A,19B,19Cを経て判定器20A,20B,20Cに入力され、閾値判定される。これら判定器20A,20B,20Cの判定結果は、例えばパーソナルコンピュータにより処理されて図示しない表示装置により表示される。この場合、判定器20A,20B,20Cの判定結果を互いに区別が付くように色を変えて表示してもよい。
【0051】
第3の具体例によると、例えば検査対象物10上に存在する線状のような非常に細い欠陥であって、ラインイメージセンサ12上を斜めに横切るような欠陥に対しても、容易に検出が可能となる。すなわち、このような欠陥は2つの主走査ライン上で図13Bまたは図13Cに示すように副走査方向に対して斜めの方向で隣接する画素にまたがって現れるため、これらの画素の画像データを加算した後に演算器で処理することにより、容易に検出されることになる。
【0052】
これまでの説明では、ラインメモリと加算器を用いて時間的に隣接する2つの主走査ラインの画像データを加算した画像データ列を演算器を介してブロック内加算を行った後、判定器に入力したが、演算器を介さずに判定器に入力しても構わない。
【0053】
人間の眼球は、固視微動と呼ばれる微小な震動を行っている。すなわち、眼球は上下左右を見るときの運動とは別に、固視微動を行うことによって、網膜が刺激に慣れないようにすることで、精度を上げていると考えられている。固視微動の主たる運動成分は、上下方向である。
【0054】
隣接する2つの主走査ラインの画像データを加算する処理は、このような人間の眼球の固視微動に相当している。すなわち、本実施形態では電子的な処理ないしは機械的な処理によって副走査方向の移動(微動)を行いつつ、隣接した2つの主走査ラインの画像データを加算した画像データ列を処理して表面検査を行うことにより、検査精度を上げているのである。
【0055】
上述したような演算処理装置によれば、検査対象物1上の主走査ラインにまたがっている欠陥や、主走査ライン上で隣接する画素にまたがり、かつ隣接する主走査ラインにまたがっている欠陥を含めて検出することが可能である。従って、検査対象物1の表面の主走査領域Lを照明装置4により順次異なる照明角度で照明して各照明角度での処理結果を個別に生成して表示することと相まって、検査対象物1の形状及び色彩に関する表面状態の検査をより一層精度よく行うことができる。
【図面の簡単な説明】
【0056】
【図1】本発明の一実施形態に係る表面検査装置の構成を示すブロック図
【図2】図1中の照明装置の詳細を示す斜視図
【図3】図1中の表示装置における画像表示例を示す図
【図4】図1中の演算処理装置の第1の具体例を示すブロック図
【図5】同実施形態における副走査方向に隣接する2つの主走査ラインの画像データを加算して画像データ列を生成する動作を説明する図
【図6】図4中の演算器の構成を示すブロック図
【図7】図6に示す演算器の動作を説明する図
【図8A】検査対象物上の欠陥の例について説明する図
【図8B】検査対象物上の他の欠陥の例について説明する図
【図8C】検査対象物上のさらに別の欠陥の例について説明する図
【図9A】一つの主走査ライン内にのみ存在する欠陥とそれに対応する画像データ及びブロック内加算データの関係を示す図
【図9B】一つの主走査ライン内にのみ存在する欠陥に対応する画像データ及びブロック内加算データの関係を示す図
【図10A】隣接する2つの主走査ラインにまたがって存在する欠陥とそれに対応する画像データ及びブロック内加算データの関係を示す図
【図10B】隣接する2つの主走査ラインにまたがって存在する欠陥に対応する画像データ及びブロック内加算データの関係を示す図
【図11A】は主走査ライン上で隣接する画素にまたがり、かつ隣接する2つの主走査ラインにまたがった欠陥とそれに対応する画像データ及びブロック内加算データの関係を示す図
【図11B】は主走査ライン上で隣接する画素にまたがり、かつ隣接する2つの主走査ラインにまたがった欠陥に対応する画像データ及びブロック内加算データの関係を示す図
【図12】演算処理装置の第2の具体例における副走査方向に隣接する2つの主走査ラインの画像データを加算して画像データ列を生成する動作を説明する図
【図13A】演算処理装置の第3の具体例における副走査方向に隣接する2つの主走査ラインの画像データを加算して画像データ列を生成する変形例を説明する図
【図13B】演算処理装置の第3の具体例における副走査方向に隣接する2つの主走査ラインの画像データを加算して画像データ列を生成する変形例を説明する図
【図13C】演算処理装置の第3の具体例における副走査方向に隣接する2つの主走査ラインの画像データを加算して画像データ列を生成する変形例を説明する図
【図14】演算処理装置の第3の具体例を示すブロック図
【符号の説明】
【0057】
1・・・検査対象物
2・・・搬送路
3・・・カメラ
4・・・照明装置
5A、5B、5C、5D・・・光源
6・・・支持体
7・・・光源切替器
8・・・光源駆動回路
9・・・コントローラ
10A、10B、10C、10D・・・表示領域
11・・・結像レンズ
12・・・ラインイメージセンサ
13・・・増幅器
14・・・A/Dコンバータ
15・・・演算処理装置
16・・・表示装置
【特許請求の範囲】
【請求項1】
検査対象物の表面を一定の周期で主走査方向に走査するラインセンサを有し、画像データを出力するカメラと、
前記主走査方向と直交する副走査方向に前記カメラと前記検査対象物とを相対的に移動させる副走査手段と、
前記被検査対象物の表面の主走査領域をそれぞれ異なる照明角度で照明するように配置された複数の光源を含む照明手段と、
前記光源を切り替えて少なくとも一つずつ選択的に点灯させる駆動手段と、
前記駆動手段による前記光源の選択的な点灯毎に前記カメラから出力される画像データに対し演算処理を施して前記検査対象物の表面状態を示す処理結果を出力する演算処理手段と、
前記光源のそれぞれの選択的な各点灯に対応する前記処理結果を個別に表示する表示手段とを具備する表面検査装置。
【請求項2】
前記光源は、複数のLEDをライン状に配列したLEDアレイである請求項1記載の表面検査装置。
【請求項3】
前記照明手段は、前記カメラに対して前記検査対象物に寄った側に配置され、前記カメラは前記主走査領域により反射されかつ前記光源の間を通過した反射光を検出するように配置される請求項1記載の表面検査装置。
【請求項4】
前記光源に対して前記検査対象物に寄った側に配置されたミラーを有し、前記カメラは前記主走査領域により反射されかつ前記ミラーにより反射された光を検出するように配置される請求項3記載の表面検査装置。
【請求項5】
前記駆動手段は、前記光源を前記ラインセンサによる走査に同期して前記主走査周期の整数倍の点灯周期で選択的に点灯させる請求項1記載の表面検査装置。
【請求項6】
前記複数の光源は、前記照明角度が相対的に大きい第1光源と前記照明角度が相対的に小さい第2光源を含み、前記演算処理手段は前記駆動手段による前記第1光源の点灯時には主として形状に関する表面状態を示す処理結果を出力し、前記第2光源の点灯時には主として色彩に関する表面状態を示す処理結果を出力する請求項1記載の表面検査装置。
【請求項7】
前記検査対象物の表面の明度及び該表面の粗さの少なくとも一方に応じて前記光源の発光強度を変化させる制御手段をさらに具備することを特徴とする請求項1記載の表面検査装置。
【請求項8】
前記演算処理手段は、同一光源の点灯に対応して前記カメラから出力される画像データの時間的に隣接する2つの主走査ラインのデータを加算して画像データ列を生成する画像データ列生成手段と、該画像データ列を用いて前記検査対象物の表面状態を判定する判定手段とを具備する請求項1に記載の表面検査装置。
【請求項9】
前記画像データ列生成手段は、前記隣接する2つの主走査ラインの画像データのうち、前記主走査方向における同一位置の画素の画像データを加算する請求項8に記載の表面検査装置。
【請求項10】
前記画像データ列生成手段は、前記隣接する2つの主走査ラインの画像データのうち、前記副走査方向に隣接し、かつ前記主走査方向に隣接する4画素の画像データを加算して前記画像データを得る請求項8に記載の表面検査装置。
【請求項11】
前記画像データ列生成手段は、前記隣接する2つの主走査ラインの画像データのうち、前記副走査方向に隣接し、かつ前記主走査方向に隣接する4画素の画像データを加算して第1画像データ列を生成し、前記隣接する2つの主走査ラインの画像データのうち、前記副走査方向に対して斜めの第1の方向で隣接する2画素の画像データを加算して第2画像データ列を生成し、前記隣接する2つの主走査ラインの画像データのうち、前記副走査方向に対して斜めの第2の方向で隣接する2画素の画像データを加算して第3画像データ列を生成する請求項8に記載の表面検査装置。
【請求項12】
前記判定手段は、前記画像データ列のうち前記主走査方向おいて連続する複数の画素からなるブロック内の画像データを加算してブロック内加算データを算出する累積手段と、前記主走査方向において隣接するブロックのブロック内加算データの相関値を算出する相関手段と、前記相関値を閾値判定する手段とを具備する請求項8に記載の表面検査装置。
【請求項13】
前記判定手段は、前記ブロックを前記主走査方向に1画素ずつシフトさせて前記ブロック内加算と相関演算を繰り返し行う請求項12に記載の表面検査装置。
【請求項1】
検査対象物の表面を一定の周期で主走査方向に走査するラインセンサを有し、画像データを出力するカメラと、
前記主走査方向と直交する副走査方向に前記カメラと前記検査対象物とを相対的に移動させる副走査手段と、
前記被検査対象物の表面の主走査領域をそれぞれ異なる照明角度で照明するように配置された複数の光源を含む照明手段と、
前記光源を切り替えて少なくとも一つずつ選択的に点灯させる駆動手段と、
前記駆動手段による前記光源の選択的な点灯毎に前記カメラから出力される画像データに対し演算処理を施して前記検査対象物の表面状態を示す処理結果を出力する演算処理手段と、
前記光源のそれぞれの選択的な各点灯に対応する前記処理結果を個別に表示する表示手段とを具備する表面検査装置。
【請求項2】
前記光源は、複数のLEDをライン状に配列したLEDアレイである請求項1記載の表面検査装置。
【請求項3】
前記照明手段は、前記カメラに対して前記検査対象物に寄った側に配置され、前記カメラは前記主走査領域により反射されかつ前記光源の間を通過した反射光を検出するように配置される請求項1記載の表面検査装置。
【請求項4】
前記光源に対して前記検査対象物に寄った側に配置されたミラーを有し、前記カメラは前記主走査領域により反射されかつ前記ミラーにより反射された光を検出するように配置される請求項3記載の表面検査装置。
【請求項5】
前記駆動手段は、前記光源を前記ラインセンサによる走査に同期して前記主走査周期の整数倍の点灯周期で選択的に点灯させる請求項1記載の表面検査装置。
【請求項6】
前記複数の光源は、前記照明角度が相対的に大きい第1光源と前記照明角度が相対的に小さい第2光源を含み、前記演算処理手段は前記駆動手段による前記第1光源の点灯時には主として形状に関する表面状態を示す処理結果を出力し、前記第2光源の点灯時には主として色彩に関する表面状態を示す処理結果を出力する請求項1記載の表面検査装置。
【請求項7】
前記検査対象物の表面の明度及び該表面の粗さの少なくとも一方に応じて前記光源の発光強度を変化させる制御手段をさらに具備することを特徴とする請求項1記載の表面検査装置。
【請求項8】
前記演算処理手段は、同一光源の点灯に対応して前記カメラから出力される画像データの時間的に隣接する2つの主走査ラインのデータを加算して画像データ列を生成する画像データ列生成手段と、該画像データ列を用いて前記検査対象物の表面状態を判定する判定手段とを具備する請求項1に記載の表面検査装置。
【請求項9】
前記画像データ列生成手段は、前記隣接する2つの主走査ラインの画像データのうち、前記主走査方向における同一位置の画素の画像データを加算する請求項8に記載の表面検査装置。
【請求項10】
前記画像データ列生成手段は、前記隣接する2つの主走査ラインの画像データのうち、前記副走査方向に隣接し、かつ前記主走査方向に隣接する4画素の画像データを加算して前記画像データを得る請求項8に記載の表面検査装置。
【請求項11】
前記画像データ列生成手段は、前記隣接する2つの主走査ラインの画像データのうち、前記副走査方向に隣接し、かつ前記主走査方向に隣接する4画素の画像データを加算して第1画像データ列を生成し、前記隣接する2つの主走査ラインの画像データのうち、前記副走査方向に対して斜めの第1の方向で隣接する2画素の画像データを加算して第2画像データ列を生成し、前記隣接する2つの主走査ラインの画像データのうち、前記副走査方向に対して斜めの第2の方向で隣接する2画素の画像データを加算して第3画像データ列を生成する請求項8に記載の表面検査装置。
【請求項12】
前記判定手段は、前記画像データ列のうち前記主走査方向おいて連続する複数の画素からなるブロック内の画像データを加算してブロック内加算データを算出する累積手段と、前記主走査方向において隣接するブロックのブロック内加算データの相関値を算出する相関手段と、前記相関値を閾値判定する手段とを具備する請求項8に記載の表面検査装置。
【請求項13】
前記判定手段は、前記ブロックを前記主走査方向に1画素ずつシフトさせて前記ブロック内加算と相関演算を繰り返し行う請求項12に記載の表面検査装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図8C】
【図9A】
【図9B】
【図10A】
【図10B】
【図11A】
【図11B】
【図12】
【図13A】
【図13B】
【図13C】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図8C】
【図9A】
【図9B】
【図10A】
【図10B】
【図11A】
【図11B】
【図12】
【図13A】
【図13B】
【図13C】
【図14】
【公開番号】特開2007−322402(P2007−322402A)
【公開日】平成19年12月13日(2007.12.13)
【国際特許分類】
【出願番号】特願2006−156676(P2006−156676)
【出願日】平成18年6月5日(2006.6.5)
【出願人】(390018588)
【Fターム(参考)】
【公開日】平成19年12月13日(2007.12.13)
【国際特許分類】
【出願日】平成18年6月5日(2006.6.5)
【出願人】(390018588)
【Fターム(参考)】
[ Back to top ]