表面検査装置、表面検査方法および表面検査プログラム
【課題】自動車のボディやその部品などの光沢塗装が施されるなどして表面反射の強い計測対象物であっても、簡単な構造により低コストで高精度かつ高速に表面の疵、塗装の剥がれや凹みなどの表面欠陥を検査することが可能な表面検査装置、表面検査プログラムおよび表面検査方法の提供。
【解決手段】曲面状壁１ｂを有する計測空間１を構成し、計測空間１内の計測対象物Ａに対して照明装置２−１，２−２，２−３の光源光を均一に減光して照明し、照明された計測対象物Ａの全照明画像の撮影を行うとともに、パターン光投影装置３によりパターン光を計測対象物Ａに直接当たらないように曲面状壁１ｂに投影して反射させ、カメラ装置４によりこの反射パターン光が投影された計測対象物Ａの反射パターン画像の撮像を行う。
【解決手段】曲面状壁１ｂを有する計測空間１を構成し、計測空間１内の計測対象物Ａに対して照明装置２−１，２−２，２−３の光源光を均一に減光して照明し、照明された計測対象物Ａの全照明画像の撮影を行うとともに、パターン光投影装置３によりパターン光を計測対象物Ａに直接当たらないように曲面状壁１ｂに投影して反射させ、カメラ装置４によりこの反射パターン光が投影された計測対象物Ａの反射パターン画像の撮像を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車のボディやその部品などの光沢塗装が施されるなどして表面反射の強い計測対象物の擦り疵、飛び石疵、塗装剥がれ、色褪せや凹みなどの表面欠陥を非接触で検査する表面検査装置、表面検査方法および表面検査プログラムに関する。
【背景技術】
【０００２】
対象物体の画像を撮像する撮像装置と画像処理技術を用いた物体の正面検査は、非接触で高速かつ高精度に対象物体の様子を把握することができるので、近年産業界で幅広く使用されている。しかしながら、自動車のボディは表面が滑らかであり、光沢塗装が施されているので、鏡面反射が酷く、画像計測には不利である。また、自動車のボディは部位により形状が異なり、塗装の色も様々である。したがって、様々な形状、表面色や反射特性に対応できる表面検査装置が要求されている。
【０００３】
従来提案された自動車のボディの傷や塗装を検査する装置では、明暗のストライプパターンを計測部位に照射し、反射パターン画像を撮像する手法が主流である。例えば、特許文献１には、計測対象物の外周面に所定の明暗パターンを照射する明暗パターン照射手段と、計測対象物の外周面を撮像する撮像手段とを有し、計測対象物の全体を計測するために車をライン上で移動しながら明暗のパターンの照射および撮像を行って時系列画像を取得し、この時系列画像から塗装欠陥を検出する塗装欠陥検査装置が開示されている。
【０００４】
また、特許文献２には、特許文献１と同様にストライプ式の明暗パターンを用いる塗装欠陥検査装置であって、自動車を動かすことなく、２台のアームロボットを用いて光照射手段および撮像手段を動かすことにより、計測対象物の全体を撮像する塗装欠陥検査装置が開示されている。
【０００５】
特許文献１，２に記載の塗装欠陥検査装置のように、ストライプパターンを照射して検査する装置の場合、計測対象物の全体にストライプ式の明暗パターンを照射する必要がある。同様に、この照射した明暗パターンを撮像するために計測対象物の全体を撮像する必要がある。ところが、光照射手段の照射範囲や撮像手段の撮像範囲には制約があるため、明暗パターンの照射および撮像は１回につき一部の局所領域でしか行うことができない。
【０００６】
そのため、このような検査装置を用いて計測対象物の全体に亘って塗装欠陥を検査する場合には、計測対象物全体に亘って部分的な明暗パターンの照射および撮像を行い、時系列画像を取得して、この時系列画像に基づいて複雑な画像処理を行う必要がある。このため、検査装置は複雑となり、計測時間も長く、コストも高くなる。
【０００７】
一方、凹みのような形状変化に伴う欠陥の場合、明暗のストライプパターンを照射した際に表面色特性が変化することもあれば、変化しないこともある。表面色特性の変化を伴わない凹みは、一般の色情報解析に基づく二次元式の検査方法では検出できず、形状変化を検出できる三次元計測手法の使用が必要となる。
【０００８】
通常、三次元形状の画像計測は、計測対象物に計測の補助となる特定の光や電波などを照射することなく計測を行う受動型と、光、音波や電波などを計測対象物に照射し、その情報を利用して計測を行う能動型とに分類される。
【０００９】
受動型の代表的な方法は、２台のカメラを用いて、人間の両目のように計測対象物の画像を異なる視点から撮像し、三角測量の原理により計測対象物の三次元形状を算出するステレオ視方法である。ステレオ視による三次元形状計測方法は、２台もしくは２台以上のカメラだけを用いて、計測対象物の三次元形状を計測できる方法であり、簡単な設備を使って物体の三次元形状を計測できる利点がある。
【００１０】
しかしながら、このような受動法では、複数枚の画像から計測点および対応点を抽出する、いわゆる対応付けが必要である。そのため、前記の色変化がないヘコミは特徴がないので計測できない。また、色変化との対応関係の複雑のヘコミの計測も困難である。
【００１１】
一方、能動型の三次元情報計測方法として、例えば特許文献３に記載のパターン光投影による方法が知られている。パターン光投影による三次元情報計測方法では、パターン光を計測対象物に投影して、その反射パターンの解析により、物体の表面形状の三次元情報を求める方法であり、特徴のない計測対象物の計測も可能であるという特徴がある。
【００１２】
図６は従来のパターン光投影による三次元情報計測方法の基本原理を示す幾何関係図である。図６において、ＯPはパターン光投影機のレンズ中心であり、ＯCは観測用カメラのレンズ中心である。パターン光投影機とカメラとは一定の距離ｂだけ離して配置されている。パターン光投影機は、計測用のパターン光をβの角度を以て計測点Ｍに投影する。一方、観測用カメラは、計測点Ｍを観測し、画像を撮像する。このときの観測角度はαとする。
【００１３】
このときの計測点Ｍの三次元空間世界座標系（Ｏ、Ｘ、Ｙ、Ｚ）における奥行座標Ｚは、次式のように求められる。
【００１４】
αは観測角度（観測用カメラから見た計測点の所在の視角）、βは投影角度（パターン光投光機から計測対象物に投影した光の方向角）、ｂは観測用カメラ中心からパターン光投影機中心までの距離である。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特許第３２１１６８１号公報
【特許文献２】特許第４０１４０２７号公報
【特許文献３】特開２００６−１４５４０５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１６】
ところが、前述のように計測対象物が自動車のボディなどのように表面反射の強い物体の場合、パターン光を計測対象物に投影すると、観測用カメラに正反射した部分ではハイライトが形成され、パターン光が非常に強く反射される。逆に、正反射以外の部分では反射光の強度がハイライトに比べて極端に弱く、三次元情報計測に必要な反射パターンを撮像することが困難である。このため、表面反射の強い物体の場合、計測対象物の反射パターンを撮像することができないので、三次元計測ができないという問題がある。
【００１７】
そこで、本発明においては、自動車のボディやその部品などの光沢塗装が施されるなどして表面反射の強い計測対象物であっても、簡単な構造により低コストで高精度かつ高速に表面の疵、塗装の剥がれや凹みなどの表面欠陥を検査することが可能な表面検査装置、表面検査プログラムおよび表面検査方法を提供することを目的とする。
【課題を解決するための手段】
【００１８】
本発明の表面検査装置は、曲面状壁を有する計測空間を構成する計測環境構成装置と、計測空間内の計測対象物に対して光源光を均一に減光して照明するための照明装置と、パターン光を計測対象物に直接当たらないように曲面状壁に投影して反射させ、この反射されたパターン光（以下、「反射パターン光」と称す。）を計測対象物に投影するためのパターン光投影装置と、照明装置により照明された計測対象物の全照明画像の撮像および反射パターン光が投影された計測対象物の反射パターン画像の撮像を行う撮像装置と、全照明画像および反射パターン画像から計測対象物の表面欠陥を検出するデータ処理装置とを含むものである。
【００１９】
また、本発明の表面検査方法は、曲面状壁を有する計測空間を構成すること、計測空間内の計測対象物に対して光源光を均一に減光して照明すること、照明された計測対象物の全照明画像の撮影を行うこと、パターン光を計測対象物に直接当たらないように曲面状壁に投影して反射させ、この反射されたパターン光（反射パターン光）を計測対象物に投影すること、反射パターン光が投影された計測対象物の反射パターン画像の撮像を行うこと、全照明画像および反射パターン画像から計測対象物の表面欠陥を検出することを含む。
【００２０】
これらの発明によれば、曲面状壁を有する計測空間を構成し、計測空間内の計測対象物に対して光源光を均一に減光して照明し、照明された計測対象物の全照明画像の撮影を行うとともに、パターン光を計測対象物に直接当たらないように曲面状壁に投影して反射させ、この反射されたパターン光（反射パターン光）を計測対象物に投影し、反射パターン光が投影された計測対象物の反射パターン画像の撮像を行うため、表面反射は撮像されにくくなる。したがって、計測対象物が自動車のボディやその部品などの光沢塗装が施されるなどして表面反射の強いものであっても、計測対象物の反射パターン光を撮像することができ、全照明画像および反射パターン画像から計測対象物の表面欠陥を検出することができる。
【００２１】
ここで、曲面状壁は、半透明素材により形成されたものであり、光源光は、曲面状壁の外部に設けられたものであり、曲面状壁を透過して計測対象物に照明されるものであることが望ましい。これにより、光源光は、曲面状壁の外部から半透明素材により形成された曲面状壁を透過する際に一様に減光されて計測対象物に照明されるとともに、曲面状壁に投影されたパターン光は一様に反射されて計測対象物に投影され、全照明画像および反射パターン画像が撮像される。
【００２２】
また、撮像装置は、投影パターン光の投影角とは異なる視角から反射パターン画像の撮像を行うものであることが望ましい。投影パターン光の投影角とは異なる視角から反射パターン画像を撮像することで、さらに表面反射は撮像されにくくなり、より高精度な計測対象物の表面欠陥の検出が可能となる。
【００２３】
また、本発明の表面検査プログラムは、曲面状壁を有する計測空間内の計測対象物に対して光源光を均一に減光して照明すること、照明された計測対象物の全照明画像の撮影を行うこと、パターン光を計測対象物に直接当たらないように曲面状壁に投影して反射させ、この反射されたパターン光（反射パターン光）を計測対象物に投影すること、反射パターン光が投影された計測対象物の反射パターン画像の撮像を行うこと、全照明画像および反射パターン画像から計測対象物の表面欠陥を検出することをコンピュータに実行させるためのものである。このプログラムを実行したコンピュータによれば、上記本発明の表面検査方法と同様の作用、効果を奏することができる。
【発明の効果】
【００２４】
計測空間内の計測対象物の全照明画像および反射パターン画像を撮像し、この撮像された画像から計測対象物の表面欠陥を検出する構成により、計測対象物を普通に撮影するだけで、この撮像された画像から容易に計測対象物の表面欠陥を検出することができ、簡単な構造により低コストで高精度かつ高速に表面の傷、塗装の剥がれ、色褪せや凹みなどの表面欠陥を検査することが可能となる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施の形態における自動車表面欠陥検査システムを示す全体構成図である。
【図２】計測空間の例を示す図である。
【図３】図１のデータ処理装置の詳細な構成を示すブロック図である。
【図４】本実施形態における三次元画像解析の基本原理を示す幾何関係図である。
【図５】図１の自動車表面欠陥検査システムによる検査の流れを示すフロー図である。
【図６】従来のパターン光投影による三次元情報計測方法の基本原理を示す幾何関係図である。
【発明を実施するための形態】
【００２６】
図１は本発明の実施の形態における自動車表面欠陥検査システムを示す全体構成図、図２は計測空間の例を示す図、図３は図１のデータ処理装置の詳細な構成を示すブロック図である。
【００２７】
図１において、本発明の実施の形態における自動車表面欠陥検査システムは、自動車のボディやその部品などの計測対象物Ａの表面欠陥を非接触で検査する表面検査装置であり、計測対象物Ａを計測するための計測空間１を構成する計測環境構成装置としてのテント１ａと、照明装置２−１，２−２，２−３等と、パターン光を投影するパターン光投影装置３と、撮像装置としてのカメラ装置４と、カメラ装置４により撮像した画像のデータを処理するデータ処理装置５とを有する。
【００２８】
照明装置２−１，２−２，２−３、パターン光投影装置３およびカメラ装置４と、データ処理装置５とは、各データを伝送することができる伝送ケーブル６−１，６−２，６−３，６−４，６−５によってそれぞれ接続されている。
【００２９】
計測空間１は、曲面状壁１ｂを有する。計測空間１は、図２の（ａ）および（ｂ）に示すように、ドーム状やトンネル状などの一部に曲面を有する形状に形成されており、この曲面状の部分が曲面状壁１ｂを構成している。曲面状壁１ｂは、白系などの薄い色の半透明素材により形成されたものであり、所定の光の反射特性および透過特性を有している。なお、本実施形態における曲面状壁１ｂの反射率は２０％〜９５％、透過率は５％〜８０％である。
【００３０】
照明装置２−１，２−２，２−３は、普通の白熱電球、蛍光灯、ハロゲンやＬＥＤ（発光ダイオード）などの照明機器である。この照明装置２−１，２−２，２−３の光源光は、曲面状壁１ｂにより均一に減光されるとともに拡散され、計測空間１内の計測対象物Ａに照明される。
【００３１】
パターン光投影装置３は、データ処理装置５により形成された計測に必要なパターンデータをパターン光に変換し、計測対象物Ａが存在しない方向に、すなわち、計測対象物Ａに直接当たらないように曲面状壁１ｂに投影する装置である。この曲面状壁１ｂに投影されたパターン光は、曲面状壁１ｂに反射され、この反射されたパターン光（以下、「反射パターン光」と称す。）が計測対象物Ａに投影される。パターン光投影装置３としては、液晶プロジェクタ、ＤＬＰ（デジタルライトプロセッシング、商標）プロジェクタ、レーザ光プロジェクタ、ＬＥＤ（半導体）プロジェクタやフィルムプロジェクタなどの市販の簡単な装置を用いることができる。
【００３２】
カメラ装置４はデジタル式カメラである。なお、カメラ装置４はデジタル式カメラであれば８ビット、１０ビット、１２ビット、１６ビットのものや、ＣＣＤ、ＣＭＯＳ等や、静止画カメラ、動画カメラ、ビデオカメラ等のどのようなものでもよい。また、カメラ装置４は、そのレンズの光軸（視角）が曲面状壁１ｂにより反射されたパターン光（反射パターン光）の投影方向（投影角）と同一でないように配置される。また、図１においてはカメラ装置４を１つのみ図示しているが、複数のカメラ装置４を異なる視角となるように配置している。
【００３３】
データ処理装置５は、表面検査プログラムを実行するコンピュータである。データ処理装置５は表面検査プログラムを実行することにより、図３に示す記憶手段１０、照明手段１１、全照明画像撮像手段１２、投影パターン生成手段１３、パターン光投影手段１４、反射パターン画像撮像手段１５、三次元画像合成手段１６、二次元画像解析手段１７、三次元画像解析手段１８、欠陥検出分類サイズ推定手段１９、計測結果表現手段２０や保存出力手段２１として機能する。
【００３４】
記憶手段１０は、投影パターン生成手段１３によって生成された投影パターン、カメラ装置４から伝送された画像のデータや、三次元画像合成手段１６、二次元画像解析手段１７、三次元画像解析手段１８、欠陥検出分類サイズ推定手段１９、計測結果表現手段２０や保存出力手段２１等の各手段により算出された結果のデータ等を記憶するものである。
【００３５】
照明手段１１は、全照明画像をカメラ装置４により撮像するために照明装置２−１，２−２，２−３を制御するものである。照明装置２−１，２−２，２−３の光源光は、テント１ａの曲面状壁１ｂにより均一に減光され、計測空間１内の計測対象物Ａに照明される。なお、照明装置２−１，２−２，２−３の光源光は、どのような色でも良いが、模様のない均一な光である。
【００３６】
全照明画像撮像手段１２は、照明手段１１によって計測対象物Ａに照明がなされているときにカメラ装置４を制御することにより、これらの照明装置２−１，２−２，２−３により照明された計測対象物Ａの全照明画像を撮像し、記憶手段１０に記憶するものである。
【００３７】
投影パターン生成手段１３は、計測用投影パターンを生成し、記憶手段１０に記憶するものである。計測用投影パターンの形状は、縞状や円状のパターンを用いることが可能であるし、その他の形状でも可能である。パターンの色は、均一の色でも異なる色でも可能であるし、その強度分布は、均一でも均一でなくても良い。投影パターン生成手段１３は、計測に最適な形状、色および空間周波数分布を持つ計測用投影パターンを、計測対象物Ａの大きさ、形状および表面色分布に従って生成する。
【００３８】
パターン光投影手段１４は、記憶手段１０に記憶された計測用投影パターンの光をパターン光投影装置３により投影するものである。パターン光投影装置３により投影されたパターン光は、計測対象物Ａに直接当たらないように計測空間１の曲面状壁１ｂの曲面部分に投影され、この曲面部分よって反射されて、この反射されたパターン光（以下、「反射パターン光」と称す。）が計測対象物Ａに投影される。
【００３９】
反射パターン画像撮像手段１５は、この反射パターン光が計測対象物Ａに投影されているときにカメラ装置４を制御することにより、反射パターン光が投影された計測対象物Ａの反射パターン画像を撮像し、記憶手段１０に記憶するものである。
【００４０】
三次元画像合成手段１６は、複数のカメラ装置４により各視角から撮像された全照明画像および反射パターン画像をそれぞれ三次元的に幾何学変換し、同じ姿勢に整えてから合成し、広範囲の検査用画像を得るものである。得られた検査用画像は記憶手段１０へ記憶される。三次元画像の合成は、式（２）に示した三次元画像の空間座標変換技術を用い、各画像の座標を三次元回転と平行移動により、統一された三次元座標空間に幾何学変換してから合成する。
Ｘ’＝ＲＸ＋Ｔ …（２）
ここで、Ｘは変換前の座標ベクトル、Ｘ’は変換後の座標ベクトル、Ｒは回転行列、Ｔは平行移動行列である。
【００４１】
二次元画像解析手段１７は、全照明画像および反射パターン画像の色強度を解析し、欠陥の疑いがある色強度の変化が大きく、かつ印刷パターンや文字ではない領域を欠陥の候補領域１として検出するものである。検出された欠陥候補領域１は記憶手段１０に記憶される。
【００４２】
三次元画像解析手段１８は、三次元画像合成手段１６により合成された全照明画像および反射パターン画像の合成画像を解析し、欠陥の疑いがある奥行き座標値Ｚの変化が大きく、かつボディの固有の形状変化でない領域を欠陥の候補領域２として検出するものである。検出された欠陥候補領域２は記憶手段１０に記憶される。なお、奥行き座標値Ｚの計算は以下のように行う。
【００４３】
図４は本実施形態における三次元画像解析の基本原理を示す幾何関係図である。
投影パターン光を反射する計測空間１の曲面状壁１ｂは、パターン光投影装置３のレンズ中心ＯPとカメラ装置４のレンズ中心ＯCを結んだ直線（以下、「レンズ中心線」と称す。）に対してφの角度を形成している。φは計測空間１の形状や反射点の位置により変化する。パターン光投影装置３は計測用のパターン光をβの角度を持って曲面状壁１ｂに投影し、曲面状壁１ｂから反射された光は計測対象物Ａに投影される。カメラ装置４は計測対象物Ａの画像を撮像し、この画像から計測対象物Ａの表面上の計測点Ｍが観測される。このときの観測角度はαとする。
【００４４】
計測点Ｍの三次元空間世界座標系（Ｏ，Ｘ，Ｙ，Ｚ）における奥行き座標値Ｚは次式（３）のように求められる。
ここで、αは式（１）と同じく観測角度（カメラから見た計測点の所在の視角）、θは投影角度（パターン光投影装置３から曲面状壁１ｂに投影した光の方向角）、φは曲面状壁１ｂとレンズ中心線との間の角度、ｂはカメラ装置４のレンズ中心ＯCからパターン光投影装置３のレンズ中心ＯPまでの距離、ｈはレンズ中心線と曲面状壁１ｂとの間の距離である。
【００４５】
欠陥検出分類サイズ推定手段１９は、上記欠陥候補領域１と欠陥候補領域２において、点状疵、線状疵、領域疵、色褪せ、塗装剥がれや凹みなどの固有の特性に従って、欠陥の特定と分類を行うものである。また、線状の欠陥の長さ、点状の欠陥の直径、領域状欠陥の面積、凹み状欠陥の深さ等の寸法を推定する。
【００４６】
計測結果表現手段２０は、カメラ装置４により撮像された画像データと欠陥検出分類サイズ推定手段１９により検出された欠陥データを、ＣＡＤ図面やコンピュータグラフィックス（ＣＧ）等の方法により表現するものである。
【００４７】
保存出力手段２１は、カメラ装置４により撮像された画像データや欠陥検出分類サイズ推定手段１９により検出された欠陥データなどを、画像ファイルやテキストファイルとして記録媒体に保存したり、データシート上に印刷したりするものである。
【００４８】
次に、上記構成の自動車表面欠陥検査システムによる表面検査方法について説明する。図５は図１の自動車表面欠陥検査システムによる検査の流れを示すフロー図である。
【００４９】
まず、計測前に、テント１ａ、照明装置２−１，２−２，２−３、パターン光投影装置３、カメラ装置４やデータ処理装置５などを揃えて、計測環境を構築する（ステップＳ１０１）。
【００５０】
次に、計測対象物Ａを計測空間１内に置き、表面検査を行う。計測のため、まず照明装置２−１，２−２，２−３を点灯し、計測対象物Ａに照明光を照射（全照射）する（ステップＳ１０２）。このとき、計測対象物Ａに対して照明装置２−１，２−２，２−３からの照明光は直接照射されず、計測空間１の曲面状壁１ｂにより減光された照明光が照射される。
【００５１】
次に、全照明画像の撮像を行う（ステップＳ１０３）。全照明画像撮像手段１２は、照明手段１１により照明された計測対象物Ａの画像、すなわち全照明画像を、撮像装置４により撮像し、データ処理装置５に伝送する。カメラ装置４から伝送された全照明画像データは、データ処理装置５により記憶手段１０に記憶され、処理される。
【００５２】
データ処理装置５は、この撮像された全照明画像の色強度分布を解析し、物体表面欠陥検査に必要な理想な強度分布を持っているかどうかを判断する。画像が明るすぎたり、暗すぎたりして、色強度分布が理想でない場合は、カメラ装置４のパラメータを修正し、再度全照明画像を撮像する（ステップＳ１０４）。色強度分布が理想であれば、次のステップに進む。
【００５３】
次に、パターン光投影手段１４は、投影パターン生成手段１３より生成された計測用の投影パターンを、パターン光投影装置３により計測空間１の曲面状壁１ｂに投影する（ステップＳ１０５）。この投影パターンは、曲面状壁１ｂにより反射され、間接的に計測対象物Ａに投影される（ステップＳ１０６）。
【００５４】
次に、反射パターン画像撮像手段１５は、パターン光投影装置３により計測空間１の曲面状壁１ｂの曲面部分によって反射され、計測対象物Ａに投影された反射パターン光の画像、すなわち反射パターン画像を、カメラ装置４により撮像し、データ処理装置５に伝送する（ステップＳ１０７）。カメラ装置４から伝送された反射パターン画像データは、データ処理装置５により記憶手段１０に記憶され、処理される。
【００５５】
データ処理装置５は、この撮像された反射パターン画像の色強度分布を解析し、物体表面欠陥検査に必要な理想な強度分布を持っているかどうかを判断する。画像が明るすぎたり、暗すぎたりして、色強度分布が理想でない場合は、カメラ装置４のパラメータを修正し、再度反射パターン画像を撮像する（ステップＳ１０８）。色強度分布が理想であれば、次のステップに進む。
【００５６】
次に、三次元画像合成手段１６は、複数のカメラ装置４により各視角から撮像された全照明画像および反射パターン画像をそれぞれ三次元的に合成し、広範囲の検査用画像を作成する（ステップＳ１０９）。
【００５７】
次に、二次元画像解析手段１７は、全照明画像および反射パターン画像の色強度を解析し、欠陥の疑いがある色強度の変化が大きく、かつ印刷パターンや文字ではない領域を欠陥の候補領域１として検出する（ステップＳ１１０）。
【００５８】
次に、三次元画像解析手段１８は、全照明画像および反射パターン画像の合成画像を解析し、欠陥の疑いがある奥行き座標値Ｚの変化が大きく、かつボディの固有の形状変化ではない領域を欠陥の候補領域２として検出する（ステップＳ１１１）。
【００５９】
次に、欠陥検出分類サイズ推定手段１９は、上記欠陥候補領域１と欠陥領域候補２において、疵、色褪せ、塗装剥がれや凹みなどの固有の特性に従って、欠陥の特定と分類を行う。また、線状の欠陥の長さ、点状の欠陥の直径、領域状欠陥の面積、凹み状欠陥の深さ等の寸法（サイズ）を推定する（ステップＳ１１２）。
【００６０】
次に、計測結果表現手段２０は、データ処理装置５のモニタ上に検出した欠陥を表示し、欠陥の種類により、異なる色のマークを付け、推定された欠陥のサイズを表示する。また、ユーザのニーズにより、計測対象物Ａをいくつかの領域に分割し、各領域にある欠陥の数および種類や、計測対象物Ａ全体における欠陥の分布状況などを表示する（ステップＳ１１３）。
【００６１】
最後に、保存出力手段２１は、カメラ装置４により撮像された画像データや欠陥検出分類サイズ推定手段１９により検出された欠陥データなどを、画像ファイルやテキストファイルとして記録媒体に保存したり、データシート上に印刷したりする（ステップＳ１１４）。
【００６２】
以上のように、本実施形態における自動車表面欠陥検査システムによれば、計測空間１内の計測対象物Ａを普通に撮影するだけで、この撮像された画像から容易に計測対象物Ａの表面欠陥を検出することでき、簡単な構造により低コストで高精度かつ高速に表面の傷、塗装の剥がれ、色褪せや凹みなどの表面欠陥を検査することが可能である。
【００６３】
また、カメラ装置４は、計測対象物Ａに対して相対的に静止した状態で計測対象物Ａを撮像するので、計測対象物Ａまたはカメラ装置４を移動させて計測対象物Ａを走査することなく、短時間で計測対象物Ａを撮像することができる。したがって、走査に必要な装置は不要であり、検査時間の短縮、検査精度の向上および検査装置のコスト削減が可能となる。
【００６４】
また、本実施形態における自動車表面欠陥検査システムでは、二次元画像解析と三次元画像解析を同時に行うので、計測対象物Ａ表面の形状変化に伴う疵と伴わない疵、色強度変化がある凹みや色強度変化のない凹み等のあらゆる欠陥を、比較的に容易かつ確率に検出することが可能である。
【産業上の利用可能性】
【００６５】
本発明は、計測対象物の疵、色褪せ、塗装剥がれや凹みなどの表面欠陥の計測、寸法、面積や体積などを非接触で検査する表面検査装置、表面検査方法および表面検査プログラムとして有用である。特に、本発明は、自動車やその部品、家電製品、磁器製品などの金属製品や光沢製品などの表面反射が強い計測対象物の表面検査に好適である。
【符号の説明】
【００６６】
Ａ 計測対象物
１ 計測空間
１ａ テント
１ｂ 曲面状壁
２−１，２−２，２−３ 照明装置
３ パターン光投影装置
４ カメラ装置
５ データ処理装置
６−１，６−２，６−３，６−４，６−５ 伝送ケーブル
１０ 記憶手段
１１ 照明手段
１２ 全照明画像撮像手段
１３ 投影パターン生成手段
１４ パターン光投影手段
１５ 反射パターン画像撮像手段
１６ 三次元画像合成手段
１７ 二次元画像解析手段
１８ 三次元画像解析手段
１９ 欠陥検出分類サイズ推定手段
２０ 計測結果表現手段
２１ 保存出力手段
【技術分野】
【０００１】
本発明は、自動車のボディやその部品などの光沢塗装が施されるなどして表面反射の強い計測対象物の擦り疵、飛び石疵、塗装剥がれ、色褪せや凹みなどの表面欠陥を非接触で検査する表面検査装置、表面検査方法および表面検査プログラムに関する。
【背景技術】
【０００２】
対象物体の画像を撮像する撮像装置と画像処理技術を用いた物体の正面検査は、非接触で高速かつ高精度に対象物体の様子を把握することができるので、近年産業界で幅広く使用されている。しかしながら、自動車のボディは表面が滑らかであり、光沢塗装が施されているので、鏡面反射が酷く、画像計測には不利である。また、自動車のボディは部位により形状が異なり、塗装の色も様々である。したがって、様々な形状、表面色や反射特性に対応できる表面検査装置が要求されている。
【０００３】
従来提案された自動車のボディの傷や塗装を検査する装置では、明暗のストライプパターンを計測部位に照射し、反射パターン画像を撮像する手法が主流である。例えば、特許文献１には、計測対象物の外周面に所定の明暗パターンを照射する明暗パターン照射手段と、計測対象物の外周面を撮像する撮像手段とを有し、計測対象物の全体を計測するために車をライン上で移動しながら明暗のパターンの照射および撮像を行って時系列画像を取得し、この時系列画像から塗装欠陥を検出する塗装欠陥検査装置が開示されている。
【０００４】
また、特許文献２には、特許文献１と同様にストライプ式の明暗パターンを用いる塗装欠陥検査装置であって、自動車を動かすことなく、２台のアームロボットを用いて光照射手段および撮像手段を動かすことにより、計測対象物の全体を撮像する塗装欠陥検査装置が開示されている。
【０００５】
特許文献１，２に記載の塗装欠陥検査装置のように、ストライプパターンを照射して検査する装置の場合、計測対象物の全体にストライプ式の明暗パターンを照射する必要がある。同様に、この照射した明暗パターンを撮像するために計測対象物の全体を撮像する必要がある。ところが、光照射手段の照射範囲や撮像手段の撮像範囲には制約があるため、明暗パターンの照射および撮像は１回につき一部の局所領域でしか行うことができない。
【０００６】
そのため、このような検査装置を用いて計測対象物の全体に亘って塗装欠陥を検査する場合には、計測対象物全体に亘って部分的な明暗パターンの照射および撮像を行い、時系列画像を取得して、この時系列画像に基づいて複雑な画像処理を行う必要がある。このため、検査装置は複雑となり、計測時間も長く、コストも高くなる。
【０００７】
一方、凹みのような形状変化に伴う欠陥の場合、明暗のストライプパターンを照射した際に表面色特性が変化することもあれば、変化しないこともある。表面色特性の変化を伴わない凹みは、一般の色情報解析に基づく二次元式の検査方法では検出できず、形状変化を検出できる三次元計測手法の使用が必要となる。
【０００８】
通常、三次元形状の画像計測は、計測対象物に計測の補助となる特定の光や電波などを照射することなく計測を行う受動型と、光、音波や電波などを計測対象物に照射し、その情報を利用して計測を行う能動型とに分類される。
【０００９】
受動型の代表的な方法は、２台のカメラを用いて、人間の両目のように計測対象物の画像を異なる視点から撮像し、三角測量の原理により計測対象物の三次元形状を算出するステレオ視方法である。ステレオ視による三次元形状計測方法は、２台もしくは２台以上のカメラだけを用いて、計測対象物の三次元形状を計測できる方法であり、簡単な設備を使って物体の三次元形状を計測できる利点がある。
【００１０】
しかしながら、このような受動法では、複数枚の画像から計測点および対応点を抽出する、いわゆる対応付けが必要である。そのため、前記の色変化がないヘコミは特徴がないので計測できない。また、色変化との対応関係の複雑のヘコミの計測も困難である。
【００１１】
一方、能動型の三次元情報計測方法として、例えば特許文献３に記載のパターン光投影による方法が知られている。パターン光投影による三次元情報計測方法では、パターン光を計測対象物に投影して、その反射パターンの解析により、物体の表面形状の三次元情報を求める方法であり、特徴のない計測対象物の計測も可能であるという特徴がある。
【００１２】
図６は従来のパターン光投影による三次元情報計測方法の基本原理を示す幾何関係図である。図６において、ＯPはパターン光投影機のレンズ中心であり、ＯCは観測用カメラのレンズ中心である。パターン光投影機とカメラとは一定の距離ｂだけ離して配置されている。パターン光投影機は、計測用のパターン光をβの角度を以て計測点Ｍに投影する。一方、観測用カメラは、計測点Ｍを観測し、画像を撮像する。このときの観測角度はαとする。
【００１３】
このときの計測点Ｍの三次元空間世界座標系（Ｏ、Ｘ、Ｙ、Ｚ）における奥行座標Ｚは、次式のように求められる。
【００１４】
αは観測角度（観測用カメラから見た計測点の所在の視角）、βは投影角度（パターン光投光機から計測対象物に投影した光の方向角）、ｂは観測用カメラ中心からパターン光投影機中心までの距離である。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特許第３２１１６８１号公報
【特許文献２】特許第４０１４０２７号公報
【特許文献３】特開２００６−１４５４０５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１６】
ところが、前述のように計測対象物が自動車のボディなどのように表面反射の強い物体の場合、パターン光を計測対象物に投影すると、観測用カメラに正反射した部分ではハイライトが形成され、パターン光が非常に強く反射される。逆に、正反射以外の部分では反射光の強度がハイライトに比べて極端に弱く、三次元情報計測に必要な反射パターンを撮像することが困難である。このため、表面反射の強い物体の場合、計測対象物の反射パターンを撮像することができないので、三次元計測ができないという問題がある。
【００１７】
そこで、本発明においては、自動車のボディやその部品などの光沢塗装が施されるなどして表面反射の強い計測対象物であっても、簡単な構造により低コストで高精度かつ高速に表面の疵、塗装の剥がれや凹みなどの表面欠陥を検査することが可能な表面検査装置、表面検査プログラムおよび表面検査方法を提供することを目的とする。
【課題を解決するための手段】
【００１８】
本発明の表面検査装置は、曲面状壁を有する計測空間を構成する計測環境構成装置と、計測空間内の計測対象物に対して光源光を均一に減光して照明するための照明装置と、パターン光を計測対象物に直接当たらないように曲面状壁に投影して反射させ、この反射されたパターン光（以下、「反射パターン光」と称す。）を計測対象物に投影するためのパターン光投影装置と、照明装置により照明された計測対象物の全照明画像の撮像および反射パターン光が投影された計測対象物の反射パターン画像の撮像を行う撮像装置と、全照明画像および反射パターン画像から計測対象物の表面欠陥を検出するデータ処理装置とを含むものである。
【００１９】
また、本発明の表面検査方法は、曲面状壁を有する計測空間を構成すること、計測空間内の計測対象物に対して光源光を均一に減光して照明すること、照明された計測対象物の全照明画像の撮影を行うこと、パターン光を計測対象物に直接当たらないように曲面状壁に投影して反射させ、この反射されたパターン光（反射パターン光）を計測対象物に投影すること、反射パターン光が投影された計測対象物の反射パターン画像の撮像を行うこと、全照明画像および反射パターン画像から計測対象物の表面欠陥を検出することを含む。
【００２０】
これらの発明によれば、曲面状壁を有する計測空間を構成し、計測空間内の計測対象物に対して光源光を均一に減光して照明し、照明された計測対象物の全照明画像の撮影を行うとともに、パターン光を計測対象物に直接当たらないように曲面状壁に投影して反射させ、この反射されたパターン光（反射パターン光）を計測対象物に投影し、反射パターン光が投影された計測対象物の反射パターン画像の撮像を行うため、表面反射は撮像されにくくなる。したがって、計測対象物が自動車のボディやその部品などの光沢塗装が施されるなどして表面反射の強いものであっても、計測対象物の反射パターン光を撮像することができ、全照明画像および反射パターン画像から計測対象物の表面欠陥を検出することができる。
【００２１】
ここで、曲面状壁は、半透明素材により形成されたものであり、光源光は、曲面状壁の外部に設けられたものであり、曲面状壁を透過して計測対象物に照明されるものであることが望ましい。これにより、光源光は、曲面状壁の外部から半透明素材により形成された曲面状壁を透過する際に一様に減光されて計測対象物に照明されるとともに、曲面状壁に投影されたパターン光は一様に反射されて計測対象物に投影され、全照明画像および反射パターン画像が撮像される。
【００２２】
また、撮像装置は、投影パターン光の投影角とは異なる視角から反射パターン画像の撮像を行うものであることが望ましい。投影パターン光の投影角とは異なる視角から反射パターン画像を撮像することで、さらに表面反射は撮像されにくくなり、より高精度な計測対象物の表面欠陥の検出が可能となる。
【００２３】
また、本発明の表面検査プログラムは、曲面状壁を有する計測空間内の計測対象物に対して光源光を均一に減光して照明すること、照明された計測対象物の全照明画像の撮影を行うこと、パターン光を計測対象物に直接当たらないように曲面状壁に投影して反射させ、この反射されたパターン光（反射パターン光）を計測対象物に投影すること、反射パターン光が投影された計測対象物の反射パターン画像の撮像を行うこと、全照明画像および反射パターン画像から計測対象物の表面欠陥を検出することをコンピュータに実行させるためのものである。このプログラムを実行したコンピュータによれば、上記本発明の表面検査方法と同様の作用、効果を奏することができる。
【発明の効果】
【００２４】
計測空間内の計測対象物の全照明画像および反射パターン画像を撮像し、この撮像された画像から計測対象物の表面欠陥を検出する構成により、計測対象物を普通に撮影するだけで、この撮像された画像から容易に計測対象物の表面欠陥を検出することができ、簡単な構造により低コストで高精度かつ高速に表面の傷、塗装の剥がれ、色褪せや凹みなどの表面欠陥を検査することが可能となる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施の形態における自動車表面欠陥検査システムを示す全体構成図である。
【図２】計測空間の例を示す図である。
【図３】図１のデータ処理装置の詳細な構成を示すブロック図である。
【図４】本実施形態における三次元画像解析の基本原理を示す幾何関係図である。
【図５】図１の自動車表面欠陥検査システムによる検査の流れを示すフロー図である。
【図６】従来のパターン光投影による三次元情報計測方法の基本原理を示す幾何関係図である。
【発明を実施するための形態】
【００２６】
図１は本発明の実施の形態における自動車表面欠陥検査システムを示す全体構成図、図２は計測空間の例を示す図、図３は図１のデータ処理装置の詳細な構成を示すブロック図である。
【００２７】
図１において、本発明の実施の形態における自動車表面欠陥検査システムは、自動車のボディやその部品などの計測対象物Ａの表面欠陥を非接触で検査する表面検査装置であり、計測対象物Ａを計測するための計測空間１を構成する計測環境構成装置としてのテント１ａと、照明装置２−１，２−２，２−３等と、パターン光を投影するパターン光投影装置３と、撮像装置としてのカメラ装置４と、カメラ装置４により撮像した画像のデータを処理するデータ処理装置５とを有する。
【００２８】
照明装置２−１，２−２，２−３、パターン光投影装置３およびカメラ装置４と、データ処理装置５とは、各データを伝送することができる伝送ケーブル６−１，６−２，６−３，６−４，６−５によってそれぞれ接続されている。
【００２９】
計測空間１は、曲面状壁１ｂを有する。計測空間１は、図２の（ａ）および（ｂ）に示すように、ドーム状やトンネル状などの一部に曲面を有する形状に形成されており、この曲面状の部分が曲面状壁１ｂを構成している。曲面状壁１ｂは、白系などの薄い色の半透明素材により形成されたものであり、所定の光の反射特性および透過特性を有している。なお、本実施形態における曲面状壁１ｂの反射率は２０％〜９５％、透過率は５％〜８０％である。
【００３０】
照明装置２−１，２−２，２−３は、普通の白熱電球、蛍光灯、ハロゲンやＬＥＤ（発光ダイオード）などの照明機器である。この照明装置２−１，２−２，２−３の光源光は、曲面状壁１ｂにより均一に減光されるとともに拡散され、計測空間１内の計測対象物Ａに照明される。
【００３１】
パターン光投影装置３は、データ処理装置５により形成された計測に必要なパターンデータをパターン光に変換し、計測対象物Ａが存在しない方向に、すなわち、計測対象物Ａに直接当たらないように曲面状壁１ｂに投影する装置である。この曲面状壁１ｂに投影されたパターン光は、曲面状壁１ｂに反射され、この反射されたパターン光（以下、「反射パターン光」と称す。）が計測対象物Ａに投影される。パターン光投影装置３としては、液晶プロジェクタ、ＤＬＰ（デジタルライトプロセッシング、商標）プロジェクタ、レーザ光プロジェクタ、ＬＥＤ（半導体）プロジェクタやフィルムプロジェクタなどの市販の簡単な装置を用いることができる。
【００３２】
カメラ装置４はデジタル式カメラである。なお、カメラ装置４はデジタル式カメラであれば８ビット、１０ビット、１２ビット、１６ビットのものや、ＣＣＤ、ＣＭＯＳ等や、静止画カメラ、動画カメラ、ビデオカメラ等のどのようなものでもよい。また、カメラ装置４は、そのレンズの光軸（視角）が曲面状壁１ｂにより反射されたパターン光（反射パターン光）の投影方向（投影角）と同一でないように配置される。また、図１においてはカメラ装置４を１つのみ図示しているが、複数のカメラ装置４を異なる視角となるように配置している。
【００３３】
データ処理装置５は、表面検査プログラムを実行するコンピュータである。データ処理装置５は表面検査プログラムを実行することにより、図３に示す記憶手段１０、照明手段１１、全照明画像撮像手段１２、投影パターン生成手段１３、パターン光投影手段１４、反射パターン画像撮像手段１５、三次元画像合成手段１６、二次元画像解析手段１７、三次元画像解析手段１８、欠陥検出分類サイズ推定手段１９、計測結果表現手段２０や保存出力手段２１として機能する。
【００３４】
記憶手段１０は、投影パターン生成手段１３によって生成された投影パターン、カメラ装置４から伝送された画像のデータや、三次元画像合成手段１６、二次元画像解析手段１７、三次元画像解析手段１８、欠陥検出分類サイズ推定手段１９、計測結果表現手段２０や保存出力手段２１等の各手段により算出された結果のデータ等を記憶するものである。
【００３５】
照明手段１１は、全照明画像をカメラ装置４により撮像するために照明装置２−１，２−２，２−３を制御するものである。照明装置２−１，２−２，２−３の光源光は、テント１ａの曲面状壁１ｂにより均一に減光され、計測空間１内の計測対象物Ａに照明される。なお、照明装置２−１，２−２，２−３の光源光は、どのような色でも良いが、模様のない均一な光である。
【００３６】
全照明画像撮像手段１２は、照明手段１１によって計測対象物Ａに照明がなされているときにカメラ装置４を制御することにより、これらの照明装置２−１，２−２，２−３により照明された計測対象物Ａの全照明画像を撮像し、記憶手段１０に記憶するものである。
【００３７】
投影パターン生成手段１３は、計測用投影パターンを生成し、記憶手段１０に記憶するものである。計測用投影パターンの形状は、縞状や円状のパターンを用いることが可能であるし、その他の形状でも可能である。パターンの色は、均一の色でも異なる色でも可能であるし、その強度分布は、均一でも均一でなくても良い。投影パターン生成手段１３は、計測に最適な形状、色および空間周波数分布を持つ計測用投影パターンを、計測対象物Ａの大きさ、形状および表面色分布に従って生成する。
【００３８】
パターン光投影手段１４は、記憶手段１０に記憶された計測用投影パターンの光をパターン光投影装置３により投影するものである。パターン光投影装置３により投影されたパターン光は、計測対象物Ａに直接当たらないように計測空間１の曲面状壁１ｂの曲面部分に投影され、この曲面部分よって反射されて、この反射されたパターン光（以下、「反射パターン光」と称す。）が計測対象物Ａに投影される。
【００３９】
反射パターン画像撮像手段１５は、この反射パターン光が計測対象物Ａに投影されているときにカメラ装置４を制御することにより、反射パターン光が投影された計測対象物Ａの反射パターン画像を撮像し、記憶手段１０に記憶するものである。
【００４０】
三次元画像合成手段１６は、複数のカメラ装置４により各視角から撮像された全照明画像および反射パターン画像をそれぞれ三次元的に幾何学変換し、同じ姿勢に整えてから合成し、広範囲の検査用画像を得るものである。得られた検査用画像は記憶手段１０へ記憶される。三次元画像の合成は、式（２）に示した三次元画像の空間座標変換技術を用い、各画像の座標を三次元回転と平行移動により、統一された三次元座標空間に幾何学変換してから合成する。
Ｘ’＝ＲＸ＋Ｔ …（２）
ここで、Ｘは変換前の座標ベクトル、Ｘ’は変換後の座標ベクトル、Ｒは回転行列、Ｔは平行移動行列である。
【００４１】
二次元画像解析手段１７は、全照明画像および反射パターン画像の色強度を解析し、欠陥の疑いがある色強度の変化が大きく、かつ印刷パターンや文字ではない領域を欠陥の候補領域１として検出するものである。検出された欠陥候補領域１は記憶手段１０に記憶される。
【００４２】
三次元画像解析手段１８は、三次元画像合成手段１６により合成された全照明画像および反射パターン画像の合成画像を解析し、欠陥の疑いがある奥行き座標値Ｚの変化が大きく、かつボディの固有の形状変化でない領域を欠陥の候補領域２として検出するものである。検出された欠陥候補領域２は記憶手段１０に記憶される。なお、奥行き座標値Ｚの計算は以下のように行う。
【００４３】
図４は本実施形態における三次元画像解析の基本原理を示す幾何関係図である。
投影パターン光を反射する計測空間１の曲面状壁１ｂは、パターン光投影装置３のレンズ中心ＯPとカメラ装置４のレンズ中心ＯCを結んだ直線（以下、「レンズ中心線」と称す。）に対してφの角度を形成している。φは計測空間１の形状や反射点の位置により変化する。パターン光投影装置３は計測用のパターン光をβの角度を持って曲面状壁１ｂに投影し、曲面状壁１ｂから反射された光は計測対象物Ａに投影される。カメラ装置４は計測対象物Ａの画像を撮像し、この画像から計測対象物Ａの表面上の計測点Ｍが観測される。このときの観測角度はαとする。
【００４４】
計測点Ｍの三次元空間世界座標系（Ｏ，Ｘ，Ｙ，Ｚ）における奥行き座標値Ｚは次式（３）のように求められる。
ここで、αは式（１）と同じく観測角度（カメラから見た計測点の所在の視角）、θは投影角度（パターン光投影装置３から曲面状壁１ｂに投影した光の方向角）、φは曲面状壁１ｂとレンズ中心線との間の角度、ｂはカメラ装置４のレンズ中心ＯCからパターン光投影装置３のレンズ中心ＯPまでの距離、ｈはレンズ中心線と曲面状壁１ｂとの間の距離である。
【００４５】
欠陥検出分類サイズ推定手段１９は、上記欠陥候補領域１と欠陥候補領域２において、点状疵、線状疵、領域疵、色褪せ、塗装剥がれや凹みなどの固有の特性に従って、欠陥の特定と分類を行うものである。また、線状の欠陥の長さ、点状の欠陥の直径、領域状欠陥の面積、凹み状欠陥の深さ等の寸法を推定する。
【００４６】
計測結果表現手段２０は、カメラ装置４により撮像された画像データと欠陥検出分類サイズ推定手段１９により検出された欠陥データを、ＣＡＤ図面やコンピュータグラフィックス（ＣＧ）等の方法により表現するものである。
【００４７】
保存出力手段２１は、カメラ装置４により撮像された画像データや欠陥検出分類サイズ推定手段１９により検出された欠陥データなどを、画像ファイルやテキストファイルとして記録媒体に保存したり、データシート上に印刷したりするものである。
【００４８】
次に、上記構成の自動車表面欠陥検査システムによる表面検査方法について説明する。図５は図１の自動車表面欠陥検査システムによる検査の流れを示すフロー図である。
【００４９】
まず、計測前に、テント１ａ、照明装置２−１，２−２，２−３、パターン光投影装置３、カメラ装置４やデータ処理装置５などを揃えて、計測環境を構築する（ステップＳ１０１）。
【００５０】
次に、計測対象物Ａを計測空間１内に置き、表面検査を行う。計測のため、まず照明装置２−１，２−２，２−３を点灯し、計測対象物Ａに照明光を照射（全照射）する（ステップＳ１０２）。このとき、計測対象物Ａに対して照明装置２−１，２−２，２−３からの照明光は直接照射されず、計測空間１の曲面状壁１ｂにより減光された照明光が照射される。
【００５１】
次に、全照明画像の撮像を行う（ステップＳ１０３）。全照明画像撮像手段１２は、照明手段１１により照明された計測対象物Ａの画像、すなわち全照明画像を、撮像装置４により撮像し、データ処理装置５に伝送する。カメラ装置４から伝送された全照明画像データは、データ処理装置５により記憶手段１０に記憶され、処理される。
【００５２】
データ処理装置５は、この撮像された全照明画像の色強度分布を解析し、物体表面欠陥検査に必要な理想な強度分布を持っているかどうかを判断する。画像が明るすぎたり、暗すぎたりして、色強度分布が理想でない場合は、カメラ装置４のパラメータを修正し、再度全照明画像を撮像する（ステップＳ１０４）。色強度分布が理想であれば、次のステップに進む。
【００５３】
次に、パターン光投影手段１４は、投影パターン生成手段１３より生成された計測用の投影パターンを、パターン光投影装置３により計測空間１の曲面状壁１ｂに投影する（ステップＳ１０５）。この投影パターンは、曲面状壁１ｂにより反射され、間接的に計測対象物Ａに投影される（ステップＳ１０６）。
【００５４】
次に、反射パターン画像撮像手段１５は、パターン光投影装置３により計測空間１の曲面状壁１ｂの曲面部分によって反射され、計測対象物Ａに投影された反射パターン光の画像、すなわち反射パターン画像を、カメラ装置４により撮像し、データ処理装置５に伝送する（ステップＳ１０７）。カメラ装置４から伝送された反射パターン画像データは、データ処理装置５により記憶手段１０に記憶され、処理される。
【００５５】
データ処理装置５は、この撮像された反射パターン画像の色強度分布を解析し、物体表面欠陥検査に必要な理想な強度分布を持っているかどうかを判断する。画像が明るすぎたり、暗すぎたりして、色強度分布が理想でない場合は、カメラ装置４のパラメータを修正し、再度反射パターン画像を撮像する（ステップＳ１０８）。色強度分布が理想であれば、次のステップに進む。
【００５６】
次に、三次元画像合成手段１６は、複数のカメラ装置４により各視角から撮像された全照明画像および反射パターン画像をそれぞれ三次元的に合成し、広範囲の検査用画像を作成する（ステップＳ１０９）。
【００５７】
次に、二次元画像解析手段１７は、全照明画像および反射パターン画像の色強度を解析し、欠陥の疑いがある色強度の変化が大きく、かつ印刷パターンや文字ではない領域を欠陥の候補領域１として検出する（ステップＳ１１０）。
【００５８】
次に、三次元画像解析手段１８は、全照明画像および反射パターン画像の合成画像を解析し、欠陥の疑いがある奥行き座標値Ｚの変化が大きく、かつボディの固有の形状変化ではない領域を欠陥の候補領域２として検出する（ステップＳ１１１）。
【００５９】
次に、欠陥検出分類サイズ推定手段１９は、上記欠陥候補領域１と欠陥領域候補２において、疵、色褪せ、塗装剥がれや凹みなどの固有の特性に従って、欠陥の特定と分類を行う。また、線状の欠陥の長さ、点状の欠陥の直径、領域状欠陥の面積、凹み状欠陥の深さ等の寸法（サイズ）を推定する（ステップＳ１１２）。
【００６０】
次に、計測結果表現手段２０は、データ処理装置５のモニタ上に検出した欠陥を表示し、欠陥の種類により、異なる色のマークを付け、推定された欠陥のサイズを表示する。また、ユーザのニーズにより、計測対象物Ａをいくつかの領域に分割し、各領域にある欠陥の数および種類や、計測対象物Ａ全体における欠陥の分布状況などを表示する（ステップＳ１１３）。
【００６１】
最後に、保存出力手段２１は、カメラ装置４により撮像された画像データや欠陥検出分類サイズ推定手段１９により検出された欠陥データなどを、画像ファイルやテキストファイルとして記録媒体に保存したり、データシート上に印刷したりする（ステップＳ１１４）。
【００６２】
以上のように、本実施形態における自動車表面欠陥検査システムによれば、計測空間１内の計測対象物Ａを普通に撮影するだけで、この撮像された画像から容易に計測対象物Ａの表面欠陥を検出することでき、簡単な構造により低コストで高精度かつ高速に表面の傷、塗装の剥がれ、色褪せや凹みなどの表面欠陥を検査することが可能である。
【００６３】
また、カメラ装置４は、計測対象物Ａに対して相対的に静止した状態で計測対象物Ａを撮像するので、計測対象物Ａまたはカメラ装置４を移動させて計測対象物Ａを走査することなく、短時間で計測対象物Ａを撮像することができる。したがって、走査に必要な装置は不要であり、検査時間の短縮、検査精度の向上および検査装置のコスト削減が可能となる。
【００６４】
また、本実施形態における自動車表面欠陥検査システムでは、二次元画像解析と三次元画像解析を同時に行うので、計測対象物Ａ表面の形状変化に伴う疵と伴わない疵、色強度変化がある凹みや色強度変化のない凹み等のあらゆる欠陥を、比較的に容易かつ確率に検出することが可能である。
【産業上の利用可能性】
【００６５】
本発明は、計測対象物の疵、色褪せ、塗装剥がれや凹みなどの表面欠陥の計測、寸法、面積や体積などを非接触で検査する表面検査装置、表面検査方法および表面検査プログラムとして有用である。特に、本発明は、自動車やその部品、家電製品、磁器製品などの金属製品や光沢製品などの表面反射が強い計測対象物の表面検査に好適である。
【符号の説明】
【００６６】
Ａ 計測対象物
１ 計測空間
１ａ テント
１ｂ 曲面状壁
２−１，２−２，２−３ 照明装置
３ パターン光投影装置
４ カメラ装置
５ データ処理装置
６−１，６−２，６−３，６−４，６−５ 伝送ケーブル
１０ 記憶手段
１１ 照明手段
１２ 全照明画像撮像手段
１３ 投影パターン生成手段
１４ パターン光投影手段
１５ 反射パターン画像撮像手段
１６ 三次元画像合成手段
１７ 二次元画像解析手段
１８ 三次元画像解析手段
１９ 欠陥検出分類サイズ推定手段
２０ 計測結果表現手段
２１ 保存出力手段
【特許請求の範囲】
【請求項１】
曲面状壁を有する計測空間を構成する計測環境構成装置と、
前記計測空間内の計測対象物に対して光源光を均一に減光して照明するための照明装置と、
パターン光を前記計測対象物に直接当たらないように前記曲面状壁に投影して反射させ、この反射されたパターン光（以下、「反射パターン光」と称す。）を前記計測対象物に投影するためのパターン光投影装置と、
前記照明装置により照明された前記計測対象物の全照明画像の撮像および前記反射パターン光が投影された前記計測対象物の反射パターン画像の撮像を行う撮像装置と、
前記全照明画像および前記反射パターン画像から前記計測対象物の表面欠陥を検出するデータ処理装置と
を含む表面検査装置。
【請求項２】
前記計測空間の曲面状壁は、ドーム状またはトンネル状である請求項１記載の表面検査装置。
【請求項３】
前記曲面状壁は、半透明素材により形成されたものであり、
前記光源光は、前記曲面状壁の外部に設けられたものであり、前記曲面状壁を透過して前記計測対象物に照明されるものである請求項１または２に記載の表面検査装置。
【請求項４】
前記撮像装置は、前記投影パターン光の投影角とは異なる視角から前記反射パターン画像の撮像を行うものである請求項１から３のいずれかに記載の表面検査装置。
【請求項５】
曲面状壁を有する計測空間を構成すること、
前記計測空間内の計測対象物に対して光源光を均一に減光して照明すること、
前記照明された前記計測対象物の全照明画像の撮影を行うこと、
パターン光を前記計測対象物に直接当たらないように前記曲面状壁に投影して反射させ、この反射されたパターン光（以下、「反射パターン光」と称す。）を前記計測対象物に投影すること、
前記反射パターン光が投影された前記計測対象物の反射パターン画像の撮像を行うこと、
前記全照明画像および前記反射パターン画像から前記計測対象物の表面欠陥を検出すること
を含む表面検査方法。
【請求項６】
曲面状壁を有する計測空間内の計測対象物に対して光源光を均一に減光して照明すること、
前記照明された前記計測対象物の全照明画像の撮影を行うこと、
パターン光を前記計測対象物に直接当たらないように前記曲面状壁に投影して反射させ、この反射されたパターン光（以下、「反射パターン光」と称す。）を前記計測対象物に投影すること、
前記反射パターン光が投影された前記計測対象物の反射パターン画像の撮像を行うこと、
前記全照明画像および前記反射パターン画像から前記計測対象物の表面欠陥を検出すること
をコンピュータに実行させるための表面検査プログラム。
【請求項１】
曲面状壁を有する計測空間を構成する計測環境構成装置と、
前記計測空間内の計測対象物に対して光源光を均一に減光して照明するための照明装置と、
パターン光を前記計測対象物に直接当たらないように前記曲面状壁に投影して反射させ、この反射されたパターン光（以下、「反射パターン光」と称す。）を前記計測対象物に投影するためのパターン光投影装置と、
前記照明装置により照明された前記計測対象物の全照明画像の撮像および前記反射パターン光が投影された前記計測対象物の反射パターン画像の撮像を行う撮像装置と、
前記全照明画像および前記反射パターン画像から前記計測対象物の表面欠陥を検出するデータ処理装置と
を含む表面検査装置。
【請求項２】
前記計測空間の曲面状壁は、ドーム状またはトンネル状である請求項１記載の表面検査装置。
【請求項３】
前記曲面状壁は、半透明素材により形成されたものであり、
前記光源光は、前記曲面状壁の外部に設けられたものであり、前記曲面状壁を透過して前記計測対象物に照明されるものである請求項１または２に記載の表面検査装置。
【請求項４】
前記撮像装置は、前記投影パターン光の投影角とは異なる視角から前記反射パターン画像の撮像を行うものである請求項１から３のいずれかに記載の表面検査装置。
【請求項５】
曲面状壁を有する計測空間を構成すること、
前記計測空間内の計測対象物に対して光源光を均一に減光して照明すること、
前記照明された前記計測対象物の全照明画像の撮影を行うこと、
パターン光を前記計測対象物に直接当たらないように前記曲面状壁に投影して反射させ、この反射されたパターン光（以下、「反射パターン光」と称す。）を前記計測対象物に投影すること、
前記反射パターン光が投影された前記計測対象物の反射パターン画像の撮像を行うこと、
前記全照明画像および前記反射パターン画像から前記計測対象物の表面欠陥を検出すること
を含む表面検査方法。
【請求項６】
曲面状壁を有する計測空間内の計測対象物に対して光源光を均一に減光して照明すること、
前記照明された前記計測対象物の全照明画像の撮影を行うこと、
パターン光を前記計測対象物に直接当たらないように前記曲面状壁に投影して反射させ、この反射されたパターン光（以下、「反射パターン光」と称す。）を前記計測対象物に投影すること、
前記反射パターン光が投影された前記計測対象物の反射パターン画像の撮像を行うこと、
前記全照明画像および前記反射パターン画像から前記計測対象物の表面欠陥を検出すること
をコンピュータに実行させるための表面検査プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−１７９９８２（Ｐ２０１１−１７９９８２Ａ）
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願番号】特願２０１０−４４７０６（Ｐ２０１０−４４７０６）
【出願日】平成２２年３月１日（２０１０．３．１）
【出願人】（５００３７２７１７）学校法人福岡工業大学 (32)
【出願人】（５１００５６４８９）株式会社ＮＧＰ (2)
【Ｆターム（参考）】
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願日】平成２２年３月１日（２０１０．３．１）
【出願人】（５００３７２７１７）学校法人福岡工業大学 (32)
【出願人】（５１００５６４８９）株式会社ＮＧＰ (2)
【Ｆターム（参考）】
[ Back to top ]