凹凸検査装置、凹凸検査方法
【課題】対象物に照射される光の強さの変動やむらの影響を受けることなく、対象物の凹凸に関するテクスチャを検出することを可能にする。
【解決手段】距離センサ１は対象物１０の表面の３次元計測を非接触で行う。距離画像生成部２は、距離センサ１により計測された対象物までの距離を画素値とする距離画像を生成する。距離画像はテクスチャ評価部３に入力され、テクスチャ評価部３は、距離画像の画素値を用いて同時生起行列を生成し、同時生起行列から対象物１０の凹凸に関するテクスチャを表す特徴量を算出する。テクスチャ評価部３で算出した特徴量は表示装置６に出力される。また、テクスチャ評価部３は、距離画像からテクスチャを求める凹凸ではない距離変化の情報をノイズとして除去した修正距離画像を生成し、修正距離画像の画素値から対象物の凹凸に関するテクスチャを表す特徴量を算出する機能を有する。
【解決手段】距離センサ１は対象物１０の表面の３次元計測を非接触で行う。距離画像生成部２は、距離センサ１により計測された対象物までの距離を画素値とする距離画像を生成する。距離画像はテクスチャ評価部３に入力され、テクスチャ評価部３は、距離画像の画素値を用いて同時生起行列を生成し、同時生起行列から対象物１０の凹凸に関するテクスチャを表す特徴量を算出する。テクスチャ評価部３で算出した特徴量は表示装置６に出力される。また、テクスチャ評価部３は、距離画像からテクスチャを求める凹凸ではない距離変化の情報をノイズとして除去した修正距離画像を生成し、修正距離画像の画素値から対象物の凹凸に関するテクスチャを表す特徴量を算出する機能を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物の表面の凹凸に関する規則性を評価する凹凸検査装置、凹凸検査方法に関するものである。
【背景技術】
【０００２】
従来から、対象物のテクスチャを評価する技術として、濃淡画像から同時生起行列を生成するとともに、同時生起行列から何らかの特徴量を算出し、この特徴量を評価する技術が知られている（たとえば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−２０７５６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、特許文献１に記載の技術のように、同時生起行列は濃淡画像から生成されており、対象物の表面のテクスチャが同じであっても、対象物に照射される光の強さが変化すると、同時生起行列が変化し、結果的に異なるテクスチャと判断される可能性がある。すなわち、特許文献１に記載されている技術を採用すると、対象物に照射される光の強さが変動したり、対象物に照射される光の強さにむらがあったりすると、テクスチャの特徴量を再現性よく抽出することができないという問題が生じる。
【０００５】
本発明は上記事由に鑑みて為されたものであり、その目的は、対象物に照射される光の強さの変動やむらの影響を受けることなく、対象物の凹凸に関するテクスチャを検出することを可能にした凹凸検査装置、凹凸検査方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の凹凸検査装置は、上述の目的を達成するために、対象物の表面の３次元計測を行う３次元計測手段と、３次元計測手段により計測された対象物までの距離を画素値とした距離画像を生成する距離画像生成手段と、距離画像の画素値を用いて同時生起行列を生成し同時生起行列から対象物の凹凸に関するテクスチャを表す特徴量を算出するテクスチャ評価手段と、テクスチャ評価手段で算出した特徴量を出力する出力手段とを備えることを特徴とする。
【０００７】
また、テクスチャ評価手段は、距離画像からテクスチャを求める凹凸ではない距離変化の情報をノイズとして除去する修正を行った距離画像を生成し、修正後の距離画像の画素値から対象物の凹凸に関するテクスチャを表す特徴量を算出することが望ましい。
【０００８】
さらに、テクスチャ評価手段は、対象物の表面の凹凸に関するテクスチャを表す複数種類の特徴量のうち検査項目として着目する特徴量が選択されるとともに、当該特徴量に対するしきい値が設定されており、対象物から求めた特徴量と設定されたしきい値とを比較することにより、対象物の良否を判定することが望ましい。
【０００９】
本発明の凹凸検査方法は、上述の目的を達成するために、３次元計測手段により計測された対象物の表面までの距離を画素値とした距離画像を距離画像生成手段により生成し、距離画像の画素値を用いて同時生起行列をテクスチャ評価手段により生成し、同時生起行列から対象物の凹凸に関するテクスチャを表す特徴量を算出し、当該特徴量をあらかじめ設定したしきい値と比較することにより、対象物の良否を判定することを特徴とする。
【発明の効果】
【００１０】
本発明の構成によれば、対象物の表面の凹凸によるテクスチャに関する評価を行うことができる。また、３次元計測により生成した距離画像を用いて凹凸によるテクスチャを評価するから、照度の変動やむらの影響を受けることなくテクスチャを評価することができるという利点がある。
【図面の簡単な説明】
【００１１】
【図１】実施形態に共通するブロック図である。
【図２】同上における同時生起行列を説明する図である。
【図３】実施形態２におけるノイズ成分の除去を説明する図である。
【図４】同上の動作説明図である。
【図５】同上における高さの関係を示す図である。
【図６】同上に用いる修正距離画像の画素値の求め方を示す図である。
【発明を実施するための形態】
【００１２】
以下に説明する各実施形態は、図１に示すように、対象物１０までの距離を計測する３次元計測手段としての距離センサ１を備える。距離センサ１により計測した対象物１０までの距離値は、距離画像生成部（距離画像生成手段）２に入力されることにより距離画像が生成される。また、距離画像生成部２により生成された距離画像は、テクスチャ評価部（テクスチャ評価手段）３に入力されることにより対象物１０の表面の凹凸変化の規則性に関する特徴量が算出される。以下では、この特徴量を凹凸テクスチャと呼ぶ。
【００１３】
距離センサ１は、対象物１０の表面の所望範囲について、距離センサ１が設定した基準位置からの距離を計測するものであり、種々の原理のものが提供されている。
【００１４】
たとえば、対象物１０に光を照射するとともに、その反射光を検出することにより対象物１０までの距離を計測するアクティブ型の構成が知られている。この種の構成には、三角測量法の原理を用いる技術、光の飛行時間を計測する技術（飛行時間法）、複数のパターンを投光し受光パターンの変化を検出する技術（位相シフト法）、光の干渉を利用する技術（干渉測長法）などが知られている。
【００１５】
また、対象物１０に光を投光しないパッシブ型の構成も知られている。この種の構成には、複数の撮像装置の視差を利用する技術（ステレオ画像法）、受光光学系を移動可能にし合焦する位置から対象物１０までの距離を求める技術などが知られている。
【００１６】
以下に説明する実施形態において、距離センサ１としては上述した構成のほか、どのような構成を用いてもよいが、各技術には長所と短所とがあるから、目的に応じて適宜の技術を選択すればよい。また、上述した距離センサ１は非接触式のであるが、３次元計測手段としては触針を対象物１０の表面に接触させる接触式の構成を採用することも可能である。
【００１７】
距離センサ１は、対象物１０までの距離を計測する基準位置を、点（基準点）で設定する場合と面（基準面）で設定する場合とがある。基準点を用いる場合は、対象物１０の表面の情報を基準点からの距離と基準点から見込む方位とで表すことになる。つまり、距離センサ１から出力される３次元情報は、極座標系で表されることになる。一方、基準面を用いる場合は、対象物１０の表面の情報を基準面からの距離と基準面上の座標位置とで表すことになる。つまり、距離センサ１から出力される３次元情報は、直交座標系で表されることになる。
【００１８】
距離画像生成部２により生成される距離画像は、濃淡画像の画素と同様に正方格子の格子点に画素値を対応付けた画像であって、濃淡画像の濃淡値に代えて距離値を画素値に用いている。上述したように、距離センサ１が設定する基準位置に応じて、３次元情報は極座標系で表される場合と直交座標系で表される場合があるから、距離画像生成部２では、必要に応じて座標変換を行う。
【００１９】
以下に説明する実施形態では、直交座標系を用いるものとする。座標軸は、距離画像の水平方向をＸ軸方向、距離画像の垂直方向をＹ軸方向とし、距離画像の画像面に直交する方向をＺ方向とする。また、距離画像における各画素の位置は（ｘ，ｙ）で表す。したがって、各画素（ｘ，ｙ）の座標データをｔｘ，ｙで表し、実空間の３次元の座標を（Ｘ，Ｙ，Ｚ）とすると、ｔｘ，ｙ＝（Ｘ（ｘ，ｙ），Ｙ（ｘ，ｙ），Ｚ（ｘ，ｙ））と表現することができる。また、距離画像の全体は、座標データｔｘ，ｙの集合であるから、距離画像の全体を表すときには〔Ｔ〕を用いる。すなわち、すべての座標データｔｘ，ｙは集合〔Ｔ〕に含まれていることになる。
【００２０】
ところで、距離画像〔Ｔ〕の画素値Ｉをｎビットで表すとすれば、画素値Ｉ＝０を距離の最小値Ｚｍｉｎに対応付け、画素値Ｉ＝２ｎ−１を距離の最大値Ｚｍａｘに対応付けなければならない。ここで、実空間の距離値Ｚ（ｘ，ｙ）は、距離画像の画素値Ｉ（ｘ，ｙ）とは線形関係とすることが望ましい。したがって、距離の最小値Ｚｍｉｎと最大値Ｚｍａｘとの間の距離Ｚと、画素値Ｉとの関係は、Ｉ＝ｉｎｔ［（Ｚ−Ｚｍｉｎ）２ｎ／（Ｚｍａｘ−Ｚｍｉｎ）＋０．５］−１とする。ただし、ｉｎｔ［ｘ］は、ｘを超えない最大の整数を表す。言い換えると、上式は、（Ｚ−Ｚｍｉｎ）２ｎ／（Ｚｍａｘ−Ｚｍｉｎ）を四捨五入した整数値から１を引いた整数値に相当する。このような演算により、ビット値で表された画素値Ｉを、実空間の距離値に対応付けることができる。
【００２１】
距離画像生成部２およびテクスチャ評価部３は、パーソナルコンピュータにより適宜のプログラムを実行することにより実現することができる。また、汎用のパーソナルコンピュータではなく、専用のプロセッサを用いて実現してもよい。以下では、距離画像生成部２およびテクスチャ評価部３を、一括して表現する場合には演算処理部４として扱う。演算処理部４には、距離センサ１が計測した距離値、距離画像生成部２が生成した距離画像、テクスチャ評価部３が算出した特徴量などを記憶する記憶部５が付設される。
【００２２】
さらに、演算処理部４により生成された情報を表示する出力手段としての表示装置６も設けられる。この表示装置６は、ＣＲＴあるいは液晶表示器のようなモニター装置を備える。また、図示していないが、演算処理部４に指示を与えるためのキーボードやマウスのような入力装置も設けられる。
【００２３】
これらの構成は、以下に説明する実施形態において共通である。以下では、主としてテクスチャ評価部３の動作について説明する。
【００２４】
（実施形態１）
テクスチャ評価部３では、まず距離画像生成部２により生成した距離画像〔Ｔ〕を用いて同時生起行列を生成する。同時生起行列は、通常は濃淡画像の濃淡値について定義されている。図２のように、濃淡画像内の任意の２個の画素１１，１２について、濃淡値がそれぞれＤ１１，Ｄ１２である確率Ｐ（Ｄ１１，Ｄ１２）を行列要素とし、すべての濃淡値の組み合わせについて確率を求めて並べたものである。
【００２５】
画素１１と画素１２との位置関係は、図２に示す距離ｒと角度θとにより規定され、位置関係ごとに同時生起行列が作成される。距離ｒは１（１画素）とし、角度θは４５°刻みに設定されることが多い。これは、隣接する画素について濃淡値の組み合わせが現れる確率を求めていることになる。
【００２６】
上述のように、同時生起行列は、一般に濃淡画像に対して適用されるが、テクスチャ評価部３には、画素値が濃淡値である濃淡画像ではなく画素値が距離値である距離画像が入力されており、濃淡値に代えて距離値を用いた同時生起行列を生成する。また、比較する２個の画素の位置関係を、距離ｒと角度θとにより規定しているが、距離画像では画素の位置は水平方向（ｘ軸方向）と垂直方向（ｙ軸方向）との画素数により決まる。したがって、距離ｒおよび角度θを、次式により、ｘ軸方向とｙ軸方向との各画素数ｄｘ，ｄｙに置き換える。
ｄｘ＝ｉｎｔ［ｒ・ｃｏｓθ＋０．５］（５）
ｄｙ＝ｉｎｔ［ｒ・ｓｉｎθ＋０．５］（６）
もちろん、２つの画素の位置関係は、距離ｒと角度θとではなく、画素数ｄｘ，ｄｙで規定しておくことも可能である。本実施形態における同時生起行列Ｌ（ｉ，ｊ）は、次式で定義される（Ｌ（ｉ，ｊ）は同時生起行列の行列要素）。
ΣＮδ（Ｉ（ｘ，ｙ）−（ｉ−１））δ（I（ｘ十ｄｘ，ｙ十ｄｙ）−（ｊ−１））
ただし、ΣNは距離画像の全画素についての総和であることを意味し、Ｉ（ｘ，ｙ）は距離画像における座標位置（ｘ，ｙ）の画素値（距離値）であり、δ（ｘ）は、ｘ＝０のとき１になり、ｘ≠０のとき０になる関数である。
【００２７】
上述した同時生起行列Ｌ（ｉ，ｊ）を正規化し、次式で表される正規化同時生起行列Ｐ（ｉ，ｊ）を求める（Ｐ（ｉ，ｊ）は正規化同時行列の行列要素）。
Ｐ（ｉ，ｊ）＝Ｌ（ｉ，ｊ）／Σｉ，ｊＬ（ｉ，ｊ）
Σｉ，ｊは、ΣｉΣｊを意味する。
【００２８】
濃淡画像から求めた同時生起行列から計算される特徴量としては、１４種類の統計量が提案されているが、テクスチャに関する特徴量は実質的には数種類である。本実施形態では、正規化同時生起行列Ｐ（ｉ，ｊ）を用いることにより、凹凸テクスチャに関して数１に示す特徴量（コントラスト（ＣＮＴ）、均質性（ＩＤＭ）、エネルギー（ＡＳＭ）、エントロピー（ＥＰＹ））を求めている。ただし、これらの特徴量は、限定する趣旨ではなく、必要に応じて他の特徴量を求めることも可能である。
【００２９】
【数１】
【００３０】
上述のようにしてテクスチャ評価部３において求めた特徴量は、表示装置６に表示される。また、表示装置６には、特徴量だけではなく距離画像も併せて表示することが可能である。さらに、特徴量の値は数値で示すほか、グラフにより表示してもよい。あるいはまた、求めた今回の特徴量だけではなく、保存されている過去の凹凸テクスチャの解析結果から今回の特徴量に近いものを表示してもよい。
【００３１】
（実施形態２）
本実施形態は、対象物１０に、傾き、歪み、反りなどがあり、距離画像において凹凸テクスチャではない距離変化の情報が含まれているときに、この種の情報をノイズ成分として取り除く処理をテクスチャ評価部３において行う点が実施形態１と相違する。
【００３２】
ところで、距離変化が生じるようなノイズ成分が含まれているときには、濃淡画像ではノイズ成分を除去することができず、テクスチャの特徴量を正確に検出することはできない。これに対して、本実施形態では距離画像を用いていることを利用して、凹凸テクスチャ以外の距離変化の影響を除去することが可能であり、テクスチャを正確に検出することを可能にしている。
【００３３】
すなわち、テクスチャ評価部３は、距離画像生成部２から距離画像を受け取ると、まず対象物１０におけるノイズ成分の除去を行う。ノイズ成分は、図３に示すように、距離画像のＺ方向（距離値の方向）に対する対象物１０の傾斜（図３（ａ））、対象物１０の屈曲（図３（ｂ））、対象物１０の表面が全体として凹面あるいは凸面になっていること（図３（ｃ））などを意味している。要するに、凹凸テクスチャとして抽出しようとする凹凸に比べて測度ないし尺度の大きい距離変化をノイズ成分とみなし、図３（ｄ）に示すように、ノイズ成分となる距離変化を除去するのである。
【００３４】
距離センサ１による距離測定の原理にもよるが、一般に、距離センサ１に正対している平面（つまり、Ｚ軸方向に直交している平面）の凹凸については、深さと幅とを正しく計測することが可能である。しかしながら、距離センサ１に正対していない面における凹凸は、実際の深さよりも深いように計測され、また実際の幅よりも狭いように計測される。したがって、このような計測の誤差を除去して、凹凸テクスチャを正確に抽出することができるように、上述したノイズ成分の除去を行うのである。
【００３５】
ノイズ成分の除去は、以下の手順で行う。上述したように、ノイズ成分を除去することは、凹凸テクスチャではない距離変化の情報を除去することである。したがって、距離画像生成部２で生成された距離画像（以下、「原距離画像」という）に対して、ノイズ成分を除去した距離画像（以下、「修正距離画像」という）を生成することになる。
【００３６】
ここに、原距離画像から修正距離画像を生成する際に、原距離画像に対してノイズ成分である距離変化分を除去する変換を行うだけでは、変換後の距離が画素の位置に対応しないことがあるから、修正距離画像では距離を画素位置に対応させる補正が必要になる。つまり、原距離画像から修正距離画像を得るには、まず原距離画像から画素位置を考慮せずにノイズ成分を除去した中間距離画像に変換し、さらに、中間距離画像を用いて距離が画素位置に対応するように補間を行って修正距離画像を生成する。
【００３７】
以下に、原距離画像から中間距離画像を生成し、さらに中間距離画像から修正距離画像を生成する手順について説明する。距離画像生成部２により生成された原距離画像〔Ｔ〕は、図４（ａ）に示すように、２次元の正方格子の格子点を画素Ｐｘ１として、各画素Ｐｘ１の画素値に距離が対応付けられている。
【００３８】
まず、この原距離画像〔Ｔ〕における各画素Ｐｘ１と距離（画素値）との組を用いて、ノイズ成分となる距離変化を除去したときの画素Ｐｘ１が移動する位置と、当該位置における距離（以下、「高さ」という）とを求める。つまり、原距離画像〔Ｔ〕のノイズ成分による距離変化を除去して平面に引き延ばした状態とした中間距離画像〔Ｔｍ〕を生成し、中間距離画像〔Ｔｍ〕の上で、原距離画像〔Ｔ〕の各画素Ｐｘ１に対応する位置と、当該位置における高さとを求める。
【００３９】
中間距離画像〔Ｔｍ〕では、図４（ｂ）のように、原距離画像〔Ｔ〕の画素に対応する点Ｐｘ２の位置は格子点上とは限らず、また、高さも画素値のような整数値にはならない。いま、原距離画像〔Ｔ〕の上での位置（ｘ，ｙ）に対応する中間距離画像〔Ｔｍ〕の上での点Ｐｘ２の位置が（ｕ（ｘ，ｙ)，ｖ（ｘ，ｙ））になるとともに、当該位置（ｕ（ｘ，ｙ)，ｖ（ｘ，ｙ））における高さがｈ（ｘ，ｙ）になるとする。
【００４０】
原距離画像〔Ｔ〕では、格子点を画素に対応付けているから位置（ｘ，ｙ）を特定するｘとｙとは整数値であり、また画素値も整数値になる。これに対して、中間距離画像〔Ｔｍ〕での位置は格子点の位置とは無関係であるから、位置（ｕ（ｘ，ｙ)，ｖ（ｘ，ｙ））を特定するｕ（ｘ，ｙ)とｖ（ｘ，ｙ）とは実数値であり、高さｈ（ｘ，ｙ）もまた実数値になる。
【００４１】
中間距離画像〔Ｔｍ〕を求めることができれば、複数個の位置（ｕ（ｘ，ｙ)，ｖ（ｘ，ｙ））と各位置（ｕ（ｘ，ｙ)，ｖ（ｘ，ｙ））ごとの高さｈ（ｘ，ｙ）との関係を用い、図４（ｃ）のように、各格子点の位置（ｋ，ｍ）の高さｈ’（ｋ，ｍ）を求める。すなわち、修正距離画像〔Ｔｃ〕を生成する。高さｈ’（ｋ，ｍ）は、内挿または外挿によって求める。
【００４２】
以下では、原距離画像〔Ｔ〕から中間距離画像〔Ｔｍ〕への座標変換と、中間距離画像〔Ｔｍ〕から修正距離画像〔Ｔｃ〕への座標変換とについてそれぞれ説明する。
【００４３】
原距離画像〔Ｔ〕から中間距離画像〔Ｔｍ〕への座標変換には、まず、ノイズ成分の形状を推定する必要がある。ここでは、ノイズ成分を凹凸テクスチャよりも測度ないし尺度が大きいとみなしている。この性質を利用することにより、以下の２種類の技術のいずれかを用いてノイズ成分に相当するベース面ＰＬを決めることができる（図５参照）。
【００４４】
第１の技術は、ノイズ成分を数式モデルで近似し、数式モデルのパラメータを最小二乗法により決定する技術である。これは、ノイズ成分の数式モデルが既知である場合に採用することができる。ノイズ成分を近似する数式モデルは、数式の形で表される平面や曲面であり、係数（パラメータ）を未知数にしておき、原距離画像〔Ｔ〕との形状の差が最小になるように最小二乗法を用いて係数を決定することになる。
【００４５】
第２の技術では、原距離画像〔Ｔ〕を平滑化することによりノイズ成分を抽出する。すなわち、凹凸テクスチャを消去できる程度であってノイズ成分が抽出できる程度の平滑化を行う。この技術は、ノイズ成分の数式モデルが未知である場合、あるいはノイズ成分を数式モデルに当てはめることができない場合に採用する。たとえば、７×７画素のサイズで原距離画像〔Ｔ〕の画素値Ｉ（ｘ，ｙ）の平均値を求めて平滑化を行うと、平滑化後の画素値Ｉ'（ｘ，ｙ）は、数２で表される。
【００４６】
【数２】
【００４７】
数２で求めた画素値Ｉ’（ｘ，ｙ）は、原距離画像〔Ｔ〕の凹凸テクスチャをマッピングするベース面ＰＬになる。ここで、画素となる格子点の位置（ｘ，ｙ）および実空間の位置（Ｘ，Ｙ）は、平滑化後も原距離画像〔Ｔ〕と同一とする。したがって、平滑化後には画像内の位置（ｘ，ｙ）の画素値Ｉ’に対応する実空間でのＺ軸方向の値Ｚ’は、数３で表される。
【００４８】
【数３】
【００４９】
凹凸テクスチャを消去したベース面ＰＬを規定した後、ベース面ＰＬ上に凹凸テクスチャをマッピングし、中間距離画像〔Ｔｍ〕を生成する。原距離画像〔Ｔ〕の位置（ｘ，ｙ）に対応する凹凸テクスチャの高さ（深さ）ｈ（ｘ，ｙ）は、実空間における対象物１０の座標データｔｘ，ｙ＝（Ｘ（ｘ，ｙ），Ｙ（ｘ，ｙ），Ｚ（ｘ，ｙ））から上述したベース面ＰＬまでの符号付き最短距離として求めることができる。ここに、座標データｔｘ，ｙがベース面ＰＬに対して距離センサ１寄りである場合の符号を正とし、逆の関係であれば符号を負とする。このようにして求めた座標データをｔＨｘ，ｙで表す。また、ｔＨｘ，ｙ＝（ＸＨ（ｘ，ｙ），ＹＨ（ｘ，ｙ），ＺＨ（ｘ，ｙ））とする。
【００５０】
なお、凹凸テクスチャを消去したベース面ＰＬの最小の曲率半径が、凹凸テクスチャとなる凹凸の高さを下回る場合については考慮せず、凹凸テクスチャを消去したベース面ＰＬの最小の曲率半径は凹凸の高さを必ず上回ると仮定する。ベース面ＰＬの表面形状が凹凸テクスチャとなる凹凸より細かくなる事象が生じることはほとんどないと考えられるので、この仮定には問題はない。
【００５１】
凹凸テクスチャをベース面ＰＬにマッピングした後、中間距離画像〔Ｔｍ〕を生成する。すなわち、距離画像〔Ｔ〕の位置（ｘ，ｙ）を中間距離画像〔Ｔｍ〕の位置（ｕ（ｘ，ｙ），ｖ（ｘ，ｙ））への座標変換を行う。ｕ（ｘ，ｙ），ｖ（ｘ，ｙ）は、それぞれ左隣、上隣の点の値を用いて順に算出する。
【００５２】
まず、Δｕｘｙ＝ｕ（ｘ，ｙ）−ｕ（ｘ−１，ｙ）、Δｖｘｙ＝ｖ（ｘ，ｙ）−ｖ（ｘ，ｙ−１）と定義する。Δｕｘｙの値は、ベース面ＰＬにマッピングした後の画像データｔＨｘ−１，ｙから画像データｔＨｘ，ｙまでのＸ軸への投影距離ΔＸＨと、ＸＺ平面への投影距離｛（ΔＸＨ）２＋（ΔＺＨ）２｝１／２との比として数４のように定める。ただし、ΔＸＨ＝ＸＨ（ｘ，ｙ）−ＸＨ（ｘ−１，ｙ）、ΔＺＨ＝（ＺＨ（ｘ，ｙ）−ＺＨ（ｘ−１，ｙ）である。対象物１０のベース面ＰＬが距離センサ１に正対する場合は、Ｚ＝０であって、Δｕｘｙ＝１になる。また、ΔＺ≠０であるときには、Δｕｘｙ＞１になる。
【００５３】
同様にして、Δｖｘｙの値は、ベース面ＰＬにマッピングした後の画像データｔＨｘ−１，ｙから画像データｔＨｘ，ｙまでのＹ軸への投影距離と、ＹＺ平面への投影距離との比として数４のように定める。
【００５４】
上述の処理をまとめると、ｘ＝０のときｕ（ｘ，ｙ）＝０、ｘ≠０のときｕ（ｘ，ｙ）＝ｕ（ｘ−１，ｙ）＋Δｕｘｙであり、ｙ＝０のときｖ（ｘ，ｙ）＝０、ｙ≠０のときｖ（ｘ，ｙ）＝ｖ（ｘ，ｙ−１）＋Δｖｘｙになる。ここに、ΔｕｘｙとΔｖｘｙとは、数４で定義される。
【００５５】
【数４】
【００５６】
上述のようにして、座標（ｕ（ｘ，ｙ），ｖ（ｘ，ｙ））上に高さｈ（ｘ，ｙ）を対応付けた中間距離画像〔Ｔｍ〕が求められる。中間距離画像〔Ｔｍ〕の座標（ｕ（ｘ，ｙ），ｖ（ｘ，ｙ））に対応する点Ｐｘ２は格子点の位置に対応付けていないから、格子点の座標（ｋ，ｍ）に画素Ｐｘ３を対応付け、画素Ｐｘ３の値を内挿または外挿により求めた修正距離画像〔Ｔｃ〕を生成する。
【００５７】
修正距離画像〔Ｔｃ〕を生成するには、修正距離画像〔Ｔｃ〕における格子点上の高さｈ’を求める必要がある。高さｈ’は、着目している画素（格子点）の周囲の点Ｐｘ２の高さｈを用いて内挿することにより求める。
【００５８】
たとえば、、格子点の座標（ｋ，ｍ）における高さｈ’（ｋ，ｍ）は、座標（ｋ，ｍ）の格子点からの距離が近い順に４個の点を選択し、数５の関係で求める。数５におけるｉは、格子点（ｋ，ｍ）からの距離の近い順番を示している。
【００５９】
【数５】
【００６０】
数５の演算は、ｋ＝０，ｍ＝０を初期値として、ｋを１ずつ増加させて各格子点における高さｈ’を求める。ここで、（ｋ，ｍ）を原点として、原距離画像〔Ｔ〕のｘ軸およびｙ軸と同じｘ軸およびｙ軸を持つ座標系（ｘｋ，ｙｍ）を考える。以下では、この座標系において、ｘｋ≧０かつｙｍ≧０の領域を拡張第一象限、ｘｋ≦０かつｙｍ≧０の領域を拡張第二象限、ｘｋ≦０かつｙｍ≦０の領域を拡張第三象限、ｘｋ≧０かつｙｍ≦０の領域を拡張第四象限と呼ぶ。
【００６１】
格子点の画素Ｐｘ３に対応する高さｈ’（ｋ，ｍ）が有効であるのは、図６（ａ）（ｂ）のように、高さｈ’を求めた４個の点Ｐｘ２が、拡張第一象限から拡張第四象限までの全領域に１点以上存在するという条件が成立するときである。この条件を有効点条件と呼ぶことにする。図６において破線で表す円形の領域Ｃｄは、座標（ｋ，ｍ）の格子点の周囲において選択される４個の点Ｐｘ２が含まれる範囲を示している。
【００６２】
図６（ｃ）のように、有効点条件を満たさない場合は、着目している座標（ｋ，ｍ）の格子点を無効と判断し、ｋ＝０に戻って、ｍの値を１だけ増加させ、あらためてｋの値を１ずつ増加させて、高さｈ’を求める。また、ｋ＝０で有効点条件を満たさなければ、ｍの値を増加させることなく処理を終了する。
【００６３】
上述のようにして座標（ｋ，ｍ）の格子点ごとの高さｈ’が求められるから、次に高さｈ’を、画素値を表すビット値に割り当てる。すなわち、高さｈ’の量子化を行う。この量子化は、距離画像生成部２において距離画像を生成する際の処理と同様であって、修正距離画像〔Ｔｃ〕の画素値Ｉｃをｎビットで表すとすれば、画素値Ｉｃ＝０を高さｈ’の最小値ｈ’ｍｉｎに対応付け、画素値Ｉｃ＝２ｎ−１を高さｈ’の最大値ｈ’ｍａｘに対応付ければよい。また、高さｈ’の最小値ｈ’ｍｉｎと最大値ｈ’ｍａｘとの間の高さｈ’と、画素値Ｉｃとの関係は、Ｉｃ＝ｉｎｔ［（ｈ’−ｈ’ｍｉｎ）２ｎ／（ｈ’ｍａｘ−ｈ’ｍｉｎ）＋０．５］−１とする。
【００６４】
以上のようにして、原距離画像〔Ｔ〕からノイズ成分を除去した修正距離画像〔Ｔｃ〕を生成することができる。凹凸テクスチャの特徴量を求める処理は、実施形態１において距離画像について説明した通りであり、本実施形態では、距離画像生成部２で生成した距離画像から特徴量を求めるのではなく、修正距離画像〔Ｔｃ〕から特徴量を求めることになる。他の構成および動作は実施形態１と同様である。
【００６５】
（実施形態３）
本実施形態は、生産ラインを搬送される対象物１０について、特徴量を用いてテクスチャの外観検査を行う場合について例示する。特徴量の抽出にあたっては、実施形態１において説明した技術と実施形態２において説明した技術とのいずれを用いてもよい。
【００６６】
上述したように、特徴量には複数の種類があるから、対象物１０の外観検査を行う利用者は、入力装置を用いることにより、外観検査に必要な所望の特徴量を選択する。この際、複数の特徴量を選択してもよい。また、選択した特徴量に対して、良否判定のためのしきい値を設定する。
【００６７】
その後、生産ライン上を搬送される対象物１０について、距離センサ１による距離の計測を行って距離画像生成部２により距離画像を生成し、さらに、テクスチャ評価部３によりテクスチャに関連する特徴量のうち利用者があらかじめ選択した特徴量を算出する。上述のように、特徴量にはしきい値が設定されているから、凹凸テクスチャに関する良否の判定を行うことができる。すなわち、距離画像を用いて凹凸テクスチャの特徴量を求めるから、照明の変動やむらの影響を受けることなく対象物１０の表面の凹凸テクスチャを評価することができる。
【００６８】
上述の例では、特徴量としきい値とを人が入力しているが、対象物１０の良品と不良品とから特徴量を求め、ニューラルネットワーク、サポートベクタマシン、アダブースト（Ａｄａｂｏｏｓｔ）のようなパターン学習機能を有する技術を採用し、特徴量の選択や良否の判定基準を自動的に生成することも可能である。他の構成および動作は実施形態１、２と同様である。
【符号の説明】
【００６９】
１ 距離センサ（３次元計測手段）
２ 距離画像生成部（距離画像生成手段）
３ テクスチャ評価部（評価手段）
４ 演算処理部
５ 記憶部
６ 表示装置（出力手段）
１０ 対象物
【技術分野】
【０００１】
本発明は、対象物の表面の凹凸に関する規則性を評価する凹凸検査装置、凹凸検査方法に関するものである。
【背景技術】
【０００２】
従来から、対象物のテクスチャを評価する技術として、濃淡画像から同時生起行列を生成するとともに、同時生起行列から何らかの特徴量を算出し、この特徴量を評価する技術が知られている（たとえば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−２０７５６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、特許文献１に記載の技術のように、同時生起行列は濃淡画像から生成されており、対象物の表面のテクスチャが同じであっても、対象物に照射される光の強さが変化すると、同時生起行列が変化し、結果的に異なるテクスチャと判断される可能性がある。すなわち、特許文献１に記載されている技術を採用すると、対象物に照射される光の強さが変動したり、対象物に照射される光の強さにむらがあったりすると、テクスチャの特徴量を再現性よく抽出することができないという問題が生じる。
【０００５】
本発明は上記事由に鑑みて為されたものであり、その目的は、対象物に照射される光の強さの変動やむらの影響を受けることなく、対象物の凹凸に関するテクスチャを検出することを可能にした凹凸検査装置、凹凸検査方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の凹凸検査装置は、上述の目的を達成するために、対象物の表面の３次元計測を行う３次元計測手段と、３次元計測手段により計測された対象物までの距離を画素値とした距離画像を生成する距離画像生成手段と、距離画像の画素値を用いて同時生起行列を生成し同時生起行列から対象物の凹凸に関するテクスチャを表す特徴量を算出するテクスチャ評価手段と、テクスチャ評価手段で算出した特徴量を出力する出力手段とを備えることを特徴とする。
【０００７】
また、テクスチャ評価手段は、距離画像からテクスチャを求める凹凸ではない距離変化の情報をノイズとして除去する修正を行った距離画像を生成し、修正後の距離画像の画素値から対象物の凹凸に関するテクスチャを表す特徴量を算出することが望ましい。
【０００８】
さらに、テクスチャ評価手段は、対象物の表面の凹凸に関するテクスチャを表す複数種類の特徴量のうち検査項目として着目する特徴量が選択されるとともに、当該特徴量に対するしきい値が設定されており、対象物から求めた特徴量と設定されたしきい値とを比較することにより、対象物の良否を判定することが望ましい。
【０００９】
本発明の凹凸検査方法は、上述の目的を達成するために、３次元計測手段により計測された対象物の表面までの距離を画素値とした距離画像を距離画像生成手段により生成し、距離画像の画素値を用いて同時生起行列をテクスチャ評価手段により生成し、同時生起行列から対象物の凹凸に関するテクスチャを表す特徴量を算出し、当該特徴量をあらかじめ設定したしきい値と比較することにより、対象物の良否を判定することを特徴とする。
【発明の効果】
【００１０】
本発明の構成によれば、対象物の表面の凹凸によるテクスチャに関する評価を行うことができる。また、３次元計測により生成した距離画像を用いて凹凸によるテクスチャを評価するから、照度の変動やむらの影響を受けることなくテクスチャを評価することができるという利点がある。
【図面の簡単な説明】
【００１１】
【図１】実施形態に共通するブロック図である。
【図２】同上における同時生起行列を説明する図である。
【図３】実施形態２におけるノイズ成分の除去を説明する図である。
【図４】同上の動作説明図である。
【図５】同上における高さの関係を示す図である。
【図６】同上に用いる修正距離画像の画素値の求め方を示す図である。
【発明を実施するための形態】
【００１２】
以下に説明する各実施形態は、図１に示すように、対象物１０までの距離を計測する３次元計測手段としての距離センサ１を備える。距離センサ１により計測した対象物１０までの距離値は、距離画像生成部（距離画像生成手段）２に入力されることにより距離画像が生成される。また、距離画像生成部２により生成された距離画像は、テクスチャ評価部（テクスチャ評価手段）３に入力されることにより対象物１０の表面の凹凸変化の規則性に関する特徴量が算出される。以下では、この特徴量を凹凸テクスチャと呼ぶ。
【００１３】
距離センサ１は、対象物１０の表面の所望範囲について、距離センサ１が設定した基準位置からの距離を計測するものであり、種々の原理のものが提供されている。
【００１４】
たとえば、対象物１０に光を照射するとともに、その反射光を検出することにより対象物１０までの距離を計測するアクティブ型の構成が知られている。この種の構成には、三角測量法の原理を用いる技術、光の飛行時間を計測する技術（飛行時間法）、複数のパターンを投光し受光パターンの変化を検出する技術（位相シフト法）、光の干渉を利用する技術（干渉測長法）などが知られている。
【００１５】
また、対象物１０に光を投光しないパッシブ型の構成も知られている。この種の構成には、複数の撮像装置の視差を利用する技術（ステレオ画像法）、受光光学系を移動可能にし合焦する位置から対象物１０までの距離を求める技術などが知られている。
【００１６】
以下に説明する実施形態において、距離センサ１としては上述した構成のほか、どのような構成を用いてもよいが、各技術には長所と短所とがあるから、目的に応じて適宜の技術を選択すればよい。また、上述した距離センサ１は非接触式のであるが、３次元計測手段としては触針を対象物１０の表面に接触させる接触式の構成を採用することも可能である。
【００１７】
距離センサ１は、対象物１０までの距離を計測する基準位置を、点（基準点）で設定する場合と面（基準面）で設定する場合とがある。基準点を用いる場合は、対象物１０の表面の情報を基準点からの距離と基準点から見込む方位とで表すことになる。つまり、距離センサ１から出力される３次元情報は、極座標系で表されることになる。一方、基準面を用いる場合は、対象物１０の表面の情報を基準面からの距離と基準面上の座標位置とで表すことになる。つまり、距離センサ１から出力される３次元情報は、直交座標系で表されることになる。
【００１８】
距離画像生成部２により生成される距離画像は、濃淡画像の画素と同様に正方格子の格子点に画素値を対応付けた画像であって、濃淡画像の濃淡値に代えて距離値を画素値に用いている。上述したように、距離センサ１が設定する基準位置に応じて、３次元情報は極座標系で表される場合と直交座標系で表される場合があるから、距離画像生成部２では、必要に応じて座標変換を行う。
【００１９】
以下に説明する実施形態では、直交座標系を用いるものとする。座標軸は、距離画像の水平方向をＸ軸方向、距離画像の垂直方向をＹ軸方向とし、距離画像の画像面に直交する方向をＺ方向とする。また、距離画像における各画素の位置は（ｘ，ｙ）で表す。したがって、各画素（ｘ，ｙ）の座標データをｔｘ，ｙで表し、実空間の３次元の座標を（Ｘ，Ｙ，Ｚ）とすると、ｔｘ，ｙ＝（Ｘ（ｘ，ｙ），Ｙ（ｘ，ｙ），Ｚ（ｘ，ｙ））と表現することができる。また、距離画像の全体は、座標データｔｘ，ｙの集合であるから、距離画像の全体を表すときには〔Ｔ〕を用いる。すなわち、すべての座標データｔｘ，ｙは集合〔Ｔ〕に含まれていることになる。
【００２０】
ところで、距離画像〔Ｔ〕の画素値Ｉをｎビットで表すとすれば、画素値Ｉ＝０を距離の最小値Ｚｍｉｎに対応付け、画素値Ｉ＝２ｎ−１を距離の最大値Ｚｍａｘに対応付けなければならない。ここで、実空間の距離値Ｚ（ｘ，ｙ）は、距離画像の画素値Ｉ（ｘ，ｙ）とは線形関係とすることが望ましい。したがって、距離の最小値Ｚｍｉｎと最大値Ｚｍａｘとの間の距離Ｚと、画素値Ｉとの関係は、Ｉ＝ｉｎｔ［（Ｚ−Ｚｍｉｎ）２ｎ／（Ｚｍａｘ−Ｚｍｉｎ）＋０．５］−１とする。ただし、ｉｎｔ［ｘ］は、ｘを超えない最大の整数を表す。言い換えると、上式は、（Ｚ−Ｚｍｉｎ）２ｎ／（Ｚｍａｘ−Ｚｍｉｎ）を四捨五入した整数値から１を引いた整数値に相当する。このような演算により、ビット値で表された画素値Ｉを、実空間の距離値に対応付けることができる。
【００２１】
距離画像生成部２およびテクスチャ評価部３は、パーソナルコンピュータにより適宜のプログラムを実行することにより実現することができる。また、汎用のパーソナルコンピュータではなく、専用のプロセッサを用いて実現してもよい。以下では、距離画像生成部２およびテクスチャ評価部３を、一括して表現する場合には演算処理部４として扱う。演算処理部４には、距離センサ１が計測した距離値、距離画像生成部２が生成した距離画像、テクスチャ評価部３が算出した特徴量などを記憶する記憶部５が付設される。
【００２２】
さらに、演算処理部４により生成された情報を表示する出力手段としての表示装置６も設けられる。この表示装置６は、ＣＲＴあるいは液晶表示器のようなモニター装置を備える。また、図示していないが、演算処理部４に指示を与えるためのキーボードやマウスのような入力装置も設けられる。
【００２３】
これらの構成は、以下に説明する実施形態において共通である。以下では、主としてテクスチャ評価部３の動作について説明する。
【００２４】
（実施形態１）
テクスチャ評価部３では、まず距離画像生成部２により生成した距離画像〔Ｔ〕を用いて同時生起行列を生成する。同時生起行列は、通常は濃淡画像の濃淡値について定義されている。図２のように、濃淡画像内の任意の２個の画素１１，１２について、濃淡値がそれぞれＤ１１，Ｄ１２である確率Ｐ（Ｄ１１，Ｄ１２）を行列要素とし、すべての濃淡値の組み合わせについて確率を求めて並べたものである。
【００２５】
画素１１と画素１２との位置関係は、図２に示す距離ｒと角度θとにより規定され、位置関係ごとに同時生起行列が作成される。距離ｒは１（１画素）とし、角度θは４５°刻みに設定されることが多い。これは、隣接する画素について濃淡値の組み合わせが現れる確率を求めていることになる。
【００２６】
上述のように、同時生起行列は、一般に濃淡画像に対して適用されるが、テクスチャ評価部３には、画素値が濃淡値である濃淡画像ではなく画素値が距離値である距離画像が入力されており、濃淡値に代えて距離値を用いた同時生起行列を生成する。また、比較する２個の画素の位置関係を、距離ｒと角度θとにより規定しているが、距離画像では画素の位置は水平方向（ｘ軸方向）と垂直方向（ｙ軸方向）との画素数により決まる。したがって、距離ｒおよび角度θを、次式により、ｘ軸方向とｙ軸方向との各画素数ｄｘ，ｄｙに置き換える。
ｄｘ＝ｉｎｔ［ｒ・ｃｏｓθ＋０．５］（５）
ｄｙ＝ｉｎｔ［ｒ・ｓｉｎθ＋０．５］（６）
もちろん、２つの画素の位置関係は、距離ｒと角度θとではなく、画素数ｄｘ，ｄｙで規定しておくことも可能である。本実施形態における同時生起行列Ｌ（ｉ，ｊ）は、次式で定義される（Ｌ（ｉ，ｊ）は同時生起行列の行列要素）。
ΣＮδ（Ｉ（ｘ，ｙ）−（ｉ−１））δ（I（ｘ十ｄｘ，ｙ十ｄｙ）−（ｊ−１））
ただし、ΣNは距離画像の全画素についての総和であることを意味し、Ｉ（ｘ，ｙ）は距離画像における座標位置（ｘ，ｙ）の画素値（距離値）であり、δ（ｘ）は、ｘ＝０のとき１になり、ｘ≠０のとき０になる関数である。
【００２７】
上述した同時生起行列Ｌ（ｉ，ｊ）を正規化し、次式で表される正規化同時生起行列Ｐ（ｉ，ｊ）を求める（Ｐ（ｉ，ｊ）は正規化同時行列の行列要素）。
Ｐ（ｉ，ｊ）＝Ｌ（ｉ，ｊ）／Σｉ，ｊＬ（ｉ，ｊ）
Σｉ，ｊは、ΣｉΣｊを意味する。
【００２８】
濃淡画像から求めた同時生起行列から計算される特徴量としては、１４種類の統計量が提案されているが、テクスチャに関する特徴量は実質的には数種類である。本実施形態では、正規化同時生起行列Ｐ（ｉ，ｊ）を用いることにより、凹凸テクスチャに関して数１に示す特徴量（コントラスト（ＣＮＴ）、均質性（ＩＤＭ）、エネルギー（ＡＳＭ）、エントロピー（ＥＰＹ））を求めている。ただし、これらの特徴量は、限定する趣旨ではなく、必要に応じて他の特徴量を求めることも可能である。
【００２９】
【数１】
【００３０】
上述のようにしてテクスチャ評価部３において求めた特徴量は、表示装置６に表示される。また、表示装置６には、特徴量だけではなく距離画像も併せて表示することが可能である。さらに、特徴量の値は数値で示すほか、グラフにより表示してもよい。あるいはまた、求めた今回の特徴量だけではなく、保存されている過去の凹凸テクスチャの解析結果から今回の特徴量に近いものを表示してもよい。
【００３１】
（実施形態２）
本実施形態は、対象物１０に、傾き、歪み、反りなどがあり、距離画像において凹凸テクスチャではない距離変化の情報が含まれているときに、この種の情報をノイズ成分として取り除く処理をテクスチャ評価部３において行う点が実施形態１と相違する。
【００３２】
ところで、距離変化が生じるようなノイズ成分が含まれているときには、濃淡画像ではノイズ成分を除去することができず、テクスチャの特徴量を正確に検出することはできない。これに対して、本実施形態では距離画像を用いていることを利用して、凹凸テクスチャ以外の距離変化の影響を除去することが可能であり、テクスチャを正確に検出することを可能にしている。
【００３３】
すなわち、テクスチャ評価部３は、距離画像生成部２から距離画像を受け取ると、まず対象物１０におけるノイズ成分の除去を行う。ノイズ成分は、図３に示すように、距離画像のＺ方向（距離値の方向）に対する対象物１０の傾斜（図３（ａ））、対象物１０の屈曲（図３（ｂ））、対象物１０の表面が全体として凹面あるいは凸面になっていること（図３（ｃ））などを意味している。要するに、凹凸テクスチャとして抽出しようとする凹凸に比べて測度ないし尺度の大きい距離変化をノイズ成分とみなし、図３（ｄ）に示すように、ノイズ成分となる距離変化を除去するのである。
【００３４】
距離センサ１による距離測定の原理にもよるが、一般に、距離センサ１に正対している平面（つまり、Ｚ軸方向に直交している平面）の凹凸については、深さと幅とを正しく計測することが可能である。しかしながら、距離センサ１に正対していない面における凹凸は、実際の深さよりも深いように計測され、また実際の幅よりも狭いように計測される。したがって、このような計測の誤差を除去して、凹凸テクスチャを正確に抽出することができるように、上述したノイズ成分の除去を行うのである。
【００３５】
ノイズ成分の除去は、以下の手順で行う。上述したように、ノイズ成分を除去することは、凹凸テクスチャではない距離変化の情報を除去することである。したがって、距離画像生成部２で生成された距離画像（以下、「原距離画像」という）に対して、ノイズ成分を除去した距離画像（以下、「修正距離画像」という）を生成することになる。
【００３６】
ここに、原距離画像から修正距離画像を生成する際に、原距離画像に対してノイズ成分である距離変化分を除去する変換を行うだけでは、変換後の距離が画素の位置に対応しないことがあるから、修正距離画像では距離を画素位置に対応させる補正が必要になる。つまり、原距離画像から修正距離画像を得るには、まず原距離画像から画素位置を考慮せずにノイズ成分を除去した中間距離画像に変換し、さらに、中間距離画像を用いて距離が画素位置に対応するように補間を行って修正距離画像を生成する。
【００３７】
以下に、原距離画像から中間距離画像を生成し、さらに中間距離画像から修正距離画像を生成する手順について説明する。距離画像生成部２により生成された原距離画像〔Ｔ〕は、図４（ａ）に示すように、２次元の正方格子の格子点を画素Ｐｘ１として、各画素Ｐｘ１の画素値に距離が対応付けられている。
【００３８】
まず、この原距離画像〔Ｔ〕における各画素Ｐｘ１と距離（画素値）との組を用いて、ノイズ成分となる距離変化を除去したときの画素Ｐｘ１が移動する位置と、当該位置における距離（以下、「高さ」という）とを求める。つまり、原距離画像〔Ｔ〕のノイズ成分による距離変化を除去して平面に引き延ばした状態とした中間距離画像〔Ｔｍ〕を生成し、中間距離画像〔Ｔｍ〕の上で、原距離画像〔Ｔ〕の各画素Ｐｘ１に対応する位置と、当該位置における高さとを求める。
【００３９】
中間距離画像〔Ｔｍ〕では、図４（ｂ）のように、原距離画像〔Ｔ〕の画素に対応する点Ｐｘ２の位置は格子点上とは限らず、また、高さも画素値のような整数値にはならない。いま、原距離画像〔Ｔ〕の上での位置（ｘ，ｙ）に対応する中間距離画像〔Ｔｍ〕の上での点Ｐｘ２の位置が（ｕ（ｘ，ｙ)，ｖ（ｘ，ｙ））になるとともに、当該位置（ｕ（ｘ，ｙ)，ｖ（ｘ，ｙ））における高さがｈ（ｘ，ｙ）になるとする。
【００４０】
原距離画像〔Ｔ〕では、格子点を画素に対応付けているから位置（ｘ，ｙ）を特定するｘとｙとは整数値であり、また画素値も整数値になる。これに対して、中間距離画像〔Ｔｍ〕での位置は格子点の位置とは無関係であるから、位置（ｕ（ｘ，ｙ)，ｖ（ｘ，ｙ））を特定するｕ（ｘ，ｙ)とｖ（ｘ，ｙ）とは実数値であり、高さｈ（ｘ，ｙ）もまた実数値になる。
【００４１】
中間距離画像〔Ｔｍ〕を求めることができれば、複数個の位置（ｕ（ｘ，ｙ)，ｖ（ｘ，ｙ））と各位置（ｕ（ｘ，ｙ)，ｖ（ｘ，ｙ））ごとの高さｈ（ｘ，ｙ）との関係を用い、図４（ｃ）のように、各格子点の位置（ｋ，ｍ）の高さｈ’（ｋ，ｍ）を求める。すなわち、修正距離画像〔Ｔｃ〕を生成する。高さｈ’（ｋ，ｍ）は、内挿または外挿によって求める。
【００４２】
以下では、原距離画像〔Ｔ〕から中間距離画像〔Ｔｍ〕への座標変換と、中間距離画像〔Ｔｍ〕から修正距離画像〔Ｔｃ〕への座標変換とについてそれぞれ説明する。
【００４３】
原距離画像〔Ｔ〕から中間距離画像〔Ｔｍ〕への座標変換には、まず、ノイズ成分の形状を推定する必要がある。ここでは、ノイズ成分を凹凸テクスチャよりも測度ないし尺度が大きいとみなしている。この性質を利用することにより、以下の２種類の技術のいずれかを用いてノイズ成分に相当するベース面ＰＬを決めることができる（図５参照）。
【００４４】
第１の技術は、ノイズ成分を数式モデルで近似し、数式モデルのパラメータを最小二乗法により決定する技術である。これは、ノイズ成分の数式モデルが既知である場合に採用することができる。ノイズ成分を近似する数式モデルは、数式の形で表される平面や曲面であり、係数（パラメータ）を未知数にしておき、原距離画像〔Ｔ〕との形状の差が最小になるように最小二乗法を用いて係数を決定することになる。
【００４５】
第２の技術では、原距離画像〔Ｔ〕を平滑化することによりノイズ成分を抽出する。すなわち、凹凸テクスチャを消去できる程度であってノイズ成分が抽出できる程度の平滑化を行う。この技術は、ノイズ成分の数式モデルが未知である場合、あるいはノイズ成分を数式モデルに当てはめることができない場合に採用する。たとえば、７×７画素のサイズで原距離画像〔Ｔ〕の画素値Ｉ（ｘ，ｙ）の平均値を求めて平滑化を行うと、平滑化後の画素値Ｉ'（ｘ，ｙ）は、数２で表される。
【００４６】
【数２】
【００４７】
数２で求めた画素値Ｉ’（ｘ，ｙ）は、原距離画像〔Ｔ〕の凹凸テクスチャをマッピングするベース面ＰＬになる。ここで、画素となる格子点の位置（ｘ，ｙ）および実空間の位置（Ｘ，Ｙ）は、平滑化後も原距離画像〔Ｔ〕と同一とする。したがって、平滑化後には画像内の位置（ｘ，ｙ）の画素値Ｉ’に対応する実空間でのＺ軸方向の値Ｚ’は、数３で表される。
【００４８】
【数３】
【００４９】
凹凸テクスチャを消去したベース面ＰＬを規定した後、ベース面ＰＬ上に凹凸テクスチャをマッピングし、中間距離画像〔Ｔｍ〕を生成する。原距離画像〔Ｔ〕の位置（ｘ，ｙ）に対応する凹凸テクスチャの高さ（深さ）ｈ（ｘ，ｙ）は、実空間における対象物１０の座標データｔｘ，ｙ＝（Ｘ（ｘ，ｙ），Ｙ（ｘ，ｙ），Ｚ（ｘ，ｙ））から上述したベース面ＰＬまでの符号付き最短距離として求めることができる。ここに、座標データｔｘ，ｙがベース面ＰＬに対して距離センサ１寄りである場合の符号を正とし、逆の関係であれば符号を負とする。このようにして求めた座標データをｔＨｘ，ｙで表す。また、ｔＨｘ，ｙ＝（ＸＨ（ｘ，ｙ），ＹＨ（ｘ，ｙ），ＺＨ（ｘ，ｙ））とする。
【００５０】
なお、凹凸テクスチャを消去したベース面ＰＬの最小の曲率半径が、凹凸テクスチャとなる凹凸の高さを下回る場合については考慮せず、凹凸テクスチャを消去したベース面ＰＬの最小の曲率半径は凹凸の高さを必ず上回ると仮定する。ベース面ＰＬの表面形状が凹凸テクスチャとなる凹凸より細かくなる事象が生じることはほとんどないと考えられるので、この仮定には問題はない。
【００５１】
凹凸テクスチャをベース面ＰＬにマッピングした後、中間距離画像〔Ｔｍ〕を生成する。すなわち、距離画像〔Ｔ〕の位置（ｘ，ｙ）を中間距離画像〔Ｔｍ〕の位置（ｕ（ｘ，ｙ），ｖ（ｘ，ｙ））への座標変換を行う。ｕ（ｘ，ｙ），ｖ（ｘ，ｙ）は、それぞれ左隣、上隣の点の値を用いて順に算出する。
【００５２】
まず、Δｕｘｙ＝ｕ（ｘ，ｙ）−ｕ（ｘ−１，ｙ）、Δｖｘｙ＝ｖ（ｘ，ｙ）−ｖ（ｘ，ｙ−１）と定義する。Δｕｘｙの値は、ベース面ＰＬにマッピングした後の画像データｔＨｘ−１，ｙから画像データｔＨｘ，ｙまでのＸ軸への投影距離ΔＸＨと、ＸＺ平面への投影距離｛（ΔＸＨ）２＋（ΔＺＨ）２｝１／２との比として数４のように定める。ただし、ΔＸＨ＝ＸＨ（ｘ，ｙ）−ＸＨ（ｘ−１，ｙ）、ΔＺＨ＝（ＺＨ（ｘ，ｙ）−ＺＨ（ｘ−１，ｙ）である。対象物１０のベース面ＰＬが距離センサ１に正対する場合は、Ｚ＝０であって、Δｕｘｙ＝１になる。また、ΔＺ≠０であるときには、Δｕｘｙ＞１になる。
【００５３】
同様にして、Δｖｘｙの値は、ベース面ＰＬにマッピングした後の画像データｔＨｘ−１，ｙから画像データｔＨｘ，ｙまでのＹ軸への投影距離と、ＹＺ平面への投影距離との比として数４のように定める。
【００５４】
上述の処理をまとめると、ｘ＝０のときｕ（ｘ，ｙ）＝０、ｘ≠０のときｕ（ｘ，ｙ）＝ｕ（ｘ−１，ｙ）＋Δｕｘｙであり、ｙ＝０のときｖ（ｘ，ｙ）＝０、ｙ≠０のときｖ（ｘ，ｙ）＝ｖ（ｘ，ｙ−１）＋Δｖｘｙになる。ここに、ΔｕｘｙとΔｖｘｙとは、数４で定義される。
【００５５】
【数４】
【００５６】
上述のようにして、座標（ｕ（ｘ，ｙ），ｖ（ｘ，ｙ））上に高さｈ（ｘ，ｙ）を対応付けた中間距離画像〔Ｔｍ〕が求められる。中間距離画像〔Ｔｍ〕の座標（ｕ（ｘ，ｙ），ｖ（ｘ，ｙ））に対応する点Ｐｘ２は格子点の位置に対応付けていないから、格子点の座標（ｋ，ｍ）に画素Ｐｘ３を対応付け、画素Ｐｘ３の値を内挿または外挿により求めた修正距離画像〔Ｔｃ〕を生成する。
【００５７】
修正距離画像〔Ｔｃ〕を生成するには、修正距離画像〔Ｔｃ〕における格子点上の高さｈ’を求める必要がある。高さｈ’は、着目している画素（格子点）の周囲の点Ｐｘ２の高さｈを用いて内挿することにより求める。
【００５８】
たとえば、、格子点の座標（ｋ，ｍ）における高さｈ’（ｋ，ｍ）は、座標（ｋ，ｍ）の格子点からの距離が近い順に４個の点を選択し、数５の関係で求める。数５におけるｉは、格子点（ｋ，ｍ）からの距離の近い順番を示している。
【００５９】
【数５】
【００６０】
数５の演算は、ｋ＝０，ｍ＝０を初期値として、ｋを１ずつ増加させて各格子点における高さｈ’を求める。ここで、（ｋ，ｍ）を原点として、原距離画像〔Ｔ〕のｘ軸およびｙ軸と同じｘ軸およびｙ軸を持つ座標系（ｘｋ，ｙｍ）を考える。以下では、この座標系において、ｘｋ≧０かつｙｍ≧０の領域を拡張第一象限、ｘｋ≦０かつｙｍ≧０の領域を拡張第二象限、ｘｋ≦０かつｙｍ≦０の領域を拡張第三象限、ｘｋ≧０かつｙｍ≦０の領域を拡張第四象限と呼ぶ。
【００６１】
格子点の画素Ｐｘ３に対応する高さｈ’（ｋ，ｍ）が有効であるのは、図６（ａ）（ｂ）のように、高さｈ’を求めた４個の点Ｐｘ２が、拡張第一象限から拡張第四象限までの全領域に１点以上存在するという条件が成立するときである。この条件を有効点条件と呼ぶことにする。図６において破線で表す円形の領域Ｃｄは、座標（ｋ，ｍ）の格子点の周囲において選択される４個の点Ｐｘ２が含まれる範囲を示している。
【００６２】
図６（ｃ）のように、有効点条件を満たさない場合は、着目している座標（ｋ，ｍ）の格子点を無効と判断し、ｋ＝０に戻って、ｍの値を１だけ増加させ、あらためてｋの値を１ずつ増加させて、高さｈ’を求める。また、ｋ＝０で有効点条件を満たさなければ、ｍの値を増加させることなく処理を終了する。
【００６３】
上述のようにして座標（ｋ，ｍ）の格子点ごとの高さｈ’が求められるから、次に高さｈ’を、画素値を表すビット値に割り当てる。すなわち、高さｈ’の量子化を行う。この量子化は、距離画像生成部２において距離画像を生成する際の処理と同様であって、修正距離画像〔Ｔｃ〕の画素値Ｉｃをｎビットで表すとすれば、画素値Ｉｃ＝０を高さｈ’の最小値ｈ’ｍｉｎに対応付け、画素値Ｉｃ＝２ｎ−１を高さｈ’の最大値ｈ’ｍａｘに対応付ければよい。また、高さｈ’の最小値ｈ’ｍｉｎと最大値ｈ’ｍａｘとの間の高さｈ’と、画素値Ｉｃとの関係は、Ｉｃ＝ｉｎｔ［（ｈ’−ｈ’ｍｉｎ）２ｎ／（ｈ’ｍａｘ−ｈ’ｍｉｎ）＋０．５］−１とする。
【００６４】
以上のようにして、原距離画像〔Ｔ〕からノイズ成分を除去した修正距離画像〔Ｔｃ〕を生成することができる。凹凸テクスチャの特徴量を求める処理は、実施形態１において距離画像について説明した通りであり、本実施形態では、距離画像生成部２で生成した距離画像から特徴量を求めるのではなく、修正距離画像〔Ｔｃ〕から特徴量を求めることになる。他の構成および動作は実施形態１と同様である。
【００６５】
（実施形態３）
本実施形態は、生産ラインを搬送される対象物１０について、特徴量を用いてテクスチャの外観検査を行う場合について例示する。特徴量の抽出にあたっては、実施形態１において説明した技術と実施形態２において説明した技術とのいずれを用いてもよい。
【００６６】
上述したように、特徴量には複数の種類があるから、対象物１０の外観検査を行う利用者は、入力装置を用いることにより、外観検査に必要な所望の特徴量を選択する。この際、複数の特徴量を選択してもよい。また、選択した特徴量に対して、良否判定のためのしきい値を設定する。
【００６７】
その後、生産ライン上を搬送される対象物１０について、距離センサ１による距離の計測を行って距離画像生成部２により距離画像を生成し、さらに、テクスチャ評価部３によりテクスチャに関連する特徴量のうち利用者があらかじめ選択した特徴量を算出する。上述のように、特徴量にはしきい値が設定されているから、凹凸テクスチャに関する良否の判定を行うことができる。すなわち、距離画像を用いて凹凸テクスチャの特徴量を求めるから、照明の変動やむらの影響を受けることなく対象物１０の表面の凹凸テクスチャを評価することができる。
【００６８】
上述の例では、特徴量としきい値とを人が入力しているが、対象物１０の良品と不良品とから特徴量を求め、ニューラルネットワーク、サポートベクタマシン、アダブースト（Ａｄａｂｏｏｓｔ）のようなパターン学習機能を有する技術を採用し、特徴量の選択や良否の判定基準を自動的に生成することも可能である。他の構成および動作は実施形態１、２と同様である。
【符号の説明】
【００６９】
１ 距離センサ（３次元計測手段）
２ 距離画像生成部（距離画像生成手段）
３ テクスチャ評価部（評価手段）
４ 演算処理部
５ 記憶部
６ 表示装置（出力手段）
１０ 対象物
【特許請求の範囲】
【請求項１】
対象物の表面の３次元計測を行う３次元計測手段と、前記３次元計測手段により計測された対象物までの距離を画素値とした距離画像を生成する距離画像生成手段と、前記距離画像の画素値を用いて同時生起行列を生成し前記同時生起行列から前記対象物の凹凸に関するテクスチャを表す特徴量を算出するテクスチャ評価手段と、前記テクスチャ評価手段で算出した前記特徴量を出力する出力手段とを備えることを特徴とする凹凸検査装置。
【請求項２】
前記テクスチャ評価手段は、前記距離画像からテクスチャを求める凹凸ではない距離変化の情報をノイズとして除去した修正を行った距離画像を生成し、修正後の距離画像から前記対象物の凹凸に関するテクスチャを表す特徴量を算出することを特徴とする請求項１記載の凹凸検査装置。
【請求項３】
前記テクスチャ評価手段は、前記対象物の表面の凹凸に関するテクスチャを表す複数種類の特徴量のうち検査項目として着目する特徴量が選択されるとともに、当該特徴量に対するしきい値が設定されており、前記対象物から求めた特徴量と設定されたしきい値とを比較することにより、前記対象物の良否を判定することを特徴とする請求項１又は２記載の凹凸検査装置。
【請求項４】
３次元計測手段により計測された対象物の表面までの距離を画素値とした距離画像を距離画像生成手段により生成し、前記距離画像の画素値を用いて同時生起行列をテクスチャ評価手段により生成し、前記同時生起行列から前記対象物の凹凸に関するテクスチャを表す特徴量を算出し、当該特徴量をあらかじめ設定したしきい値と比較することにより、前記対象物の良否を判定することを特徴とする凹凸検査方法。
【請求項１】
対象物の表面の３次元計測を行う３次元計測手段と、前記３次元計測手段により計測された対象物までの距離を画素値とした距離画像を生成する距離画像生成手段と、前記距離画像の画素値を用いて同時生起行列を生成し前記同時生起行列から前記対象物の凹凸に関するテクスチャを表す特徴量を算出するテクスチャ評価手段と、前記テクスチャ評価手段で算出した前記特徴量を出力する出力手段とを備えることを特徴とする凹凸検査装置。
【請求項２】
前記テクスチャ評価手段は、前記距離画像からテクスチャを求める凹凸ではない距離変化の情報をノイズとして除去した修正を行った距離画像を生成し、修正後の距離画像から前記対象物の凹凸に関するテクスチャを表す特徴量を算出することを特徴とする請求項１記載の凹凸検査装置。
【請求項３】
前記テクスチャ評価手段は、前記対象物の表面の凹凸に関するテクスチャを表す複数種類の特徴量のうち検査項目として着目する特徴量が選択されるとともに、当該特徴量に対するしきい値が設定されており、前記対象物から求めた特徴量と設定されたしきい値とを比較することにより、前記対象物の良否を判定することを特徴とする請求項１又は２記載の凹凸検査装置。
【請求項４】
３次元計測手段により計測された対象物の表面までの距離を画素値とした距離画像を距離画像生成手段により生成し、前記距離画像の画素値を用いて同時生起行列をテクスチャ評価手段により生成し、前記同時生起行列から前記対象物の凹凸に関するテクスチャを表す特徴量を算出し、当該特徴量をあらかじめ設定したしきい値と比較することにより、前記対象物の良否を判定することを特徴とする凹凸検査方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−２０４１９５（Ｐ２０１１−２０４１９５Ａ）
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願番号】特願２０１０−７３５６９（Ｐ２０１０−７３５６９）
【出願日】平成２２年３月２６日（２０１０．３．２６）
【出願人】（０００００５８３２）パナソニック電工株式会社 (17,916)
【Ｆターム（参考）】
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願日】平成２２年３月２６日（２０１０．３．２６）
【出願人】（０００００５８３２）パナソニック電工株式会社 (17,916)
【Ｆターム（参考）】
[ Back to top ]