説明

構造化照明を用いるエッジ検出

【課題】構造化照明を用いるエッジ検出を提供する。
【解決手段】マシンビジョン検査システム(MVIS)および関連する光ストライプエッジ特徴位置方法が開示される。MVISには、制御システムと、光ストライプ投射システムと、撮像システムと、ユーザインターフェースと、が含まれる。エッジ特徴を含む関心領域において、光ストライプ投射システムは、光ストライプが、光ストライプに沿った変化するストライプ強度プロファイルを有するように、エッジ方向に対して交差するように、かつエッジ特徴を横切って光ストライプを合焦させる。撮像システムは、光ストライプの画像を取得し、制御システムは、画像を解析し、ストライプに沿った変化する光強度プロファイルに基づいて、エッジ特徴の位置を決定する。方法は、エッジ検出ビデオツールにおいて実行してもよい。方法は、例えば、高テクスチャ、斜面、溝、丸まり、または損傷があるエッジを検査するために有利になり得る。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一般にマシンビジョン検査システムに関し、特にワーク表面上のエッジ検出方法に関する。
【背景技術】
【0002】
精密マシンビジョン検査システム(または略して「ビジョンシステム」)を用いて、検査対象物の正確な寸法測定値を取得し、かつ様々な他の物性を検査することができる。かかるシステムには、コンピュータ、カメラおよび光学系、ならびに検査されているワークの特徴をカメラが走査できるようにするために多方向に移動可能な精密ステージを含んでもよい。市販されている1つの例示的な先行技術のシステムが、イリノイ州オーロラ(Aurora,Illinois)にあるMitutoyo America Corporation (MAC)から入手可能なPCベースビジョンシステムのQUICK VISION(登録商標)シリーズおよびQVPAK(登録商標)ソフトウェアである。ビジョンシステムのQUICK VISION(登録商標)シリーズおよびQVPAK(登録商標)ソフトウェアの特徴および動作が、例えば、20003年1月に発行されたQVPAK 3D CNC Vision Measuring Machine User's Guide、および1996年9月に発行されたQVPAK 3D CNC Vision Measuring Machine Operation Guideに一般的に説明されている。この製品は、例えば、QV302プロモデルによって例示されるように、様々な倍率でワークの画像を提供するように顕微鏡タイプの光学系を用いることができ、かつ必要に応じて、どんな単一のビデオ画像の制限も超えてワーク表面を通過するようにステージを移動させることができる。単一のビデオ画像には、典型的には、かかるシステムの所望の倍率、測定解像度および物理的サイズ制限が与えられたとすると、観察または検査されているワークの一部だけが含まれる。
【0003】
マシンビジョン検査システムは、一般に自動ビデオ検査を利用する。米国特許第6,542,180号(’180特許)は、かかる自動ビデオ検査の様々な態様を教示されている。’180特許で教示されているように、自動ビデオ検査計測機器は、一般に、各特定のワーク構成に対して、ユーザが自動検査イベントシーケンスを定義できるようにするプログラミング能力を有する。かかるプログラミングは、例えばテキストベースのプログラミングとして実行するか、またはグラフィカルユーザインターフェースの支援でユーザが実行する検査動作シーケンスに対応するマシン制御命令のシーケンスを記憶することによって、検査イベントシーケンスを徐々に「学習」する記録モードを通して実行するか、または両方の方法の組み合わせを通して実行することができる。かかる記録モードは、「学習モード」または「訓練モード」と呼ばれることが多い。一旦検査イベントシーケンスが「学習モード」において定義されると、次には、かかるシーケンスを用いて、「実行モード」中にワークの画像を自動的に取得(かつさらに解析または検査)することができる。
【0004】
特定の検査イベントシーケンス(すなわち、各画像を取得する方法、および各取得画像を解析/検査する方法)を含むマシン制御命令は、特定のワーク構成に特有の「パートプログラム」または「ワークプログラム」として一般に記憶される。例えば、パートプログラムは、どんな照明レベル、どんな倍率レベル等でも、ワークに対してカメラを配置する方法など、各画像を取得する方法を定義する。さらに、パートプログラムは、例えば、エッジ/境界検出ビデオツールなどの1つまたは複数のビデオツールを使用することによって、取得画像を解析/検査する方法を定義する。
【0005】
ビデオツール(または略して「ツール」)および他のグラフィカルユーザインターフェース機能を手動で用いて、(「手動モード」において)手動検査および/またはマシン制御動作を遂行してもよい。それらのセットアップパラメータおよび動作はまた、自動検査プログラムまたは「パートプログラム」を生成するために、学習モード中に記録することができる。ビデオツールには、例えば、エッジ/境界検出ツール、自動焦点ツール、形状またはパターンマッチングツール、寸法測定ツールなどを含んでもよい。
【0006】
ワーク画像におけるエッジ特徴を発見するための様々な方法が知られている。例えば、エッジ特徴を含む画像に輝度勾配演算子を適用してエッジ特徴の位置を決定する様々なアルゴリズム、例えばキャニーエッジ検出器または差動エッジ検出器が既知である。かかるエッジ検出アルゴリズムは、マシンビジョン検査システム、すなわち、輝度勾配を向上させるためか、さもなければエッジ位置精度および再現性を改善するために、注意深く構成された照明および/または特別な画像処理技術もまた用いるマシンビジョン検査システムに含んでもよい。しかしながら、高テクスチャ表面の近くに位置するか、または溝などの表面特徴の一エッジに位置するエッジ特徴は、エッジ検出用の既知の技術を用いる場合に確実に検査することが、未熟なマシンビジョンユーザにとって難しいと分かった。
【発明の概要】
【発明が解決しようとする課題】
【0007】
かかるエッジを確実に検査するために使用可能な改善されたエッジ検出システムおよび/または方法が望ましいであろう。
【課題を解決するための手段】
【0008】
この概要は、以下で詳細な説明においてさらに説明する概念のセレクションを簡略化した形態で導入するために提供される。この概要は、特許請求される主題の主な特徴を識別するように意図されておらず、それはまた、特許請求される主題の範囲を決定する際の手助けとして用いられるようにも意図されていない。
【0009】
マシンビジョン検査システムを用いて、ワークにおけるエッジ特徴の位置を決定するためのシステムおよび方法が提供される。画像においてエッジ特徴の位置を決定することはまた、本明細書ではエッジ検出と呼ばれる場合がある。エッジ検出は、画像処理の分野においてエッジの発見またはエッジの識別を指すことが多く、かつそれらの正確な位置の決定を包含してもしなくてもよい。しかしながら、本明細書で開示するシステムおよび方法は、実施形態がエッジ検出動作またはエッジ位置動作として特徴付けられるかどうかにかかわらず、様々な実施形態において(例えば、いくつかの実施形態または用途においてサブピクセル精度で)エッジの位置を正確に決定するために特に価値があることを理解されたい。
【0010】
マシンビジョン検査システムには、制御システムと、光ストライプ投射システムと、撮像システムと、エッジ特徴の位置を決定するために使用可能な動作シーケンスを定義するために用いることができるユーザインターフェースと、が含まれる。様々な実施形態において、方法には、一般に、(A)マシンビジョン検査システムの視野にエッジ特徴を配置するステップと、(B)エッジ特徴に対応する高さの撮像焦点面で撮像システムを合焦させるステップと、(C)エッジ特徴位置を決定するステップであって、(C1)エッジ特徴を横切って延びるような向きにされた、かつエッジ特徴を横切る高さ変化が、光ストライプに沿った変化する幅および変化する強度の少なくとも1つをもたらすように合焦された少なくとも1つの光ストライプを照射するように光ストライプ投射システムを動作させるステップと、(C2)撮像焦点面において少なくとも1つの光ストライプの画像を取得するように撮像システムを動作させるステップと、(C3)関心領域における少なくとも1つの光ストライプの取得画像を解析し、かつ光ストライプに沿って変化する幅(例えば、横の光強度プロファイルを特徴づける幅)および変化する強度(例えば、横の光強度プロファイルのピーク強度、または他の代表的な強度)の少なくとも1つに対応する、光ストライプに沿った変化特性に基づいて、エッジ特徴の少なくとも一部の位置を決定するステップと、を含むステップと、を含んでもよい。
【0011】
いくつかの特定の実施形態において、方法には、(a)マシンビジョン検査システムの視野にエッジ特徴を配置するステップと、(b)エッジ特徴に対応する高さの撮像焦点面で撮像システムを合焦させるステップと、(c)ユーザインターフェースを用いて、エッジ特徴を含む関心領域を画定するステップと、(d)関心領域におけるエッジ特徴に沿った方向に対応するエッジ方向を決定するステップと、(e)動作に基づいてエッジ特徴位置を決定するステップであって、(e1)関心領域における決定されたエッジ方向に対して交差するように向けられ、かつエッジ特徴を横切って延びる少なくとも1つの光ストライプを投射するように光ストライプ投射システムを動作させるステップと、(e2)エッジ特徴を横切る高さ変化が、変化するストライプ強度プロファイル(例えば、変化する横の強度プロファイル)をもたらすように、エッジ特徴に対応する高さの光ストライプ焦点面で少なくとも1つの光ストライプを合焦させるように光ストライプ投射システムを動作させるステップと、(e3)撮像焦点面で少なくとも1つの光ストライプの画像を取得するように撮像システムを動作させるステップと、(e4)関心領域における少なくとも1つの光ストライプの取得画像を解析し、かつ少なくとも1つの光ストライプに沿った変化する光ストライプ強度プロファイルの変化特性に基づいて、エッジ特徴の少なくとも一部の位置を決定するステップと、を含むステップと、を含んでもよい。いくつかの実施形態において、ユーザインターフェースには、関心インジケータを含むエッジ検出ビデオツールを含んでもよく、ステップ(c)には、関心領域インジケータを表示および構成することによって関心領域を画定することを含んでもよい。いくつかの実施形態において、ユーザインターフェースには、エッジ検出ビデオツールを含んでもよく、ステップ(d)には、関心領域におけるエッジ特徴に沿った方向に対応するようにビデオツールの表示された特徴を整列させることによって、エッジ方向を決定することを含んでもよい。いくつかの実施形態において、ステップ(e1)では、決定されたエッジ方向に対して、少なくとも1つの光ストライプを交差するように向けることには、ビデオツールにおける表示された特徴の配置に対して、少なくとも1つの光ストライプの向きを自動的に決定することを含んでもよい。いくつかの実施形態において、少なくとも1つの光ストライプは、ビデオツールにおける表示された特徴に対して名目上直角に向けてもよく、ビデオツールの走査線は、少なくとも1つの光ストライプと整列してもよい。いくつかの実施形態において、エッジ検出ビデオツールには、関心領域インジケータを含んでもよく、エッジ特徴に沿った方向に対応するように整列される、表示された特徴には、関心領域インジケータの少なくとも一部を含んでもよい。いくつかの実施形態において、ステップ(e2)には、光ストライプの輝度が、少なくともエッジ特徴の近くで撮像システムの検出範囲内にあるように、少なくとも1つの光ストライプの輝度を調整することを含んでもよい。
【0012】
いくつかの実施形態において、方法には、さらに、最初に、関心領域におけるエッジ方向に沿って横に配置された光ストライプの少なくとも第1のセット用にステップ(e)を実行することを含んでもよい。いくつかの実施形態において、方法には、さらに、少なくとも2回目に、関心領域におけるエッジ方向に沿って横に配置された光ストライプの少なくとも第2のセット用にステップ(e)を繰り返すことを含んでもよく、この場合に、第2の光ストライプセットには、第1の光ストライプセットにおける光ストライプとは異なる位置で、エッジ方向に沿って横に配置された光ストライプが含まれる。
【0013】
いくつかの実施形態において、光ストライプ焦点面は、撮像焦点面と一致してもよい。
【0014】
いくつかの実施形態において、光ストライプ焦点面は、関心領域におけるワーク表面の平面に対応してもよい。
【0015】
いくつかの実施形態において、エッジ特徴は曲線でもよく、エッジ方向は対応するカーブに従ってもよく、第1の光ストライプセットは、互いに平行でない光ストライプを含んでもよい。
【0016】
いくつかの実施形態において、ワークは、代表的ワークであってもよく、方法は、マシンビジョン検査システムの動作の学習モードに関連して実行してもよく、マシンビジョン検査システムは、代表的ワークと類似のワークにおけるエッジ特徴の位置を決定するために使用されるパートプログラムを生成するために用いられる。
【0017】
いくつかの実施形態において、方法は、パートプログラムを生成するために用いられる代表的ワークと類似のワークにおけるエッジ特徴の位置を決定することを含むパートプログラムを実行することによって、マシンビジョン検査システムの動作の実行モードに関連して実行してもよい。
【0018】
ワークにおけるエッジ特徴の位置を決定するように動作可能なマシンビジョン検査システムが提供される。様々な実施形態において、マシンビジョン検査システムには、制御システムと、光ストライプ投射システムと、マシンビジョン検査システムの視野におけるエッジ特徴に対応する高さの撮像焦点面で合焦するように動作可能な撮像システムと、エッジ特徴を含む関心領域を画定し、かつ関心領域におけるエッジ特徴に沿った方向に対応するエッジ方向を決定するように動作可能なユーザインターフェースと、を含んでもよい。光ストライプ投射システムは、投射光ストライプが、関心領域における決定されたエッジ方向に対して交差するように向けられてエッジ特徴を横切って延びるように調整できる調整可能要素を含んでもよく、かつ光ストライプ投射システムは、エッジ特徴を横切るワーク表面高さ変化が、光ストライプに沿った変化するストライプ強度プロファイルをもたらすように合焦される光ストライプを投射するように構成可能である。制御システムは、(a)関心領域における決定されたエッジ方向に対して交差するように、かつエッジ特徴を横切って延びる方向に光ストライプを向けるように調整可能要素を調整する動作と、(9b)エッジ特徴に対応するように調整された高さの光ストライプ焦点面で光ストライプを投射するように光ストライプ投射システムを動作させる動作と、(c)エッジ特徴に対応する高さの撮像焦点面で光ストライプの画像を取得するように撮像システムを動作させる動作と、(d)関心領域における光ストライプの取得画像を解析し、光ストライプに沿った変化する光ストライプ強度プロファイルの変化特性に基づいて、エッジ特徴の少なくとも一部の位置を決定する動作と、を含む動作を実行するように構成してもよい。いくつかの実施形態において、マシンビジョン検査システムには、エッジ特徴を含む関心領域および関心領域におけるエッジ特徴に沿った方向に対応するエッジ方向を画定するパラメータを設定するようにユーザが構成可能なグラフィカルユーザインターフェース要素を含むエッジ検出ビデオツールを含んでもよい。いくつかの実施形態において、制御システムは、エッジ検出ビデオツールを用いて設定したパラメータに基づいて、少なくとも動作(a)を実行するように構成してもよい。
【0019】
いくつかの実施形態において、光ストライプ投射システムの調整可能要素には、制御可能な空間光変調器を含んでもよい。いくつかの実施形態において、制御可能な空間光変調器には、制御可能なLCDアレイおよび制御可能なマイクロミラーアレイの1つを含んでもよい。
【0020】
いくつかの実施形態において、光ストライプ投射システムは、光ストライプを投射するために撮像システムの対物レンズを用いるように構成される。
【0021】
いくつかの実施形態において、撮像システムには、撮像システムの対物レンズとカメラシステムとの間で対物レンズのフーリエ面に位置し、かつ光ストライプと整列されるように構成可能な瞳形状を含む構成可能な瞳フィルタを含んでもよく、瞳フィルタは、光ストライプからの光を空間的にフィルタリングする。いくつかの実施形態において、瞳フィルタは、(a)光ストライプを形成する光、または(b)ワークから反射されて光ストライプの画像を形成する光、の振幅および位相の少なくとも1つを修正する空間光変調器によって設けられる。
【0022】
マシンビジョン検査システムを用いて、ワークにおけるエッジ特徴の位置を決定するための方法が提供される。マシンビジョン検査システムには、制御システムと、光ストライプ投射システムと、撮像システムと、エッジ特徴の位置を決定するために使用可能な動作シーケンスを定義するために用いることができるユーザインターフェースと、を含んでもよい。方法には、(a)マシンビジョン検査システムの視野にエッジ特徴を配置することと、(b)エッジ特徴に対応する高さの撮像焦点面で撮像システムを合焦させることと、(c)エッジ特徴位置を決定することと、を含んでもよい。エッジ特徴位置を決定することには、(c1)エッジ特徴を横切って延びる方向にされた、かつエッジ特徴を横切る高さ変化が、光ストライプに沿った変化する幅および変化する強度の少なくとも1つをもたらすように合焦された少なくとも1つの光ストライプを投射するように光ストライプ投射システムを動作させることと、(c2)撮像焦点面において少なくとも1つの光ストライプの画像を取得するように撮像システムを動作させることと、(c3)少なくとも1つの光ストライプの取得画像を解析し、かつ光ストライプに沿った変化する幅および変化する強度の少なくとも1つに対応する、光ストライプに沿った変化特性に基づいて、エッジ特徴の少なくとも一部の位置を決定することと、を含んでもよい。いくつかの実施形態において、(c1)には、光ストライプの輝度が、少なくともエッジ特徴の近くで撮像システムの検出範囲内にあるように、少なくとも1つの光ストライプの輝度を調整することを含んでもよい。
【0023】
合焦構造化照明を用いる、上記で概説したエッジ検出動作は、別の状況において、従来のエッジ検出方法を用いる場合には正確なエッジ位置を分かりにくくするであろうエッジの他の特徴にもかかわらず、エッジを横切る表面高さ変化に敏感である。例えば、従来の照明(例えば、視野にほぼ一様に照射される照明)を用いてエッジ検出を実行する場合には、テクスチャまたは溝などの追加的特徴を有する表面は、望ましくない正反射等を介して、従来のエッジ検出および/または位置動作の精度および信頼度を低下させる可能性があり、これは、従来のエッジ検出および位置方法の基礎である、従来の照明から生じるエッジを横切る輝度勾配を乱す。したがって、本明細書で概説する様々な実施形態は、従来のエッジ検出方法にとっては破壊的であろうエッジ特徴近くの様々な表面テクスチャおよび表面特徴にもかかわらず、サブピクセルのエッジ位置精度を堅固に提供し得るエッジ検出および位置動作を提供するために、エッジを横切る表面高さ変化に基づいて変化する強度を有する少なくとも1つの光ストライプを用いてエッジ位置を決定することを目標とする。
【0024】
本発明の前述の態様および付随する利点の多くは、添付の図面に関連し以下の詳細な説明を参照してよりよく理解されると共に、より容易に理解されることになろう。
【図面の簡単な説明】
【0025】
【図1】本明細書で説明する方法に従って使用可能な例示的な一マシンビジョン検査システムのブロック図である。
【図2】図1のマシンビジョン検査システムの制御システム部およびビジョンコンポーネント部のブロック図である。
【図3A】図2のビジョンコンポーネント部の一実施形態を示す概略図であり、合焦構造化光源の動作を示す。
【図3B】図3Aに示す瞳フィルタの一部のさらなる詳細を示す図である。
【図4】エッジ検出ビデオツールに関連する関心領域インジケータを含む、マシンビジョン検査システムのユーザインターフェースにおける視野を示す。
【図5A】ワークにおけるエッジ特徴の断面図を示す。
【図5B】合焦光ストライプを含む、図5Aに示すワークにおけるエッジ特徴の上面図を示す。
【図5C】図5Aおよび5Bに示すエッジ特徴に関連する光ストライプ強度プロファイルおよび光ストライプ幅を示す。
【図6】本明細書で開示する方法の一実施形態に従ってマシンビジョン検査システムを用いてワークにおけるエッジ特徴の位置を決定するための方法およびルーチンを概説する流れ図である。
【発明を実施するための形態】
【0026】
詳細な説明
図1は、本明細書で説明する方法に従って使用可能な1つの例示的なマシンビジョン検査システム10のブロック図である。マシンビジョン検査システム10には、データおよび制御信号を制御コンピュータシステム14と交換するように動作可能に接続されたビジョン測定機12が含まれる。制御コンピュータシステム14は、さらに、モニタまたはディスプレイ16、プリンタ18、ジョイスティック22、キーボード24およびマウス26とデータおよび制御信号を交換するように動作可能に接続される。モニタまたはディスプレイ16は、マシンビジョン検査システム10の動作を制御および/またはプログラムするのに適したユーザインターフェースを表示してもよい。
【0027】
ビジョン測定機12には、可動ワークステージ32と、ズームレンズまたは交換レンズを含み得る光学撮像システム34と、が含まれる。ズームレンズまたは交換レンズは、一般に、光学撮像システム34によって提供される画像用に様々な倍率を提供する。マシンビジョン検査システム10は、一般に、上記の、ビジョンシステムのQUICK VISION(登録商標)シリーズおよびQVPAK(登録商標)ソフトウェア、ならびに類似の最先端技術で市販の精密マシンビジョン検査システムに匹敵する。マシンビジョン検査システム10はまた、本発明の譲受人に譲渡された米国特許第7,454,053号、同7,324,682号、米国特許出願公開第2010/0158343号、2008年12月23日出願の米国特許出願第12/343,383号、2009年10月29日出願の同12/608,943号に説明されている。
【0028】
マシンビジョン検査システム10は、様々な実施形態に関連して以下で説明するように、エッジ位置を決定すること含めて、ワーク特徴を撮像および測定するように構成してもよい。
【0029】
図2は、マシンビジョン検査システム100の制御システム部120およびビジョンコンポーネント部200のブロック図である。以下でより詳細に説明するように、制御システム部120は、ビジョンコンポーネント部200を制御するために用いられる。ビジョンコンポーネント部200には、光学アセンブリ部205、光源220、230、230’および240、ならびに中央透明部212を有するワークステージ210が含まれる。ワークステージ210は、ワーク20を配置可能なステージ表面と略平行な平面に位置するXおよびY軸に沿って制御可能に移動できる。光学アセンブリ部205には、カメラシステム260および交換可能な対物レンズ250が含まれ、かつオプションの瞳フィルタ248ならびにレンズ286および288を有するタレットレンズアセンブリ280を含んでもよい。タレットレンズアセンブリの代替として、固定もしくは手動で交換可能な倍率変更レンズ、またはズームレンズ構成等を含んでもよい。以下でさらに説明するように、光学アセンブリ部205は、制御可能モータ294を用いることによって、XおよびY軸に略垂直なZ軸に沿って制御可能に移動できる。マシンビジョン検査システム100を用いて撮像されることになるワーク20または複数のワーク20の保持するトレイもしくは固定具が、ワークステージ210上に配置される。ワークステージ210は、交換可能な対物レンズ250が、ワーク20上の位置間で、および/または複数のワーク20間で移動するために、光学アセンブリ部205に対して移動するように制御してもよい。ステージ光源220、同軸光源230、合焦構造化光源230’および表面光源(例えば、リング光源)240の1つまたは複数が、1つまたは複数のワーク20を照明するために光源光222、232、232’および/または242をそれぞれ放射する。図3Aに関連して以下でより詳細に説明するように、光源230は、光源光232を放射してもよく、合焦構造化光源230’は、ビームスプリッタ290およびオプションの瞳フィルタ248を含む共有経路に沿って光源光232を放射してもよい。光源光は、ワーク光255および/またはワーク光255’として反射または透過され、撮像用に用いられるワーク光は、交換可能な対物レンズ250、オプションの瞳フィルタ248およびタレットレンズアセンブリ280を通過し、カメラシステム260によって集光される。ワーク20の画像は、カメラシステム260によって捕捉されるが、信号線262で制御システム部120に出力される。光源220、230、230’および240は、信号線またはバス221、231および241を介して制御システム部120にそれぞれ接続してもよい。画像倍率を変更するために、制御システム部120は、信号線またはバス281を介し、軸284に沿ってタレットレンズアセンブリ280を回転させてタレットレンズを選択してもよい。
【0030】
様々な例示的な実施形態において、光学アセンブリ部205は、制御可能モータ294を用い、ワークステージ210に対して垂直Z軸方向に可動であるが、この制御可能モータ294は、アクチュエータ、接続ケーブル等を駆動して光学アセンブリ部205をZ軸に沿って移動させ、カメラシステム260によって捕捉されるワーク20の画像の焦点を変更する。本明細書で用いるように、用語Z軸は、光学アセンブリ部205によって取得される画像を合焦させるために用いられるように意図された軸を指す。制御可能モータ294は、用いられる場合には、信号線296を介して入力/出力インターフェース130に接続される。
【0031】
図2に示すように、様々な例示的な実施形態において、制御システム部120には、コントローラ125、入力/出力インターフェース130、メモリ140、ワークプログラムジェネレータおよび実行器170、ならびに電源部190が含まれる。これらのコンポーネントのそれぞれは、以下で説明する追加的なコンポーネントと同様に、1つもしくは複数のデータ/制御バスおよび/またはアプリケーションプログラミングインターフェースによって、または様々な要素間の直接接続によって、相互接続してもよい。
【0032】
入力/出力インターフェース130には、撮像制御インターフェース131、運動制御インターフェース132、照明制御インターフェース133、およびレンズ制御インターフェース134が含まれる。運動制御インターフェース132には、位置制御要素132aおよび速度/加速制御要素132bを含んでもよい。しかしながら、様々な例示的な実施形態において、かかる要素を統合するか、かつ/または区別できないようにしてもよいことを理解されたい。照明制御インターフェース133には、照明制御要素133a−133nが含まれるが、これらの要素は、マシンビジョン検査システム100の様々な対応する光源に対して、例えば、選択、電力、オン/オフスイッチ、およびストローブパルスタイミングを適宜制御する。照明制御インターフェース133にはまた、合焦構造化光源230’用の選択、電力およびオン/オフスイッチを制御する照明制御要素133edが含まれる。
【0033】
メモリ140には、画像ファイルメモリ部141、1つまたは複数のパートプログラム等を含み得るワークプログラムメモリ部142、およびビデオツール部143が含まれる。ビデオツール部143には、ツール部143aおよび他の類似のツール部(例えば、143n)と同様に、対応するツールのそれぞれに対してGUI、画像処理動作等を決定するエッジ検出ビデオツール143edが含まれる。ビデオツール部143にはまた、関心領域ジェネレータ143xが含まれるが、このジェネレータ143xは、ビデオツール部143に含まれる様々なビデオツールにおいて動作可能な、様々なROIを画定する自動、半自動および/または手動動作を支援する。エッジ検出ビデオツール143edは、光源光232を供給するために、光源230を用いて従来のエッジ検出動作を実行するための一モードで構成してもよく、かつ追加として、光源光232’を供給するために、合焦構造化光源230’を用いて別のモードでエッジ検出動作を実行するように構成してもよい。後のモードは、後の図でさらに詳細に説明する。
【0034】
一般に、メモリ部140は、ワーク20の取得画像が所望の画像特性を有するように、ビジョンシステムコンポーネント部200を動作させてワーク20の画像を捕捉または取得するために利用可能なデータを記憶する。メモリ部140はまた、検査結果データを記憶してもよく、さらに、手動または自動で、取得画像に様々な検査および測定動作を実行するようにマシンビジョン検査システム100を動作させるために(例えば、一部はビデオツールとして実行される)、および入力/出力インターフェース130を介して結果を出力するために利用可能なデータを記憶してもよい。メモリ部140にはまた、入力/出力インターフェース130を介して動作可能なグラフィカルユーザインターフェースを定義するデータを含んでもよい。
【0035】
ステージ光源220、同軸光源230、合焦構造化光源230’および表面光源240の信号線またはバス221、231および241は、それぞれ全て、入力/出力インターフェース130に接続される。カメラシステム260からの信号線262および制御可能モータ294からの信号線296は、入力/出力インターフェース130に接続される。画像データを搬送することに加えて、信号線262は、画像取得を開始する、コントローラ125からの信号を搬送してもよい。
【0036】
1つまたは複数の表示装置136(例えば、図1のディスプレイ16)ならびに1つまたは複数の入力装置138(例えば、図1のジョイスティック22、キーボード24およびマウス26)もまた、入力/出力インターフェース130に接続することができる。表示装置136および入力装置138は、ユーザインターフェースを表示するために用いることができるが、このユーザインターフェースには、検査動作を実行するために、および/またはカメラシステム260によって捕捉された画像を見るためにパートプログラムを生成し、かつ/もしくは修正するために、および/またはビジョンシステムコンポーネント部200を直接制御するために利用可能な様々なグラフィカルユーザインターフェース(GUI)機能を含んでもよい。
【0037】
様々な例示的な実施形態において、ユーザが、マシンビジョン検査システム100を用いてワーク20用のパートプログラムを生成する場合に、ユーザは、ワークプログラミング言語を用いて、自動、半自動もしくは手動で命令を明示的に符号化することによって、またはマシンビジョン検査システム100を学習モードで動作させて所望の画像取得訓練シーケンスを提供することにより命令を生成することによって、パートプログラム命令を生成する。例えば、訓練シーケンスには、視野(FOV)における代表的ワークのワーク特徴の配置、照明レベルの設定、合焦または自動合焦、画像の取得、および(例えば、ビデオツールを用いた、)画像に適用される検査訓練シーケンスの提供を含んでもよい。学習モードは、シーケンスが捕捉または記録されて、対応するパートプログラム命令に変換されるように、動作する。これらの命令は、パートプログラムが実行された場合には、パートプログラムを生成する場合に用いられた代表的ワークと一致する1つまたは複数のワークを自動で検査するために、マシンビジョン検査システムに、訓練された画像取得および検査動作を再現させる。
【0038】
ワーク画像における特徴を検査するために用いられるこれらの解析および検査方法は、典型的には、メモリ140のビデオツール部143に含まれる様々なビデオツールにおいて具体化される。多くの既知のビデオツールまたは略して「ツール」が、上記したビジョンシステムのQUICK VISION(登録商標)シリーズおよび関連するQVPAK(登録商標)ソフトウェアなどの市販のマシンビジョン検査システムに含まれる。
【0039】
図3Aは、(図2に示す)ビジョンコンポーネント部200の一実施形態における一部を示す概略図300であり、概略図300は、合焦構造化光源230’の動作を示す。ビジョンコンポーネント部200には、前に図2で概説したカメラシステム260と、(対物レンズ250のフーリエ面に位置する)オプションの瞳フィルタ248と、タレットレンズアセンブリ280と、対物レンズ250と、を含む撮像システム305が含まれる。図3Aはまた、エッジ特徴20’を含むワーク20を示す。図3Aに示す実施形態において、合焦構造化光源230’には、空間光変調装置310およびレンズ320が含まれ、これらは、対物レンズ250と一緒に働き、視野において合焦構造化光(例えば、光ストライプ)を供給する。図3Aに概略的に示す実施形態において、空間光変調装置310には、光源310Sおよび制御可能なパターンジェネレータ310CPGが含まれる。空間光変調装置310には、一般に、制御可能な構造化照明を提供するための既知の装置に従って、光源、および様々なタイプの制御可能なパターン発生装置(例えば、LCDアレイまたは反射マイクロミラーアレイ)を含んでもよい。
【0040】
図3Aに示す実施形態において、合焦構造化光源230’には、光ストライプ投射システムが含まれる。動作において、光源310Sは、空間光変調装置310が、パターン化された光源光を制御可能なパターンジェネレータ310CPGからレンズ320へ放射するように、制御可能なパターンジェネレータ310CPGを照明し(矢印で示した)、レンズ320は、図3Aにおける代表的な撮像光線によって示すように光源光232’が、制御可能なパターンジェネレータ310CPGにおいて生成された光パターンの合焦画像をワーク20の視野において生成するように、光源光232’を出力する。図示の実施形態において、光源光232’は、ビームスプリッタ290によって対物レンズ250へ反射される。対物レンズ250は、光源光232’(すなわち、制御可能なパターンジェネレータ310CPGによって出力されたパターン)をワーク20に合焦させる。
【0041】
様々な実施形態において、制御可能なパターンジェネレータ310CPGには、制御可能なLCDアレイ(図3Aに示すような)または制御可能なマイクロミラーアレイ等を含んでもよい。特に、様々な実施形態において、光パターンの合焦画像には、光ストライプまたは複数の光ストライプが含まれ、制御可能なパターンジェネレータ310CPGは、以下でさらに説明するように、視野における光ストライプの方向およびそれらの位置を制御するように動作可能である。視野における光は、ワーク光255’として反射され、撮像用に用いられるワーク光255’は、交換可能な対物レンズ250、オプションの瞳フィルタ248(もしあれば)、およびタレットレンズアセンブリ280を通過し、カメラシステム260によって撮像される。オプションの瞳フィルタ248は、図3Bに関連してより詳細に説明する。
【0042】
光ストライプ投射システムの光路のために上記で概説した特定の特徴および要素が、単に例示的であり、非限定的であることを理解されたい。本明細書で開示する方法と互換性がある方法における照明および/または撮像のための多数の選択肢が、当業者には明らかであろう。
【0043】
図3Bは、図3Aにも示すオプションの瞳フィルタ248の一部のさらなる詳細を示す図300’である。様々な実施形態において、瞳フィルタ248には、それが、少なくとも1つの光ストライプと整列され、かつ少なくとも1つの光ストライプからの光を空間的にフィルタリングするように構成可能な瞳形状が含まれる。様々な実施形態において、瞳フィルタ248は、(a)少なくとも1つの光ストライプを形成する光、または(b)ワーク20から反射されてカメラシステム260の画像センサ上に少なくとも1つの光ストライプの画像を形成する光、の振幅および位相の少なくとも1つを修正する。図3Bに示す実施形態において、瞳フィルタ248には、透過部248Aおよび透過部248Bが含まれる。透過部248Aおよび透過部248Bは、不透明部248Cによって分離される。透過部248Aおよび透過部248Bは、少なくとも1つの光ストライプと整列され、かつ少なくとも1つの光ストライプを空間的にフィルタリングするように構成されて、エッジ特徴20’に対する光ストライプの反応を向上させ、かつ少なくとも1つの光ストライプに沿ったポイントに対応する、カメラシステムにおける隣接画素間のクロストークを抑制する。クロストークを抑制するために、瞳フィルタ248は、次のような形状にされる。すなわち、瞳フィルタ248によって空間的にフィルタリングされた少なくとも1つの光ストライプに沿った所与のポイント用の点拡がり関数が、ストライプの脱焦レベルが増加されるとともに、ストライプから直角に光を拡散するような形状にされる。したがって、瞳フィルタ248は、一般に、それを、上記で概説した光ストライプの制御可能な方向と整列させるように制御可能である。いくつかの実施形態において、瞳248には、制御可能なパターンジェネレータ310CPGと類似の空間光変調器を含んでもよい。
【0044】
図4は、エッジ検出ビデオツール143edに関連する関心領域インジケータROIinを含む、マシンビジョン検査システム100のユーザインターフェースにおける表示視野400を示す。ワークにおけるエッジ特徴の位置を決定するための動作の様々な実施形態において、ワーク20のエッジ特徴20’は、マシンビジョン検査システム10の視野400に配置される。図3Aに示すように、エッジ特徴20’は、表面SurfAと表面SurfBとの間のエッジである。図5A、5Bおよび5Cに関連してより詳細に示すように、表面SurfAは、SurfBの表面レベルより高い表面レベルを有する。図3Aに示す撮像システム305は、エッジ特徴20’に対応する高さ、またはより具体的には表面SurfAおよび表面SurfBの1つに対応する高さで撮像焦点面に合焦される。関心領域ROIは、エッジ検出ビデオツール143edに関連したユーザインターフェースを用いて画定され、関心領域インジケータROIinで表示され、かつ関心領域ROIには、エッジ特徴20’が含まれる。いくつかの実施形態において、エッジ検出ビデオツールには、エッジ特徴20’と、関心領域ROIにおけるエッジ特徴20’に沿った方向に対応するエッジ方向EDと、を含む関心領域ROIを画定するパラメータを設定するようにユーザが構成可能なグラフィカルユーザインターフェース要素が含まれる。関心領域ROIは、一般に、(例えば、既知で市販のマシンビジョン検査システムビデオツールで行われているように)関心領域ツールが、表示視野400に現れるように最初に実行される場合に現れるサイズ変更および/または回転ハンドル(図示せず)をユーザがドラッグすることによって、構成および整列してもよい。ROIinの整列は、図4にだいたい示すように、それが、エッジ方向EDと整列されるように調整されて、ビデオツールのパラメータが、マシン制御および解析の目的でエッジ方向EDを定義するために使用されるようにしてもよい。最後に、エッジ特徴20’の一部の位置が決定される。測定動作は、走査線方向SLDにおける走査線SLに沿ってエッジ特徴20’の位置を決定するように実行してもよく、走査線方向SLDは、エッジ方向EDおよび/またはビデオツールの整列に基づいて、自動的に決定してもよい。かかる動作は、図5A、5Bおよび5Cに関連して概説される。
【0045】
図4に示すように、エッジ特徴20’は、名目上直線である。ワークにおけるエッジ特徴の位置はまた、曲線のエッジ特徴の部分用に決定してもよいことを理解されたい。多数の非平行走査線に沿った多数の光ストライプを、エッジ特徴に沿った関心領域に供給してもよい。例えば、エッジ検出ビデオツール143edは、円弧形状または円形状を備えたエッジ特徴に沿ってエッジ位置を決定するための円弧ツールまたは円ツールであってもよい。一般に、エッジ検出ビデオツール143edの動作は、本明細書において概説および特許請求される原理によるエッジ特徴における任意の所望の形状に適合し得る。非平行走査線の場合に、オプションの瞳フィルタ248は、利用しなくてもよく、または(ストライプの一連の画像の捕捉および解析を必要とする)一連の異なって整列された構成を表示するように設定してもよいことを理解されたい。各瞳フィルタ構成は、一度に単一のストライプ方向に沿ってだけ有効にフィルタリングすることができるからである。走査線SLは、平行線として示されている。しかしながら、一般に、エッジ検出ビデオツール143edは、直線でもなく平行でもない走査線を定義し使用してもよい。
【0046】
図5Aは、エッジ特徴20’の断面図510を示し、図5Bは、エッジ特徴20’の上面図520を示し、図5Cは、変化する光ストライプ強度プロファイル特性、特に、変化する強度530(例えば、ピーク強度または他の代表的な強度)およびエッジ特徴20’を横切る変化する横ストライプ強度プロファイルに関連した変化する光ストライプ幅530を示す。図5A、5Bおよび5Cは、図4に関連して前に概説したマシンビジョン検査システムを用いた、ワークにおけるエッジ特徴の位置を決定するための動作のさらなる詳細を示す。エッジ特徴20’に隣接しているのは、溝Cである。
【0047】
様々な実施形態において、図3Aの合焦構造化光源230’には、光ストライプ投射システムが含まれる。合焦構造化光源230’は、(図4に示す)関心領域ROIにおけるエッジ方向EDに対して交差するように向けられた、かつエッジ特徴20’を横切って延びる少なくとも1つの光ストライプ(例えば、図5Bに示す光ストライプLS)を投射するように動作される。光ストライプLSは、(例えば、上記で概説したような)エッジ検出ビデオツール143edを用いて設定されたパラメータに基づいた方向にしてもよい。一般に、光ストライプLSは、走査線方向SLDと整列してもよく(逆も同様である)、図5A、5Bおよび5Cに示す実施形態において、エッジ検出ビデオツール143edの走査線SLは、走査線が、光ストライプに沿って画像輝度データを定義および/または提供するように、光ストライプと整列される。走査線方向SLDが、カメラシステム260における画素の行または列に必ずしも対応しないことを理解されたい。合焦構造化光源230’は、以下で説明するように、エッジ特徴を横切る高さ変化が、光ストライプに沿った変化するストライプ強度プロファイルを生成するように、エッジ検出ビデオツール143edによって定義されたパラメータに従い、照明制御要素133edに応じて動作され、光ストライプLSをエッジ特徴20’に対応する高さ(すなわち、図5Aにおける光ストライプ焦点面LSFP)で合焦させる。
【0048】
撮像システム305は、図5Aに示す撮像焦点面IFPにおいて光ストライプLSの画像を取得するように動作される。図5Aに示す実施形態において、撮像焦点面IFPは、表面SurfAと同じ高さにある。光ストライプLSの取得画像は、関心領域ROIにおいて解析され、エッジ特徴20’の少なくとも一部の位置は、光ストライプLSに沿った(図5Cに示す)変化する光ストライプ強度プロファイル530の変化特性に基づいて決定される。例えば、図5Bは、光ストライプに沿った2つのそれぞれの位置における2つの例示的なストライプ強度プロファイル(横強度プロファイル)を示す。ストライプ強度プロファイルIPAが、ストライプ部、すなわち、表面SurfAの高さでよく合焦され、かつ比較的大きなピーク強度および狭い幅を有するストライプ部からもたらされることが理解されよう。ストライプ強度プロファイルIPBは、ストライプ部、すなわち、表面SurfBの高さで不十分に合焦され、かつ比較的低いピーク強度および大きな幅を有するストライプ部からもたらされる。
【0049】
したがって、一般に、光ストライプLSは、ストライプに沿った所与のポイントにおける幅および/または名目上のストライプ輝度もしくは強度を有するが、それらは、脱焦により表面高さと共に変化する。例えば、表面SurfAに沿って図5Aおよび図5Bに示す実施形態において、光ストライプLSは、表面SurfAの表面高さと一致する光ストライプ焦点面LSFPにおいて合焦される。一般に、光ストライプ焦点面LSFPは、関心領域ROIにおけるワーク表面の平面(例えば、表面SurfAまたは表面SurfB)に対応してもよい。図5Bに示すように、光ストライプLSが表面SurfAにおいて合焦されるので、光ストライプLSは、表面SurfAに沿った最小である幅WA、および表面SurfAに沿った最大である強度を有する。図5Aに示す実施形態などのいくつかの実施形態において、光ストライプ焦点面LSFPは、撮像焦点面IFPと一致する。レーザストライプ焦点面からの表面高さ偏差Devを有する表面SurfBに沿って、光ストライプLSは、脱焦ゆえに、より大きな幅WBを有する。したがって、表面SurfBに沿う光ストライプLSに沿った所与のポイントに関しては、画像強度はより低い。溝Cに沿って、光ストライプLSは、走査線方向SLDに沿った脱焦の増加ゆえに、ゆっくりとより広くなる。溝Cと表面SurfBとの間でエッジ特徴20’の位置に隣接して、光ストライプLSの変化する強度530は、図5Cに示すように、走査線方向に沿って鋭い勾配を示す。従来のエッジ検出画像処理動作を用いる従来のマシンビジョン検査システムの照明を使用することは、溝Cもしくは他のエッジ欠陥が存在する状態において、または表面SurfAが高テクスチャである実施形態において、問題になり得る。正反射および表面反射率変動が、エッジ検出画像処理動作の信頼性および精度の妨げになる可能性がある。これによって、エッジ検出ビデオツール143edは働かなくされる可能性がある。しかしながら、本明細書で説明する動作に従って光ストライプLSを用いることによって、溝、斜面、丸み、エッジ欠陥、高テクスチャ表面、および/または表面反射率変動などの表面特徴に対して堅固な、エッジ特徴の位置を決定するための手段が提供される。
【0050】
光ストライプLSは、従来のエッジ検出画像処理動作によって解析してもよいことを理解されたい。したがって、ワークにおけるエッジ特徴の位置を決定するための動作は、好都合なことに、マシンビジョン検査システムにおいて実行してもよい。かかるマシンビジョン検査システムには、制御システム(例えば、制御システム部120)と、光ストライプ投射システム(例えば、合焦構造化光源230’)と、マシンビジョン検査システムの視野(例えば、視野400)においてエッジ特徴(例えば、エッジ特徴20’)に対応する高さの撮像焦点面(例えば、撮像焦点面IFP)で合焦するように動作可能な撮像システム(例えば、撮像システム305)と、エッジ特徴を含む関心領域(例えば、関心領域ROI)を画定するように、および関心領域におけるエッジ特徴に沿った方向に対応するエッジ方向(例えば、エッジ方向ED)を決定するように動作可能なユーザインターフェースと、が含まれる。光ストライプ投射システムには、調整可能要素(例えば、空間光変調装置310)であって、投射光ストライプが関心領域における決定されたエッジ方向に対して交差するように向けられ、かつエッジ特徴を横切って延びるように調整できる要素が含まれる。光ストライプ投射システムは、エッジ特徴を横切るワーク表面高さ変化が、光ストライプに沿った変化するストライプ強度プロファイルをもたらすように(例えば、溝Cに沿い、かつ溝Cと表面SurfBとの間の変化する強度530および/または変化する幅530’によって表されたような)合焦される光ストライプを投射するように構成可能である。制御システムは、様々な動作を実行するように構成される。動作には、上記で概説したように、関心領域における決定されたエッジ方向に対して交差するように、かつエッジ特徴を横切って延びる方向に光ストライプを向けるように調整可能要素を調整することと、エッジ特徴に対応するように調整された高さの光ストライプ焦点面(例えば、光ストライプ焦点面LSFP)において、光ストライプ(例えば、光ストライプLS)を投射するように光ストライプ投射システムを動作させることと、エッジ特徴に対応する高さの撮像焦点面において光ストライプの画像を取得するように撮像システムを動作させることと、関心領域における光ストライプの取得画像を解析することと、光ストライプに沿った変化する光ストライプ強度プロファイルの変化特性に基づいて、エッジ特徴の少なくとも一部の位置を決定することと、が含まれる。
【0051】
図6は、マシンビジョン検査システムを用いて、ワークにおけるエッジ特徴の位置を決定するための方法およびルーチンを概説する流れ図600を示すが、このマシンビジョン検査システムには、制御システムと、光ストライプ投射システムと、撮像システムと、エッジ特徴の位置を決定するために使用可能な動作シーケンスを定義するために用いることができるユーザインターフェースと、が含まれる。
【0052】
一実施形態において、図6に示す方法は、図2に示し、かつ/または図3、4、5A、5Bおよび5Cで示した動作に関連して説明したようなエッジ検出ビデオツール143edを選択し動作させることによって、少なくとも部分的にユーザにより実行してもよい。他の実施形態において、方法は、様々な既知のツールおよび/またはプログラミング動作を用いて実行してもよい。
【0053】
ルーチンがスタートし、ブロック605において、エッジ特徴が、マシンビジョン検査システムの視野に配置される。例えば、図4において、エッジ特徴20’は、マシンビジョン検査システム100の視野400に配置される。
【0054】
ブロック610において、撮像システムは、エッジ特徴に対応する高さの撮像焦点面で合焦される。例えば、図3の撮像システム305は、図5Aにおけるエッジ特徴20’に対応する高さの撮像焦点面IFPで合焦される。
【0055】
ブロック615において、エッジ特徴を含む関心領域が、ユーザインターフェースを用いて画定される。例えば、図4に示すユーザインターフェースにおいて関心領域インジケータROIinを構成することによって、エッジ特徴20’を含む関心領域ROIが画定される。
【0056】
ブロック620において、関心領域におけるエッジ特徴に沿った方向に対応するエッジ方向が決定される。例えば、図4の関心領域ROIにおけるエッジ特徴20’に沿った方向に対応するエッジ方向EDは、ビデオツールの表示された特徴を、エッジ特徴に沿った方向と整列させることによって、マシン制御および/または解析の目的で決定してもよい。いくつかの実施形態において、エッジ検出ビデオツールには、関心領域インジケータが含まれ、エッジ特徴に沿った方向に対応するように整列される、表示された特徴には、関心領域インジケータの少なくとも一部が含まれる。いくつかの実施形態において、ブロック615および620で概説するステップは、マシンビジョン検査システムによって実行される画像処理に基づいて自動的に実行してもよく、または様々な代替実施形態において、ブロック615および620で概説するステップは、手動で実行してもよい。さらに他の実施形態および/または特定の用途において、ブロック615および620で概説するステップは、明示的に実行する必要はない。したがって、ルーチン600の代替実施形態は、ブロック615および620を省略してもよい。
【0057】
ブロック625、630、635および640において、エッジ特徴位置が決定される。ブロック625において、光ストライプ投射システムは、関心領域における決定されたエッジ方向に対して交差するように向けられ、かつエッジ特徴を横切って延びる少なくとも1つの光ストライプを投射するように動作される。いくつかの実施形態において、ユーザインターフェースには、関心領域インジケータを含むエッジ検出ビデオツールが含まれ、関心領域を画定することには、関心領域インジケータを表示および構成することによって関心領域を画定することが含まれる。例えば、図4に概説するように、エッジ検出ビデオツール143edには、関心領域ROIを画定するために使用可能な関心領域インジケータROIinが含まれる。いくつかの実施形態において、ユーザインターフェースには、エッジ検出ビデオツールが含まれ、エッジ方向を決定することには、関心領域におけるエッジ特徴に沿った方向に対応するように、ビデオツールの表示された特徴を整列させることが含まれる。いくつかの実施形態において、決定されたエッジ方向に対して交差するように少なくとも1つの光ストライプを向けることには、ビデオツール、例えば図4に概説するエッジ検出ビデオツール143edの表示された特徴の配置に対して少なくとも1つの光ストライプを自動的に正しい方向に置くことが含まれる。いくつかの実施形態において、少なくとも1つの光ストライプは、ビデオツールの表示された特徴と名目上直角であり、ビデオツールの走査線は、少なくとも1つの光ストライプと整列される。
【0058】
ブロック630において、光ストライプ投射システムは、エッジ特徴を横切る高さ変化が、光ストライプに沿った変化するストライプ強度プロファイルをもたらすように、エッジ特徴に対応する高さの光ストライプ焦点面で少なくとも1つの光ストライプを合焦させるように動作される。いくつかの実施形態において、光ストライプ焦点面は、撮像焦点面と一致する。例えば、図5Aに示す構成において、光ストライプ焦点面LSFPは、撮像焦点面IFPと一致する。これは、図3Aに示すように、撮像対物レンズが、光ストライプを視野において合焦させるために用いられる場合には、特に有利になり得る。いくつかの実施形態において、光ストライプ焦点面は、関心領域におけるワーク表面の平面に対応する。例えば、図5Aに示す構成において、光ストライプ面LSFPは、ワーク表面SurfAの表面に対応し、特に、光ストライプ焦点面LSFPは、ワーク表面SurfAと一致する。
【0059】
ブロック635において、撮像システムは、撮像焦点面において少なくとも1つの光ストライプの画像を取得するように動作される。
【0060】
ブロック640において、関心領域における少なくとも1つの光ストライプの取得画像が解析され、エッジ特徴の少なくとも一部の位置が、少なくとも1つの光ストライプに沿った変化する光ストライプ強度プロファイルの変化特性に基づいて決定され、ルーチンは終了する。いくつかの実施形態において、ブロック625、630、635および640のステップは、最初は、関心領域におけるエッジ方向に沿って横に配置された光ストライプの少なくとも第1のセット用に実行してもよい。さらに、いくつかの実施形態において、ブロック625、630、635および640のステップは、2回目に、関心領域におけるエッジ方向に沿って横に配置された光ストライプの少なくとも第2のセット用に繰り返してもよく、この場合に、第2の光ストライプセットには、第1の光ストライプセットにおける光ストライプとは異なる位置でエッジ方向に沿って横に配置された光ストライプが含まれる。これによって、エッジ方向に沿ったエッジ特徴位置のサンプリングのより高い密度が可能になり、一方で、隣接した光ストライプ間のクロストークが回避される。いくつかの実施形態において、エッジ特徴は曲線であり、エッジ方向は対応する曲線に従い、第1の光ストライプセットは、互いに平行でない光ストライプを含む。ルーチンは、エッジ特徴の様々な形状、例えば、円弧または円に適合されてもよく、この場合に、様々な位置でエッジ方向に対して交差するように向けられた光ストライプは、互いに平行ではない。また、同様の方向にされた光ストライプは、別個のセットで解析することができ、各セットは、セットにおける支配的な方向に最もよく一致するオプションの特定の瞳フィルタ構成によってフィルタリングされる。
【0061】
いくつかの実施形態において、ワークは、代表的ワークであり、方法は、マシンビジョン検査システムの動作の学習モードと関連して実行され、マシンビジョン検査システムは、代表的ワークと類似のワークにおけるエッジ特徴の位置を決定するために使用されるパートプログラムを生成するために用いられる。他の実施形態において、方法は、パートプログラムを生成するために用いられる代表的ワークと類似のワークにおけるエッジ特徴の位置を決定することを含むパートプログラムを実行することによって、マシンビジョン検査システムの動作の実行モードと関連して実行される。
【0062】
ワークは、ブロック615で関心領域を画定し、かつブロック620でエッジ方向を決定するために従来の照明で照明してもよいことを理解されたい。ブロック625、630、635および640において、従来の照明は、ワークが少なくとも1つの光ストライプだけで照明されるように、省略してもよい。
【0063】
本明細書に開示するシステムおよび方法が、エッジ特徴に隣接した問題のある表面テクスチャおよび特徴が存在する状態において、以前に実行されたエッジ検出方法より信頼ができ正確なエッジ検出方法を提供することを理解されたい。本発明の様々な好ましく例示的な実施形態を図示し説明したが、本発明の趣旨および範囲から逸脱せずに、本明細書において様々な変更をなし得ることが理解されよう。
【符号の説明】
【0064】
10・・・マシンビジョン検査システム、12・・・ビジョン測定機、14・・・制御コンピュータシステム、16・・・ディスプレイ、18・・・プリンタ、20・・・ワーク、20’・・・エッジ特徴、22・・・ジョイスティック、24・・・キーボード、26・・・マウス、32・・・可動ワークステージ、34・・・光学撮像システム、100・・・マシンビジョン検査システム、120・・・制御システム部、125・・・コントローラ、130・・・入力/出力インターフェース、131・・・撮像制御インターフェース、132・・・動作制御インターフェース、132a・・・位置制御要素、132b・・・速度/加速制御要素、133・・・照明制御インターフェース、133a〜133n・・・照明制御要素、133ed・・・照明制御要素、134・・・レンズ制御インターフェース、136・・・表示装置、138・・・入力装置、140・・・メモリ、141・・・画像ファイルメモリ部、142・・・ワークプログラムメモリ部、143・・・ビデオツール部、143a・・・ツール部、143n・・・ツール部、143ed・・・エッジ検出ビデオツール、143x・・・関心領域ジェネレータ、170・・・ワークプログラムジェネレータおよび実行器、190・・・電源部、200・・・ビジョンコンポーネント部、205・・・光学アセンブリ部、210・・・ワークステージ、212・・・中央透明部、220・・・ステージ光源、221・・・信号線またはバス、222・・・光源光、230・・・同軸光源、230’・・・合焦構造化光源、231・・・信号線またはバス、232・・・光源光、232’・・・光源光、240・・・表面光源、241・・・信号線またはバス、242・・・光源光、248・・・瞳フィルタ、248A・・・透過部、248B・・・透過部、248C・・・不透明部、250・・・対物レンズ、255・・・ワーク光、255’・・・ワーク光、260・・・カメラシステム、262・・・信号線、280・・・タレットレンズアセンブリ、281・・・信号線またはバス、284・・・軸、286・・・レンズ、288・・・レンズ、290・・・ビームスプリッタ、294・・・制御可能モータ、296・・・信号線、305・・・撮像システム、310・・・空間光変調装置、310S・・・光源、310CPG・・・制御可能なパターンジェネレータ、320・・・レンズ、400・・・表示視野、530・・・変化する光ストライプ強度、530’・・・変化する光ストライプ幅、C・・・溝、Dev・・・表面高さ偏差、ED・・・エッジ方向、FOV・・・視野、IFP・・・撮像合焦面、IPA・・・ストライプ強度プロファイル、LS・・・光ストライプ、LSFP・・・光ストライプ合焦面、ROI・・・関心領域、ROIin・・・関心領域インジケータ、SL・・・走査線、SLD・・・走査線方向、SurfA・・・表面、SurfB・・・表面、

【特許請求の範囲】
【請求項1】
マシンビジョン検査システムを用いて、ワークにおけるエッジ特徴の位置を決定するための方法であって、前記マシンビジョン検査システムが、制御システムと、光ストライプ投射システムと、撮像システムと、前記エッジ特徴の位置を決定するために使用可能な動作シーケンスを定義するために用いることができるユーザインターフェースと、を含み、前記方法が、
(a)マシンビジョン検査システムの視野に前記エッジ特徴を配置するステップと、
(b)前記エッジ特徴に対応する高さの撮像焦点面で前記撮像システムを合焦させるステップと、
(c)前記ユーザインターフェースを用いて、前記エッジ特徴を含む関心領域を画定するステップと、
(d)前記関心領域における前記エッジ特徴に沿った方向に対応するエッジ方向を決定するステップと、
(e)前記エッジ特徴位置を決定するステップであって、
(e1)前記関心領域における前記決定されたエッジ方向に対して交差するように向けられ、かつ前記エッジ特徴を横切って延びる少なくとも1つの光ストライプを投射するように前記光ストライプ投射システムを動作させるステップと、
(e2)前記エッジ特徴を横切る高さ変化が、前記光ストライプに沿った変化するストライプ強度プロファイルをもたらすように、前記エッジ特徴に対応する高さの光ストライプ焦点面に、前記少なくとも1つの光ストライプを合焦させるように前記光ストライプ投射システムを動作させるステップと、
(e3)前記撮像焦点面で前記少なくとも1つの光ストライプの画像を取得するように前記撮像システムを動作させるステップと、
(e4)前記関心領域における前記少なくとも1つの光ストライプの前記取得画像を解析し、かつ前記少なくとも1つの光ストライプに沿った前記変化する光ストライプ強度プロファイルの変化特性に基づいて、前記エッジ特徴の少なくとも一部の位置を決定するステップと、を含むステップと、
を含む方法。
【請求項2】
前記光ストライプ焦点面が、前記撮像焦点面と一致する、請求項1に記載の方法。
【請求項3】
光ストライプ焦点面が、前記関心領域における前記ワーク表面の平面に対応する、請求項1に記載の方法。
【請求項4】
前記ユーザインターフェースが、関心領域インジケータを含むエッジ検出ビデオツールを含み、前記ステップ(c)が、前記関心領域インジケータを表示および構成することによって、前記関心領域を画定することを含む、請求項1に記載の方法。
【請求項5】
前記ユーザインターフェースが、関心領域インジケータを含むエッジ検出ビデオツールを含み、前記ステップ(d)が、前記関心領域における前記エッジ特徴に沿った前記方向に対応するように前記ビデオツールの表示された特徴を整列させることによって、前記エッジ方向を決定することを含む、請求項1に記載の方法。
【請求項6】
ステップ(e1)において、前記決定されたエッジ方向に対して交差するように前記少なくとも1つの光ストライプを向けることが、前記ビデオツールの前記表示された特徴の配置に対して、前記少なくとも1つの光ストライプの方向を自動的に決定することを含む、請求項5に記載の方法。
【請求項7】
前記少なくとも1つの光ストライプが、前記ビデオツールの前記表示された特徴に名目上直角に向けられ、前記ビデオツールの走査線が、前記少なくとも1つの光ストライプと整列される、請求項6に記載の方法。
【請求項8】
前記エッジ検出ビデオツールが、関心領域インジケータを含み、前記エッジ特徴に沿った前記方向に対応するように整列された前記表示された特徴が、前記関心領域インジケータの少なくとも一部を含む、請求項5に記載の方法。
【請求項9】
前記光ストライプの輝度が、少なくとも前記エッジ特徴の近くで前記撮像システムの検出範囲内にあるように、前記ステップ(e2)が、前記少なくとも1つの光ストライプの輝度を調整することを含む、請求項1に記載の方法。
【請求項10】
最初に、前記関心領域における前記エッジ方向に沿って横に配置された少なくとも第1の光ストライプセット用に前記ステップ(e)を実行することをさらに含む、請求項1に記載の方法。
【請求項11】
2回目に、前記関心領域における前記エッジ方向に沿って横に配置された少なくとも第2の光ストライプセット用に前記ステップ(e)を繰り返すことをさらに含み、前記第2の光ストライプセットが、前記第1の光ストライプセットにおける光ストライプと異なる位置で前記エッジ方向に沿って横に配置された光ストライプを含む、請求項9に記載の方法。
【請求項12】
前記エッジ特徴が曲線であり、前記エッジ方向が、対応する曲線に従い、前記第1の光ストライプセットが、互いに平行でない光ストライプを含む、請求項10に記載の方法。
【請求項13】
前記ワークが代表的ワークであり、前記方法が、前記マシンビジョン検査システムの動作の学習モードに関連して実行され、前記マシンビジョン検査システムが、前記代表的ワークと類似のワークにおけるエッジ特徴の位置を決定するために用いられるパートプログラムを生成するために用いられる、請求項1に記載の方法。
【請求項14】
パートプログラムを生成するために用いられる代表的ワークと類似のワークにおけるエッジ特徴の位置を決定することを含むパートプログラムを実行することによって、前記マシンビジョン検査システムの動作の実行モードに関連して実行される、請求項1に記載の方法。
【請求項15】
ワークにおけるエッジ特徴の位置を決定するように動作可能なマシンビジョン検査システムであって、前記マシンビジョン検査システムが、
制御システムと、
光ストライプ投射システムと、
前記マシンビジョン検査システムの視野におけるエッジ特徴に対応する高さの撮像焦点面で合焦するように動作可能な撮像システムと、
前記エッジ特徴を含む関心領域を画定し、かつ前記関心領域における前記エッジ特徴に沿った方向に対応するエッジ方向を決定するように動作可能なユーザインターフェースと、
を含み、
前記光ストライプ投射システムが、
投射光ストライプが、前記関心領域における前記決定されたエッジ方向に対して交差するように向けられ、かつ前記エッジ特徴を横切って延びるように調整できる調整可能要素を含み、かつ
前記エッジ特徴を横切るワーク表面高さ変化が、前記光ストライプに沿った変化するストライプ強度プロファイルをもたらすように合焦される光ストライプを投射するように構成可能であり、
前記制御システムが、
(a)前記関心領域における前記決定されたエッジ方向に対して交差するように、かつ前記エッジ特徴を横切って延びる方向に前記光ストライプを向けるように前記調整可能要素を調整する動作と、
(b)前記エッジ特徴に対応するように調整された高さの光ストライプ焦点面に光ストライプを投射するように前記光ストライプ投射システムを動作させる動作と、
(c)エッジ特徴に対応する高さの前記撮像焦点面で前記光ストライプの画像を取得するように前記撮像システムを動作させる動作と、
(d)前記関心領域における前記光ストライプの前記取得画像を解析し、前記光ストライプに沿った前記変化する光ストライプ強度プロファイルの変化特性に基づいて、前記エッジ特徴の少なくとも一部の位置を決定する動作と、
を含む動作を実行するように構成されたマシンビジョン検査システム。
【請求項16】
前記光ストライプ投射システムの前記調整可能要素が、制御可能な空間光変調器を含む、請求項15に記載のマシンビジョン検査システム。
【請求項17】
前記制御可能な空間光変調器が、制御可能なLCDアレイおよび制御可能なマイクロミラーアレイの1つを含む、請求項16に記載のマシンビジョン検査システム。
【請求項18】
前記光ストライプ投射システムが、前記撮像システムの対物レンズを用いて前記光ストライプを投射するように構成される、請求項15に記載のマシンビジョン検査システム。
【請求項19】
前記マシンビジョン検査システムが、前記エッジ特徴を含む前記関心領域、および前記関心領域における前記エッジ特徴に沿った方向に対応する前記エッジ方向を画定するパラメータを設定するようにユーザが構成可能なグラフィカルユーザインターフェース要素を含むエッジ検出ビデオツールを含む、請求項15に記載のマシンビジョン検査システム。
【請求項20】
前記制御システムが、前記エッジ検出ビデオツールを用いて設定された前記パラメータに基づいて、少なくとも前記動作(a)を実行するように構成される、請求項19に記載のマシンビジョン検査システム。
【請求項21】
前記撮像システムが、前記撮像システムの対物レンズとカメラとの間で前記対物レンズのフーリエ面に位置し、かつ前記光ストライプと整列されるように構成可能な瞳形状を含む構成可能な瞳フィルタを含み、前記瞳フィルタが、前記光ストライプからの光を空間的にフィルタリングする、請求項15に記載のマシンビジョン検査システム。
【請求項22】
前記瞳フィルタが、(a)前記光ストライプを形成する光、または(b)ワークから反射されて、前記カメラシステムの画像センサ上に前記光ストライプの画像を形成する光、の振幅および位相の少なくとも1つを修正する空間光変調器によって設けられる、請求項21に記載のマシンビジョン検査システム。
【請求項23】
マシンビジョン検査システムを用いて、ワークにおけるエッジ特徴の位置を決定するための方法であって、前記マシンビジョン検査システムが、制御システムと、光ストライプ投射システムと、撮像システムと、前記エッジ特徴の位置を決定するために使用可能な動作シーケンスを定義するために用いることができるユーザインターフェースと、を含み、前記方法が、
(a)マシンビジョン検査システムの視野に前記エッジ特徴を配置するステップと、
(b)前記エッジ特徴に対応する高さの撮像焦点面で前記撮像システムを合焦させるステップと、
(c)前記エッジ特徴位置を決定するステップであって、
(c1)前記エッジ特徴を横切って延びる方向にされた、かつエッジ特徴を横切る高さ変化が、前記光ストライプに沿った変化する幅および変化する強度の少なくとも1つをもたらすように合焦された少なくとも1つの光ストライプを投射するように前記光ストライプ投射システムを動作させるステップと、
(c2)前記撮像焦点面で前記少なくとも1つの光ストライプの画像を取得するように前記撮像システムを動作させるステップと、
(c3)前記少なくとも1つの光ストライプの前記取得画像を解析し、かつ前記光ストライプに沿った前記変化する幅および前記変化する強度の少なくとも1つに対応する、前記光ストライプに沿った変化特性に基づいて、前記エッジ特徴の少なくとも一部の位置を決定するステップと、を含むステップと、
を含む方法。
【請求項24】
前記光ストライプの輝度が、少なくとも前記エッジ特徴の近くで前記撮像システムの検出範囲内にあるように、(c1)が、前記少なくとも1つの光ストライプの輝度を調整することを含む、請求項23に記載の方法。

【図1】
image rotate

【図2】
image rotate

【図3A】
image rotate

【図3B】
image rotate

【図4】
image rotate

【図5A】
image rotate

【図5B】
image rotate

【図5C】
image rotate

【図6】
image rotate


【公開番号】特開2012−132910(P2012−132910A)
【公開日】平成24年7月12日(2012.7.12)
【国際特許分類】
【出願番号】特願2011−272676(P2011−272676)
【出願日】平成23年12月13日(2011.12.13)
【出願人】(000137694)株式会社ミツトヨ (979)
【Fターム(参考)】