機械視覚検査方法およびそのためのユーザーインターフェース
【課題】画像中の特定な形体の位置を高精度に保存できる機械視覚検査方法およびそのためのユーザーインターフェースを提供すること。
【解決手段】フィルタ処理済み画像における特定の形体の位置を正確に保存するため具体的に決定された構造的要素を使用して、高精度機械視覚検査のための画像をフィルタリング処理する構造形態学的フィルタリング方法が開示されている。選択された構造的要素の形状は一般的に、フィルタ処理済み画像における保存される形体の少なくとも一部分との幾何学的類似性を示す。構造的要素は検査対象の形体の方位に一致するように方位付けることができる。例えば、最適な構造的要素は、検査対象の直線状形体に対しては、同一方位の線または細い長方形であり、円の画像に対しては、円である。構造的要素の方位は、検査対象の形体の方位の自動決定に基づいて、一連の自動検査操作中自動的に決定または調整してよい。
【解決手段】フィルタ処理済み画像における特定の形体の位置を正確に保存するため具体的に決定された構造的要素を使用して、高精度機械視覚検査のための画像をフィルタリング処理する構造形態学的フィルタリング方法が開示されている。選択された構造的要素の形状は一般的に、フィルタ処理済み画像における保存される形体の少なくとも一部分との幾何学的類似性を示す。構造的要素は検査対象の形体の方位に一致するように方位付けることができる。例えば、最適な構造的要素は、検査対象の直線状形体に対しては、同一方位の線または細い長方形であり、円の画像に対しては、円である。構造的要素の方位は、検査対象の形体の方位の自動決定に基づいて、一連の自動検査操作中自動的に決定または調整してよい。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機械視覚検査方法およびそのためのユーザーインターフェースに関し、特に高精度機械視覚検査のための画像のフィルタリング方法に関する。
【背景技術】
【０００２】
高精度機械視覚検査システムは、検査された対象物の正確な寸法測定値を得、且つ他の種々の対象物特性を検査するために使用できる。そのようなシステムには、コンピュータ、ユーザーインターフェース、照明システム、カメラ、光学システム、オペレータが被加工物の種々の形体画像を得るためにカメラを位置決めすることができる複数方向に移動可能な高精度ステージが含まれる。これらの中のユーザーインターフェースは一般的に、検査画像上に位置することが可能な種々のビデオツールを含む。このようにして、機械視覚検査システムのユーザーは、画像処理の知識がほとんどないあるいは全くなくても、ビデオツールを位置決めし、操作して種々の制御及び検査操作に有益な画像処理操作を実行することができる。
【０００３】
このような特徴を有し、汎用「オフライン」高精度視覚システムとして特徴付けられるタイプの一つの例示的な従来技術システムとしては、市場で入手可能な視覚検査機械のＱＵＩＣＫ ＶＩＳＩＯＮ（登録商標）シリーズと米国イリノイ州オーロラにあるＭｉｔｕｔｏｙｏ Ａｍｅｒｉｃａ Ｃｏｒｐｏｒａｔｉｏｎ（ＭＡＣ）から入手できるＱＶＰＡＫ（登録商標）ソフトウェアがある。
ユーザーインターフェースと種々のビデオツールを含む視覚検査機械のＱＵＩＣＫ ＶＩＳＩＯＮシリーズとＱＶＰＡＫソフトウェアの機能と操作は、例えば、非特許文献１および非特許文献２にその全体が記述されている。この製品は、例えば、ＱＶ−３０２ Ｐｒｏモデルにより例示されるように、マイクロスコープタイプ光学システムを使用して種々の倍率で被加工物の画像を提供し、上記にその概説を述べた全ての機能を含む。
【０００４】
このような汎用「オフライン」高精度視覚システムはその多様性により特徴付けられ、種々のタイプの対象物または検査被加工物、または単一な被加工物の種々の態様についての幅広い範囲の検査作業を実行するために、それらの構成または画像取得パラメータを迅速に変更する機能をユーザーまたは自動プログラムに提供する。
ＱＵＩＣＫ ＶＩＳＩＯＮシステムのような汎用の高精度機械視覚検査システムはまた一般的に、自動化されたビデオ検査を提供するためにプログラム可能であり、操作可能である。そのようなシステムがシステムのプログラミング及び操作を簡略化する機能及びツールを含み、操作及びプログラミングが「専門家でない」オペレータにより信頼性を持って実行できるようにすることが一般的に望まれる。
【０００５】
自動化されたビデオ検査検査装置は一般的に、ユーザーが各特別な被加工物の構成に対して定義する自動検査作業シーケンスを可能にするプログラミング機能を備えている。プログラミング機能はまた種々の検査操作の結果を格納及び／または出力する機能も提供するのが一般的である。そのようなプログラミングは、例えば、テキストベースのプログラミングのように計画的な方法で、またはユーザーによって実行される検査操作のシーケンスに対応する機械制御命令のシーケンスを格納することによって検査作業シーケンスを漸進的に「学習」する記録モードか、またはその両方の方法の組み合わせにより導入できる。そのような記録モードはしばしば「学習モード」、「トレーニングモード」、または「ティーチモード」と呼ばれる。
【０００６】
これらのような技術において、機械制御命令は一般的に、特別な被加工物の構成に特有なパートプログラムとして格納される。操作の「ランモード」中の検査操作の所定シーケンスを自動的に実行する命令を有するパートプログラムの作成機能によりいくつかの利点が提供され、この利点は、同じパートプログラムを互換性のある複数の機械視覚検査システムにて自動的に実行する機能及び／または複数回実行する機能並びに検査の繰り返し性の改善を含む。
【０００７】
【非特許文献１】「ＱＶＰＡＫ ３Ｄ ＣＮＣ Ｖｉｓｉｏｎ Ｍｅａｓｕｒｉｎｇ Ｍａｃｈｉｎｅ Ｕｓｅｒｓ Ｇｕｉｄｅ」２００３年１月発行
【非特許文献２】「ＱＶＰＡＫ ３Ｄ ＣＮＣ Ｖｉｓｉｏｎ Ｍｅａｓｕｒｉｎｇ Ｍａｃｈｉｎｅ Ｏｐｅｒａｔｉｏｎ Ｇｕｉｄｅ」１９９６年９月発行
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、前述のような機械視覚システムにおいては、「オクルージョン（occlusion）」とよばれる問題、つまりコンピューターグラフィックスにおける視点の妨害、より詳しくは、背景の対象物に対する視認あるいは検査を、前景にある不要な対象物が妨害し、必要な視覚を遮蔽してしまうという状況が時折発生する。
オクルージョン問題は、一般的に、被加工物の検査及び測定のための汎用機械視覚システムでは対処されてはいなかった。以前は、容易にプログラム可能な他の選択肢がなかった。一般的に、ユーザーは、人間の判断に基づいて慎重にツールのサイズを選び、その位置決めをして、オクルージョン対象物及び／または陰影を回避する必要があった。そのような場合、検査対象の形体に非常に近接して、エッジ形体のような前景と背景の形体を有する画像を検査するときは、種々の被加工物間、または照明と陰影の間の、構成のわずかなバラツキにより、慎重に位置決めして訓練を積み重ねたツールでさえ失敗に帰す、または間違った結果をもたらすことになる。
【０００９】
また、種々のカスタム設計された画像フィルタリング処理及び／または境界成長処理または「接続」処理が、不要なオクルージョン画像形体を除去するために専門家によって設計された。
しかし、そのような処理は、全体的として、画像特性をある程度まで変更する傾向があるので、画像中の種々のエッジ形体位置を変更するという危険を冒すことになる。これは、たとえわずかな量であっても、種々のエッジ形体位置を変更することは、高精度検査要求と相容れない不正確な検査結果をもたらすため、特に被加工物の検査に使用される種々の高精度検査操作にとっては望ましくない。
例えば、高精度検査における誤差は、普通は５〜１０ミクロン以下のオーダーが望まれている。この理由のため、オクルージョン形体を除去する既知の方法は、品質制御及び検査操作に対して、特に、相対的に技術的に未熟なオペレータのために信頼性のある操作と相対的に簡単なプログラミング環境を提供するために意図された汎用機械視覚検査システムにおいて、不十分な基盤しか提供しなかった。
【００１０】
本発明は、上記の及び他の不利な点を克服するシステムと方法を目指すものである。より具体的には、本発明の主な目的は、画像中の特定な形体の位置を高精度に抽出あるいは保存できる機械視覚検査方法およびそのためのユーザーインターフェースを提供することである。
【課題を解決するための手段】
【００１１】
本発明は、高精度機械視覚検査のための画像のフィルタリング方法を目指しており、更に、相対的に技術不足のオペレータが、重大な被加工物測定誤差を引き起こす危険が相対的に低く、導入できる方法を目的としている。
本発明の一つの態様によれば、形態学に基づく解決方法が、不要な形体、即ちオクルージョン形体を除去するための画像のフィルタリングに利用されている。拡張／浸食処理をフィルタリングに利用してもよい。しかし、拡張／浸食処理は、繰り返し使用されると、これから測定しようとする形体が、使用中の構造的要素の形状に適合してしまうこととなる傾向がある。それゆえ、線形体上に正方形形状を適用すると形状が歪む結果となり（線が正方形の軸のいずれかの方向に方位付けられていない限り）、さらに円形体についても同様である。このように、画像中の特定の形状を持つ所要の形体を抽出し保存するためには、対象領域または画像を形態学的にフィルタリングする本発明に従って、保存または検査される形体として、実質的に同じ形状、即ち同じ形状と方位を有する構造的要素が利用される。例えば、保存または検査される形体が直線状エッジを含む場合は、直線状または長方形タイプの構造的要素がフィルタリングに使用され、構造的要素の軸は直線状エッジに名目上平行となるように方向付けられる。保存または検査される形体が円の場合は、使用される構造的要素は円である。このように、構造的要素が、これから測定される形体に基づいて選択される場合は、構造形態学的アプローチが利用される。
【００１２】
本発明の他の態様によれば、フィルタリング方法は、検査対象の被加工物形体と、この検査対象の被加工物形体に近接した不要な形体、即ちオクルージョン形体を含む画像の取得により開始する。その後、対象領域が、視覚システムによって実行される操作のために、被加工物形体の少なくとも一部分について定義される。その後、少なくとも対象領域において、視覚システムにより構造形態学的操作が実行される。そして、構造形態学的画像は格納される。対象領域において視覚システムにより実行される操作は、その後、構造形態学的画像中の対応する位置において実行される。そして操作結果は取得画像に対する結果として生み出だされる。
【００１３】
本発明の他の態様によれば、対象領域において視覚システムにより実行されようとしている構造形態学的操作は、まず対象領域において保存される被加工物の要素の形状、または形状と方位の適用可能な特性を決定することにより開始する。そして、対象領域における不要な形体の適用可能な特性が決定される。構造的要素に対しては一般的に、構造的要素の形状、寸法（例えば、幅）、そして方位（もし、適用可能ならば）が、保存される被加工物の要素の適切な特性と不要な形体とに基づいて選択される。例えば、直線状エッジがこれから検査され、または測定されようとしており、不要な形体が格子棒厚さ寸法Ｔを有する格子であり、格子棒のいくつかは検査、または測定される直線状エッジに対して角度φであるような実施形態または適用においては、検査対象の直線状エッジに平行な直線状、または長方形構造的要素は約Ｌ＝Ｔ（１／ｓｉｎφ+１／ｃｏｓφ）の長さ、または上限デフォルト限度のどちらか短い方を有してよい。
【００１４】
本発明の他の態様によれば、種々の実施形態において、構造的要素の長さ及び／または幅の決定は、構造的要素の長さ及び／または幅にデフォルト限度を適用するかどうかの決定を含んでよい。一例として、直線状または長方形構造的要素が使用される種々の実施形態において、構造的要素の最低幅を３ピクセル分以上に設定することは、構造的要素に平行な不要な形体がフィルタ処理で除去されることを確実なものにするためには好都合である。他の例としては、ディスク形状、または円形構造的要素を十分に近似することが望まれている種々の実施形態においては、直径に対するデフォルト限度は少なくとも７ピクセルである。ディスクをより良好に且つより信頼性をもって近似するためには、ディスクの直径は少なくとも１３ピクセル分であり、ディスクを更により良好に且つ更により信頼性をもって近似するためには、ディスクの直径は少なくとも１７ピクセル分である。フィルタ処理で除去される不要な形体が棒の幅または厚さがＴの格子である場合は、いくつかの実施形態において、ディスクの直径ｄに対するデフォルト限度を、少なくとも画像中のｄ＝２Ｔ＋１ピクセルと同程度の大きさの奇数ピクセル数に設定することは、フィルタリング速度と、信頼性のある完全なフィルタリングとのかね合いを確実なものにするためには好都合である。各種の実施形態において、使用される構造的要素のタイプに無関係に、フィルタ処理される領域の対角線の寸法に近似する上限デフォルト限度を設定することは有利である。
【００１５】
本発明の他の態様によれば、不要な形体を完全に除去するために必要な形態学的処理の繰り返し数は一般的に、除去される不要な形体の一つ以上の寸法及び／または構造的要素の寸法に基づいて決定される。形態学的処理の繰り返しは少なくとも対象領域に対して実行される。いくつかの実施形態において、Ｌ’はオクルージョン形体の関連スパンを表すとすれば、本発明に係る形態学的フィルタリングは関連スパンの方向に沿う寸法Ｘを有する構造的要素に、Ｌ’／Ｘ以上の繰り返し回数が適用される。円形構造的要素に対しては、関連スパンは一般的に、検査対象の形体近傍の所望の領域または対象領域におけるいずれの方向にも沿ってのオクルージョン形体に含まれるピクセルの最長「連続」スパンである。直線状タイプの構造的要素に対しては、関連スパンは一般的に、検査対象の形体近傍の所望の領域または対象領域における検査対象の直線状エッジの方位に平行な方向に沿ったオクルージョン形体に含まれるピクセルの最大幅の連続スパンである。
【００１６】
本発明の他の態様によれば、対象領域に保存される被加工物形体または要素の形状、または形状と方向の適用可能な特性は、手動、半自動的、または自動的に決定してよい。本発明の他の態様によれば、構造的要素の決定は、ＣＡＤデータが、測定される被加工物形体に対して利用可能かどうかを決定することにより開始する。もしＣＡＤデータが利用可能であれば、構造的要素は、保存される被加工物形体に対応するＣＡＤデータの適用可能な形状及び寸法に基づいて選択される。もしＣＡＤデータが利用可能でなければ、取得済み画像に基づいて、被加工物形体が規則的な幾何学形状（例えば、線、円など）を有するかどうかについての決定が行われる。被加工物形体が規則的な形状を有していなければ、構造的要素の形状はリストから選択してもよく、形状の寸法、または寸法と方位は被加工物形体の寸法と方位に対応するように定義される。
【００１７】
被加工物形体が規則的な形状を有していなければ、画像処理アルゴリズムまたは画像処理操作を利用して、被加工物形体を抽出し、被加工物形体を再構築（例えば、塗りつぶし、または滑らかにする）し、構造的要素の寸法、または寸法と方位は抽出した被加工物形体に対応するように選択される。処理の終了段階において、保存される被加工物形体または要素の支配的特性は、パートプログラムに格納及び／または操作のランモード中に構造的要素の特性を決定するのに使用される。更に、操作のランモード中、既に概要を記述した操作が、ＣＡＤデータやユーザー入力ではなく、格納された形状及び／または方位に基づいて繰り返されてもよく、パートプログラムに格納したまたはパートプログラムで決定した種々の位置及び方位パラメータは、合理的に予測されるランタイムの被加工物及び画像のバラツキに関わらず、形態学的フィルタリング効率及び検査を所望のレベルに維持するために、固定時の不整列、被加工物のバラツキなどを補償するために調整してもよい。
【００１８】
本発明の他の態様によれば、不要な形体の支配的寸法は手動で決定してもよい。手動処理は、ユーザーが関連寸法、つまり、検査対象の形体近傍の適用可能な方向または方位に沿う不要な形体の最大直径またはスパンの位置を目視で決定することにより開始する。視覚システムツールを最大直径またはスパンの測定に使用してもよい。関連寸法は支配的な、不要な形体の寸法として格納される。
【００１９】
本発明の他の態様によれば、不要な形体の支配的関連寸法及び／または方位は半自動的、または自動的に決定してもよい。いくつかの実施形態において、操作の学習モードまたはトレーニングモード中、自動処理は、ユーザーが、測定する不要な形体の少なくとも一部分の形状を指定するまたは示すことにより開始する（例えば、画像中の不要な形体の少なくとも関連する一部分を形状ライブラリから選択することにより、またはいずれかの適切な手段により形状を入力することによりテンプレートを定義する）。
画像中の少なくとも対象領域における指定された形状の例を探すために、パターンマッチングアルゴリズムを使用してもよい。複数の指定された形状の例が存在するならば、不要な形体形状の好ましい例がユーザーまたはデフォルト方法によって選択される。そしてアルゴリズムを利用して、不要な形体の方位及び／または関連寸法を決定する。不要な形体の支配的方位及び／または関連寸法はパートプログラムに格納され及び／または操作のランモード中、構造的要素の特性を決定するのに使用される。更に、操作のランモード中、概要を前述した操作は、ユーザー入力ではなく、格納されたテンプレート及び／または格納された方位及び／または関連寸法に基づいて繰り返してもよく、構造的要素の方位及び／またはサイズは、合理的に予測されるランタイムの被加工物及び画像のバラツキに関わらず、形態学的フィルタリング効率をある所望のレベルに維持するために、固定時の不整列、被加工物のバラツキなどを補償するために調整してもよい。
【００２０】
不要な形体（例えば、格子）を除去するためのフィルタリングアプローチ（例えば、形態学）の利用と、実際の画像形体測定処理（例えば、線ツール、円ツールなど）とは切り離すことができることが理解されよう。言い換えれば、画像がいったんフィルタ処理されると、通常の画像解析に適用可能ないかなるエッジ測定ツールも、フィルタ処理済み画像に基づく形体測定に利用できる。このように、いかなる既存の、新しい、または改良されたエッジ測定方法も本発明の方法と組み合わせて利用できる。
【００２１】
本発明の方法は、標準化された、または親しみやすいタイプのビデオツールを使用できるという点において、たとえあってもわずかなカスタマイズされた操作によって、ユーザーによる簡単な操作を提供するということは理解されよう。更に、本発明の方法は、相対的に技術の未熟なユーザーが形態学的フィルタリングを導入し、フィルタリングを支配する重要パラメータ（例えば、構造的要素パラメータ）を定義することを容易にする手段を提供する。つまり、ユーザーは、オクルージョン形体を回避するためにカスタマイズされた操作を導入するための記述言語を利用する必要がない。その代わり、システムにより技術の未熟なユーザーでさえ最低の訓練で使用できる、予めプログラムされたアイコンなどの使用が可能となる。ある既存の機械視覚検査システムは、そのような既存の機械に対する最小の「改良」変更またはそのような変更が全くなく、本発明に係る方法の種々の実施形態を採用できるということも理解されるべきである。種々の例示的な実施形態において、機械視覚検査ソフトウェアの方法の追加及び／または本発明の原理に従う変更のみが改良変更に要求される。
【００２２】
ここに開示されたシステムと方法を使用すると、格子にオクルージョンされたエッジ形体に対する実験で得られた位置の正確性は０〜１μｍの範囲であり、同様にオクルージョンされた円の直径は１〜２.５μｍの範囲であった。０.１μ未満の実験測定繰り返し性が達成された。このように、本発明に係る形態学的フィルタリングシステムと方法を使用して、より洗練度の低いまたは包括的なフィルタリング方法では達成されなかった正確性と繰り返し性のレベルである、ミクロン及びサブミクロンの正確性と繰り返し性でのオクルージョンされた形体測定のために、既存の機械視覚検査システムのビデオツールと連携して使用可能なフィルタ処理済み画像または画像部分を提供することができると理解されたい。
【発明を実施するための最良の形態】
【００２３】
図１は本発明に係るプログラム可能な汎用機械視覚検査システム１０の一つの例示的な実施形態のブロック図である。機械視覚検査システム１０は、データを交換し信号を制御するため制御システム１００に操作可能に接続する視覚測定機械２００を含む。制御システム１００は、データを交換し信号を制御するため更にモニタ１１１、プリンタ１１２、ジョイスティック１１３、キーボード１１４、及び／またはマウス１１５のうち一つ以上に操作可能に接続する。視覚測定機械２００は可動被加工物ステージ２１０と、ズームレンズまたは多数の交換可能レンズを含みうる光学イメージングシステム２０５を含む。ズームレンズまたは交換可能レンズは一般的に、光学イメージングシステム２０５により提供される画像の種々の倍率を提供する。
【００２４】
ジョイスティック１１３は可動被加工物ステージ２１０の動きをＸ及びＹ両方向に関して制御するのに使用されるのが一般的で、両方向は一般的に、可動光学イメージングシステム２０５の焦点面と、Ｚ方向即ち焦点方向における光学イメージングシステム２０５の動き方向成分に平行である。しばしば、Ｚ軸を制御する偏位は、ジョイスティック１１３のハンドルまたはノブの回転偏位成分である。ジョイスティック１１３は、機械視覚検査システム１０の「仮想動作制御デバイス」として機能するように意図された、モニタ１１１上の視覚表現及びウィジェット（Widget；表示用アクセサリを記述した小規模なコンピュータプログラムの一種）のいずれかのような、図示した以外の形式で提供されてもよく、マウス１１５のようないずれかのコンピュータ入力デバイスを介して制御可能である。制御システム１００と視覚測定機械２００の種々の態様は、同時係属出願され、共通に指定された２００４年３月２５日に出願された米国特許出願番号１０／８０８９４８と、２００３年８月４日に出願された米国特許出願番号１０／６３２８２３に詳細が記述されたものと実質的に同様であり、その全体を参照によりここに引用したものとする。
【００２５】
図２は、汎用機械視覚検査システムの表示エリア３００の一部分の図であり、平面パネル表示スクリーンマスクのオクルージョン格子を含む、例示的な検査対象の被加工物と形体の画像を示している。図２に示すように、表示エリア３００は標準６４０×４８０カメラピクセルフォーマットであり、平面パネル表示スクリーンマスクの繰り返しパターンのオクルージョン格子３０４を含む。また、この格子３０４の下には、基板、パターン化膜、または他の表面を含んでもよい被加工物背景層３０２があり、この背景層３０２は検査処理または測定処理の中心となる画像情報を一般的に含む。被加工物上の検査対象物はトレース３２０と３３０を含み、それらについてはより詳細に後述する。同様により詳細に後述されるが、不要なパターンの格子３０４は、それ自体がトレース３２０と３３０のエッジ部分の決定と評価を複雑にする、織り交ぜられた強いエッジ形体を本来的に有するという点において、検査処理を複雑にする。
【００２６】
図３は、表示エリア３００Ａの図であり、選択した形体のエッジ部分を説明する図２の例示的な被加工物と形体を示している。図３に示すように、表示エリア３００Ａのトレース３２０と３３０は、トレース３２０と３３０並びにそのエッジをより良く強調するため、図示の目的で人為的に照明されている。背景層３０２は格子３０４の開口部を通して見ることができる。なお、ここでは、オクルージョン対象物として、不要な格子タイプのもの（格子３０４）を検討するが、本発明の方法は一般的に、いかなるタイプの不要な前景対象物または背景対象物にも適用できることは理解されたい。格子部分３０４Ａが、背景層３０２の基板部上に位置するように示されているが、他方の格子部分３０４Ｂはトレース３２０の部分上に位置するように示されている。一連の大きな楕円３４０がトレース３２０と３３０のエッジ部分を全体的に囲むように示されている。大きな楕円３４０はトレース３２０と３３０のエッジ部の部分を強調するより小さな円３４２を含み、その円においてそれらのエッジを、オクルージョン格子３０４を通して実際に見ることができる。円３５０もまたトレース３３０の円形端を囲むように示されている。円３５０はトレース３３０のエッジ部を囲み、且つ強調するより小さい円３５２を含み、その円においてエッジがオクルージョン格子３０４を通して実際に見ることができる。
【００２７】
図４は、表示エリア３００Ｄの図であり、図３の検査対象の例示的な被加工物と種々の形体を、エッジ位置用のボックスツール、円弧ツール及び点ツールを表現するＧＵＩ（グラフィカルユーザーインターフェース）ウィジェットの例示的な実施形態で示しており、それらのすべては本発明に係るシステムと方法の種々の実施形態において使用可能である。図４に示すように、表示エリア３００Ｄは、ボックスツールウィジェット８１０Ａ，８１０Ｂ、線ツールウィジェット８２０、及び円弧ツールウィジェット８３０を含む。
エッジ検出ツールＧＵＩウィジェットの種々の操作上の特性は、ＱＶＰＡＫ ３Ｄ ＣＮＣ Ｖｉｓｉｏｎ Ｍｅａｓｕｒｉｎｇ Ｍａｃｈｉｎｅ Ｕｓｅｒｓ Ｇｕｉｄｅと、ＱＶＰＡＫ ３Ｄ ＣＮＣ Ｖｉｓｉｏｎ Ｍｅａｓｕｒｉｎｇ Ｍａｃｈｉｎｅ Ｏｐｅｒａｔｉｏｎ Ｇｕｉｄｅにその全体が記述されており、それぞれは前述のようにその全体を参照によりここに引用したものとされており、また２００４年７月３０日に出願された米国特許出願番号１０／９０３７１４にも同様にその全体が記述されており、その全体の内容を参照によりここに引用したものとする。
【００２８】
線ツールウィジェット８２０は被加工物画像中のエッジ点の位置を決定するために直接使用してもよいし、または下記に更に示すように、ボックスタイプのエッジツール（例えば、ボックスツールウィジェット８１０Ａ，８１０Ｂ）の操作の基盤としてもよい。線ツールウィジェット８２０は、トレース３３０の左端に位置するエッジ部上に位置するように示されている。操作において、検査目的のためにユーザーは線ツールウィジェット８２０を選択し、ディスプレーを横切って選択済みウィジェットをドラッグし、トレース３３０の所望のエッジが見える部分上に置いてもよい。操作において一般的に、線ツールウィジェット８２０は、エッジ位置を決定する種々の操作に関して、その長さに沿ってデータ点（例えば、ピクセル）上を走査する。
【００２９】
画像中のエッジの位置を決定するために、多くのアルゴリズムは、強度データ内の最大勾配値の位置を探すことによってエッジの位置を見つける。強度データに沿って複数の勾配が存在するときは、セレクタの位置が、どの勾配が所要のエッジに対応するかをアルゴリズムが決定することを支援する。一つの表示（例えば、線ツールウィジェット８２０の方位または方向）もまたアルゴリズムが、それが上昇方向または下降方向のエッジを探すべきかどうかについての決定を支援するために提供され得る。また、トレーニングモードにおいて、エッジの種々の特性が決定及び格納されて、後のランモードにおける類似部分上の所望のエッジのより信頼性のある選択及び決定を容易にする。そのような特性には、エッジを囲む谷から頂上までの全体的な強度のバラツキ、エッジの位置での名目上の強度値、及び／またはこれら二つの値の比などが含まれてもよい。
【００３０】
しかし、線ツールウィジェット８２０が多数の被加工物を検査するために使用される自動パートプログラムに含まれていると、トレース３３０に関してオクルージョン格子３０４の位置のいかなるバラツキによっても線ツールウィジェット８２０下のオクルージョン格子３０４の位置が見つけられるため、線ツールウィジェット８２０が故障する原因となることは理解すべきである。本発明は、オクルージョン格子３０４をフィルタ処理により除外することによりこのタイプの故障モードを避けるように意図されている。しかし、ある実施形態においては、エッジの位置（最大勾配の位置）は、最大勾配値などを囲む勾配曲線のもとでのエリア中心を特定する公知の曲線フィッティング技術または公知の中心検出技術を使用して、内挿された最大勾配の位置を見つけることにより、実際にはサブピクセルのレベルの精度で検出されるということも理解されるべきである。従って、本発明のフィルタリング方法とパラメータは、フィルタ処理済み画像内で、そのような精度のレベルに関して検査対象のエッジの位置を大きく変えないように慎重に開発された。
【００３１】
種々の例示的な実施形態において、ボックスツールウィジェット８１０Ａと８１０Ｂは、側面に沿って矢印があり中心にセレクタがあるボックスとして表示される。種々の例示的な実施形態において、ボックスツールウィジェット８１０Ａと８１０Ｂは、ボックスが対象領域を示す、または対象領域を定義するまで、そして「＋」エッジセレクタマークが測定及び検査されるエッジを示すまで、オペレータにより、そのサイズが決められ、位置決めされ、そして回転される。種々の例示的な実施形態において、ボックスツールウィジェット８１０Ａと８１０Ｂは一般的に、対象領域におけるエッジの沿う一つ以上の従来のエッジ勾配を使用し、線ツールウィジェット８２０について上記に概要を記述したように、エッジは操作の手動モードまたはトレーニングモード中のセレクタの位置と、種々の走査線に沿うエッジ勾配の局所的な大きさに基づいて決定される。これらの種々の例示的な実施形態においては、矢印の方向により、エッジ勾配と関連付けられる基準方向または極性が定義される。ボックスツールウィジェット８１０Ａと８１０Ｂの境界によって示される対象領域の範囲は、望むならば全面的に調整可能であり、回転可能であることは理解されるべきである。円弧ツールウィジェット８３０もまた、対象領域を示し、選択されたエッジに印を付け、そして、画像形体のための曲線（例えば、半径）を定義するエッジ点を決定するために、ボックスツールウィジェット８１０Ａと８１０Ｂと類似の方法により一般的に配置され、操作される。
【００３２】
図５は、図４の例示的な被加工物と形体を示すダイアグラム３００Ｅであり、フィルタリング処理がボックスツール及び円弧ツールの対象領域に適用されている。下記に詳細に記述するように、不要な形体（例えば、格子）は、本発明による画像処理アルゴリズム、つまり、形態学に基づく画像処理方法により、少なくとも対象領域からは除去してもよく、それによって測定は対象領域においてきれいなエッジ画像について行われる。図５に示すように、ボックスツールウィジェット８１０Ａと８１０Ｂと、円弧ツールウィジェット８３０の対象領域内において、フィルタリングは実質的に格子を除去するように適用されている。種々の例示的な実施形態において、望むならば、ダイアグラム３００Ｅに類似する画像を、機械視覚システムの操作のトレーニングモード中にオペレータに表示させてもよく、それによってオペレータは、形態学に基づく一連のフィルタパラメータからの結果であるフィルタ処理済みエッジ画像を定性的に、または定量的に評価でき、その評価に基づいてフィルタパラメータを許容あるいは変更できる。
【００３３】
本発明に係る種々の実施形態において、拡張／浸食処理は画像のフィルタリングに利用される。例えば、拡張処理は、構造的要素内の各ピクセルに、構造的要素に含まれる最大ピクセル値に対応する値を割り当てることを含んでよい。同様に、浸食処理は、構造的要素内の各ピクセルに、構造的要素に含まれる最小ピクセル値に対応する値を割り当てることを含んでよい。そのような画像処理操作は、本発明に係る種々の実施形態における不要な形体データの除去に使用可能な種々の他の画像処理操作と共に、例えば「Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ」（Ｒａｍｅｓｈ Ｊａｉｎ他著、１９９５年ＭｃＧｒａｗ Ｈｉｌｌ社発行）など、多数の画像処理に関する出版物に更に説明及び記述されている。
【００３４】
ここで記述される種々の実施形態において、拡張／浸食処理の「１回の繰り返し」が示されたときは、これは画像の所望の領域内において各ピクセルの位置を通して順次構造的要素を進めること、及びに各場所において順次前述した拡張操作を実行することに対応する。そして、これに画像の所望の領域内において各ピクセルの位置を通して順次構造的要素を進めること、及び各位置において順次前述した浸食操作を実行することが続き、１回の繰り返しを完了する。これに基づく類推により、拡張／浸食処理の「Ｋ回の繰り返し」が示されたときは、これは、最初に画像の所望の領域内において各ピクセルの位置を通して順次構造的要素を進めること、及び各位置において順次前述した拡張操作を実行することに対応する。そして、この拡張操作の全体のシーケンスが、合計「Ｋ」回実行されるまで、所望の領域を通して、付加的回数繰り返される。そして、これに、画像の所望の領域内において各ピクセルの位置を通して順次構造的要素を進めること、及び各位置において順次前述した浸食操作を実行することが続く。そして、この浸食操作の全体のシーケンスが、合計「Ｋ」回実行されるまで、所望の領域を通して、付加的回数繰り返される。以上で、拡張／浸食処理の「Ｋ回の繰り返し」が完了する。
【００３５】
ここでの説明と検討は、画像内で相対的に明るい（より高いピクセル値）形体が保存及び測定され、相対的に暗いオクルージョン形体はフィルタ処理で除去されることを仮定している。このように拡張／浸食処理は適切である。しかし、オクルージョン形体が全体的に保存及び検査される形体よりも明るい場合は、本発明に従って、ここで記述される拡張／浸食処理が逆の順序で実行される、つまり、浸食／拡張処理として、より明るいオクルージョン形体を除去し、検査対象の暗い形体を保存することを理解されたい。そのような場合、要すれば、対象の暗い形体は適切に保存され、図６Ｂと図７Ｂを参照して下記に検討される意味におけるアーティファクトのないものとなる。
【００３６】
既に示したように、拡張／浸食処理を繰り返し利用すると、一般的に、拡張／浸食処理により検査中の形体が使用している構造的要素の形状に適合してしまう傾向がある。それゆえ、線形体上の正方形の形状を用いると、線形体が歪みを引き起こし（線が正方形の軸のいずれかの方向に方位付けられていない限り）、円形体についても同様である。画像において特定の形体が歪むのを避けるため、本発明によれば、最適構造的要素は、対象である形体に対応する形状、または形状と方位を有する。このように、これから検査しようとする、一定の方位における線または長方形の画像に対しては、最適構造的要素は、同じ方位における線または長方形であり、一方、検査しようとする円の画像に対しては、最適構造的要素は円となり、以下、同様である。このように、本発明によれば、構造形態学的アプローチを利用し、構造学的要素の形状、または形状と方位はこれから測定する形体に基づいて一般的に選択される。
【００３７】
画像からオクルージョン形体をフィルタリングして除去し、円の測定を容易にすることに関しては、最適構造的要素は十分な直径を有する円形またはディスク状の要素である。図６Ａ〜図６Ｆは、円形形体を含む画像へ円形構造的要素を適用する本発明に係る形態学的フィルタリング処理の種々の態様を例示する。図６Ａは５倍の倍率で撮影された６４０×４８０ピクセルの画像を示し、この画像は、周囲のエリアと共に、検査対象の形体である中心に位置している円形形体６０１を含み、それらすべてオクルージョン格子により覆われている。図６Ｃに示す近似的に円形構造的要素６０２を図６Ａに示す画像に適用するとき、中心に位置する円形形体６０１からオクルージョン格子を除去する、本発明に係る拡張／浸食処理を使用して、生成されるフィルタ処理済み画像を図６Ｂに示す。具体的には、図６Ｂに示す結果を生成するために、２７ピクセル分の直径を有する円形構造的要素６０２の５回の拡張／浸食の繰り返しを含む形態学的フィルタリング処理が使用された。図６Ｂに示すように、格子は除去されている。特に、円形形体６０１の内部にはオクルージョン格子がなく、フィルタリングアーティファクトもない。図６Ｂに示す、現れた円形形体６０１は、図６Ａに示すオクルージョンされた円形形体６０１のそれらと重大には異なっていない位置にそのエッジを有しており、これは所望の結果である。円形形体６０１の未フィルタ処理の画像とフィルタ処理済み画像の拡大図（１５倍に拡大）が図６Ｄと図６Ｅにそれぞれ示されている。
【００３８】
円形構造的要素６０２の例示されているサイズは、図６Ａと図６Ｂのスケールに関して誇張されていることは理解すべきである。一般的に、オクルージョン格子または他のオクルージョン形体をフィルタリングで除去するためには、円形構造的要素６０２のような構造的要素の最大有効寸法ｄは、下記に詳細に記述するように、いかなる方向に沿う格子棒内に含まれるピクセルの最長連続スパンよりも、高々、多少大きいに過ぎない。この寸法は検査対象の円形形体の直径よりも小さく、または大幅に小さいのが一般的である。
【００３９】
現れた円形形体６０１を囲むエリアに関して、図６Ｂのフィルタ処理済み画像において垂直及び水平アーム６０３と６０４の境界と、垂直及び水平アーム６０３と６０４と交差する場所に近接する外側の円形境界６０５が歪んでいるのが分かる。前述したように、これは形態学的拡張／浸食フィルタリング処理を使用すると、構造的要素と異なる形状を有する形体が構造的要素の形状に適合しようとする傾向があるために起こる。この場合、図６Ｃに示す円形構造的要素６０２を垂直及び水平アーム６０３と６０４の直線状の境界と、相対的に鋭角な角、その角ではこのアームが外側の円形形体の境界６０５と交差しているが、とに適用すると、関連エッジが歪む傾向になり、その関連エッジが構造的要素である円形形体６０１の形状に適合する。
【００４０】
理想的には、検査対象の形体近傍の所望の領域または対象領域における、１回の拡張／浸食の繰り返しで、格子のようなオクルージョン対象物を効率よく除去するためには、構造的要素のディスク直径は、オクルージョン形体の関連スパンを完全にカバーするのに十分な程度の大きさでありさえすればよい。円形構造的要素に対しては、関連スパンは一般的に、検査対象の形体近傍の所望の領域または対象領域における、いかなる方向にも沿うオクルージョン形体ピクセルの最長「連続」スパンである。しかし、構造的要素の「ディスク」のエッジは、真の円形ではなく、行列フォーマットに配列されたピクセルの集合体により単に近似されたものなので、実際のケースにおいては、このサイズの構造的要素を使用する形態学的フィルタリングによっても画像が完全にまたは適切にはフィルタ処理されないこともある。これは構造的要素の直径が小さいときには特に当てはまる。
【００４１】
この点を明確にし、且つディスク形状の構造的要素の直径またはサイズの重要性を強調するために、それは、より一般的には、構造的要素の他の形状のサイズの重要性を表すことであるが、２ピクセル分の直径を有する仮説的な「ディスク形状」の構造的要素を考える。離散正方形ピクセルの行列配置に対しては、２ピクセル分の「直径」を有する構造的要素は実際には、正方形であることが理解されよう。そのため、円形形体を含む画像をフィルタ処理するために適用すると、円形形体の境界は、そのままの構造的要素と本質的に異なる形状により導出されるアーティファクトを示すのが一般的である。この効果は例えば、図６Ｅに示す。具体的に、図６Ｅに示す結果を生み出すには、３×３ピクセルのサイズを有する正方形の構造的要素の２７回の拡張／浸食の繰り返しを含む形態学的フィルタリング処理が使用された。図６Ｆに示すように、格子は除去されているが、現れた円形形体６０１’はエッジのアーティファクトを含み、そのため図６Ａに示すオクルージョンされた円形形体６０１により定義される実際のエッジの位置とは大きくかけ離れたエッジの位置を含む不規則なエッジという結果になっている。これは、相対的に高い正確性の検査と測定結果が望まれているときは、許容できるフィルタリング結果ではなく、構造的要素が検査対象の形体の形状を合理的に近似する形状を有するように、本発明に係る構造的要素を選択することの価値を強調している。
【００４２】
種々の実施形態または適用において、最も速いフィルタリング操作は、関連スパン長よりも大幅に小さい寸法を有する構造的要素を使用し、所要のフィルタリング結果を達成するために要求される繰り返し回数を増加することにより得られる。
例えば、理論的には、ｄ’を、理想的またはノイズのない条件で１回の繰り返しにおいて格子または他のオクルージョン形体を完全にフィルタ処理で除去または取り除くために要求される円形構造的要素の直径とする場合は、直径ｄの構造的要素は近似的に同一のフィルタリング結果を、理想条件においてＮ＝ｄ’／ｄ回の繰り返しで達成するであろう。しかし実際には、図６Ｆに示す不十分な結果が示すように、「あまりにも小さすぎる」３×３の構造的要素に対しては、円形構造的要素を制限して寸法ｄを有するようにすることが望ましく、この寸法ｄは、行列に沿って配置されたピクセルの集合体が、正確なフィルタリングを提供するために十分な解像度を持つ円を近似できるのに十分な大きさである。
【００４３】
より一般的には、他の形状を有する構造的要素もまた、この基準を満たす寸法を有するべきである。一般的に、構造的要素の寸法が増大すると、その曲線エッジ及び／または角の形状は、行列に配置された離散ピクセルの集合体によって、より正確に近似されることになる。前述した影響を克服し、実際の画像のノイズによる潜在的なフィルタリング欠陥を克服するフィルタリング処理を付加的に提供するには、ディスク形状または円形構造的要素の十分な近似の提供が望まれる種々の実施形態において、直径を限定して少なくとも７ピクセル分とする。ディスクのより良好且つ信頼性のある近似のためには、ディスクの直径は少なくとも１３ピクセル分であり、ディスクの更に良好且つ信頼性のある近似のためには、ディスクの直径は少なくとも１７ピクセル分である。更に、フィルタ処理で除去されるオクルージョン形体が、棒の幅または厚さＴを有する格子の場合は、種々の実施形態において、フィルタリング速度と信頼性のある完全なフィルタリング処理との間の合理的なつり合いを提供するために、ディスクの直径ｄを、上記にその概要を示したように最低許容値と少なくとも同じ大きさに設定するか、または約ｄ＝２Ｔ＋１の、簡単且つ十分なデフォルト値を提供するか、いずれかの大きいほうの値を設定または提供することは好都合である。
【００４４】
種々の実施形態において、種々のフィルタ処理済み画像形体の見かけの位置における空間的移動または偏りを引き起こすことを避け、且つ最良のフィルタリング正確性を提供するためには、構造的要素の直径が奇数個のピクセルに相当することは有利である。そのような場合、構造的要素のピクセルは構造的要素の中心ピクセルの周りに対称に分布され、フィルタリング操作が、繰り返しの間、対象領域（または画像）における種々のピクセルアドレス位置で実行されるときに、中心のピクセルは各現在のピクセルアドレス位置に明瞭に対応する。中心ピクセルの周りに対称にある構造的要素を提供することは、構造的要素の直径または長さが小さいときに特に重要である。
【００４５】
形態学的フィルタリング操作に使用される繰り返し回数に関して、繰り返し回数は、その概要を上記に述べたように、理想条件において要求される最低繰り返し回数Ｎ＝ｄ’／ｄよりも若干大きく決定してもよい。一つの代案として、ノイズなどを含む現実的な画像取得条件においては、Ｎ＋３回の繰り返しを使用して信頼性のあるフィルタリング結果が保証されるようにしてもよい。特別な形体に対して要求される最低繰り返し回数に基づいて繰り返し回数を能動的に決定する一つの代案として、構造的要素の寸法を単に所定のデフォルト値に設定し、繰り返し回数を、完全なフィルタリングが保証される、対応する所定のデフォルト値に設定してもよい。例えば、オクルージョン形体が棒の幅または厚さＴを有する格子の場合、構造的要素の寸法をｄ＝２Ｔ＋１のデフォルト値に設定し、繰り返し回数を５回の繰り返し分のデフォルト値に単に設定してもよく、この繰り返し回数は、合理的なフィルタリング速度を維持しながら、ノイズのある画像に対しても効果的なフィルタリングが保証される、控えめに「増大された」値である。オクルージョン形体、例えば、格子が完全に除去されたとしても、対象形体の境界は滑らかでないという場合もあるということに注意すべきである。そのような場合、繰り返し回数をより滑らかな境界にするために増加することも可能である。
【００４６】
画像からオクルージョン形体をフィルタ処理で除去し、長方形形体及び／または直線エッジの測定を容易にすることに関して、最適な構造的要素は直線形状の要素、つまり、十分な長さと幅を有する直線状または長方形要素である。
図７Ａ〜図７Ｃは、直線状構造的要素を、直線状形体を含む画像に適用する、本発明に係る形態学的フィルタリング処理の種々の態様を例示している。図７Ａは、倍率５倍で撮影した６４０×４８０ピクセルである画像を示しており、この画像は検査対象の形体である中心に位置している直線状形体７０１を、それを囲むエリアと共に含み、これら全てはオクルージョン格子により覆われている。図７Ｃに示す直線状構造的要素７０２に類似した近似的に直線状構造的要素が図７Ａに示す画像に適用される場合、本発明に係る拡張／浸食処理を使用してオクルージョン格子が中心に位置する直線状形体７０１から除去されると、これにより生成されるフィルタ処理済み画像は図７Ｂに示される。具体的に、図７Ｂに示す結果を生成するために、直線状形体７０１のエッジに平行に方位付けられ、且つＬ＝２７ピクセルの長さとｗ＝１ピクセルの幅を有する直線状構造的要素に対して５回の拡張／浸食の繰り返しを含む形態学的フィルタリング処理が使用された。図７Ｂに示すように、直線状形体７０１はその内部からオクルージョン格子を完全に除去しており、これは本発明の目的のためのオクルージョン形体の十分かつ完全な除去を構成しており、図７Ｂに示す直線状形体７０１のエッジの位置は、図７Ａに示すオクルージョンされた直線状形体７０１のエッジの位置と大きくかけ離れることはなく、これは所望の結果である。長方形形体を囲む領域における周期的に分布されたギザギザ線のアーティファクトは、現れた直線状形体７０１の所望のエッジの検出及び測定を妨害するわけではないことは理解されるべきである。
【００４７】
図７Ｂに図示するように、本発明に係る拡張／浸食処理は、検査対象の形体を、その内部にオクルージョン形体及び余計なノイズ画像（artifact）がないように保存する。従って、保存済み形体の内部から走査を開始するエッジ検出ビデオツールの走査方向（図５に示す種々のビデオツールにおいて矢印の先頭の方向により示す）を単純に方位付けることにより、保存済み形体の所望のエッジは信頼性を持って見つけることができる。最初に遭遇するエッジは、このように所望のエッジである。従って、本発明に係る種々の例示的実施形態において、本発明に係る形態学的フィルタを検査操作に適用すると、関連するエッジ検出ツールの走査方向は、それが検査対象の形体の内部で開始するように、手動で、半自動的、または自動的に決定される。または、検査操作を定義する場合、図４と図５に示す種々のビデオツールを参照して前述した「＋」形状のエッジセレクタを使用して、検出対象の所望のエッジを、ギザギザ線のアーティファクトのエッジなどの近接するエッジから効果的に区別することは、従来通りである。しかし、所望のエッジのみを検出するこの方法は、前述した走査方向技術ほどの信頼性はない。もちろん、強固さが向上するには、両者の方法を一緒に使用してもよい。
【００４８】
直線状構造的要素７０２の例示されているサイズは、図７Ａと図７Ｂのスケールに関して誇張されていることは理解されるべきである。長方形構造的要素である直線状形体７０１の寸法ｗは一般的に、検査対象のエッジを有する形体の幅よりも小さく、または大幅に小さく決定される。特に、オクルージョン要素（オクルージョン格子棒のエッジなど）のエッジが検査対象の形体のエッジに平行でないことが保証される、及び長方形または直線状構造的要素が、検査対象のエッジに少なくとも略平行となるように矛盾せずに整列できることが保証される種々の適用においては、長方形または直線状の構造的要素の寸法ｗが少なくとも１ピクセル分であれば十分である。しかし、オクルージョン要素（オクルージョン格子棒のエッジなど）のエッジが、検査対象の形体のエッジに実質的に平行であるような特別な場合においては、幅ｗ＝１ピクセルを有する直線状構造的要素に平行な方向に沿うオクルージョン形体を取り除くことはできない。しかし、そのような場合の簡単な解決策は、例えば、３ピクセル分以上の厚さまたは幅寸法ｗを有する長方形構造的要素を使用することである。このように、種々の例示的な実施形態において、少なくともオクルージョン要素のエッジが検査対象の形体のエッジに平行、またはほぼ平行な場合は、本発明の方法を組み込んでいるパートプログラムに使用される直線状タイプの構造的要素は、少なくとも、３ピクセル分の幅ｗを有する。これにより、検査対象の形体の内部から「平行な」オクルージョン要素さえも削除されることが保証される。
【００４９】
長さ寸法Ｌに関して、理想的には、検査対象の形体近傍の所望の領域または対象領域において１回の拡張／浸食の繰り返しで格子のようなオクルージョン対象を効果的に除去するためには、長さＬは、オクルージョン形体の関連スパンを完全に覆うために十分な長ささえあればよい。構造的要素が検査対象の直線状タイプの形体のエッジに近似的に平行に方位付けられていると仮定すると、関連スパンは、検査対象の形体近傍の所望の領域または対象領域で、検査対象の直線状タイプの形体のエッジの方位に平行な方向に沿うオクルージョン形体に含まれるピクセルの最長連続スパンである。
【００５０】
種々の実施形態または適用において、最も速いフィルタリング操作は、関連スパン長よりも大幅に小さい長さを有する構造的要素を使用し、所望のフィルタリング結果を達成するために要求される繰り返し回数を増加することにより得られる。例えば、理論的には、Ｌ’を、１回の繰り返しにおいて格子または他のオクルージョン形体を完全にフィルタ処理で除去または取り除くために要求される直線状タイプの構造的要素の長さとする場合は、長さＬ’／Ｎの構造的要素は近似的に同一の結果を、Ｎ回の繰り返しで達成するであろう。繰り返し回数が増加したにも拘わらず、構造的要素がより小さいサイズのため、そのような実施形態は実際には、要求された複数回のフィルタリング操作を、相対的により長い構造的要素を使用する前述した１回のフィルタリング操作を実行するのにかかる回数よりも少ない回数で実行できる。
【００５１】
しかし、他の考察によれば、ある実施形態または適用においては、寸法Ｌが、直線状タイプの構造的要素を所望の角度の解像度及び正確性を伴って方位付けることができることが保証されるために十分なデフォルトの長さを有するように制限されることもある。見かけ上の方位を有しない円形構造的要素とは対称的に、直線の辺を有する形態学的な構造的要素の形状、及び具体的には、長方形及び直線状要素のような直線状タイプの構造的要素は、所望の正確性を有するフィルタリング結果を生み出すために、検査対象の形体の直線エッジに関して、適切に方位付けられなければならない。一般的に、直線状タイプの構造的要素の軸が、検査対象のエッジ形体に平行であることに近ければ近いほど、それだけより正確に、フィルタリングはエッジの直線性と位置を保存し、それに続く検査と測定の結果はそれだけより正確となる。
【００５２】
この点に関して、構造的要素の長さの重要性を明確にするために、２ピクセル分の長さを有する構造的要素を考察する。構造的要素ピクセルの行列配置に対しては、２ピクセル分の長さと１ピクセル分の幅を有する構造的要素は、０°、４５°、及び９０°のみの意味のある角度方位を有することは理解されよう。つまり、二つの隣接するピクセルに対する唯一の選択肢は、一つの行、一つの列、または対角線に沿うかのいずれかである。このように、意味のある方位の解像度はわずか４５°である。一般的に、構造的要素の長さが増加すると、意味のある角度方位の解像度は向上する。例えば、構造的要素が約５８ピクセル分の長さを有する場合、約１°の意味のある角度方位の解像度が提供され得る。検査対象の直線状形体の（理想的な）直線状エッジは、エッジに平行でない直線状構造的要素により引き起こされるアーティファクトを示すことが一般的である。この影響は、例えば、図７Ｄに示す。
【００５３】
具体的に、図７Ｄに示す結果を生み出すためには、Ｌ＝２７ピクセルの長さとｗ＝１ピクセルの幅を有する長方形／直線状構造的要素に対して５回の拡張／浸食の繰り返しを含む形態学的フィルタリング処理を使用した。直線状構造的要素は、検査対象の直線状形体のエッジに関して２°だけずらして並べた。図７Ｄに示すように、格子は除去されたが、現れた直線状形体７０１’は、不規則なエッジという結果になるエッジのアーティファクトを含む。これは、相対的に高い正確性の検査と測定結果が望まれている場合は、許容できるフィルタリング結果ではない。この例は、構造的要素を適切に方位付け、本発明に係る形態学的フィルタリングを提供することの価値を強調しており、このことは、直線状タイプの構造的要素の場合は、構造的要素が、十分な角度解像度で検査対象のエッジに平行に方位付けることを可能にする長さを有することを要求する。もちろん、特別な検査測定に対する正確性の条件により構造的要素を方位付けるために要求される角度解像度が決定され、今度はそれが、要求される構造的要素の長さを決定する。従って、要求される検査の正確性が相対的に低い場合は、相対的により短い構造的要素が許容される。
【００５４】
このように、少なくとも一つの直線状のエッジを有する構造的要素に対する、少なくとも１°の意味のある角度方位の解像度を提供することが望まれている種々の実施形態においては、直線状エッジは少なくとも５８ピクセル分の長さを有する。同様に、相対的により低い正確性が許容される実施形態においては、２°、５°、または１０°の角度方位のそれぞれに対して、少なくとも一つの直線状エッジは２９ピクセル分、１２ピクセル分、または６ピクセル分の長さそれぞれを有する。より一般的には、約Ｋ°の角度解像度を提供するためには、少なくとも一つの直線状エッジは［１８０°／（π＊Ｋ°）］ピクセル分の長さを有する。直線状または長方形構造的要素に対する方位及び／または長さを手動で、半自動的に、または自動的に選択または調整することに関する種々の考察及び方法は下記により詳細にその概要が記述される。
【００５５】
直線状タイプの構造的要素の最大長さＬに関して、仮説的に、１回の繰り返しで格子のようなオクルージョン形体をきれいに除去したい場合は、直線状の構造的要素は、検査対象の直線状形体のエッジの方位に平行な方向に沿うオクルージョン形体に含まれるピクセルの最大幅の連続スパンを完全に跨ぐように、十分な長さＬであることが必要となり、これによりオクルージョン形体がきれいに除去される。オクルージョン格子の場合、この線の長さＬは図８を参照して記述される下記の処理に従って算出してもよい。
【００５６】
図８は検査対象の線またはエッジ形体８０１と、不要なオクルージョン格子８０２の一部を模式的に示している。Ｇａが格子の方位角（基準軸からの）を示し、Ｔが格子棒の幅または厚さを示し、そしてＬａが検査対象の線またはエッジ形体８０１の方位（基準軸に関して）を示すとする。本発明によれば、Ｌａもまた関連する構造的要素の理想的な方位となる。φ＝（Ｌａ−Ｇａ）が線またはエッジ形体８０１、または関連ある構造的要素の、格子に関しての方位を示すとする。図８に例示するように、線またはエッジ形体８０１、または構造的要素の方向に平行な方向に沿うオクルージョン格子８０２に含まれるピクセルの最長連続スパンは、格子棒が交差する角をまさにかすめて通る格子棒に対する内部の線に沿っている。この線に沿う格子ピクセルの連続スパンの長さＬは、名目上下記の式１のようになる。
【００５７】
【数１】
【００５８】
この式によれば、線の方位及び格子の方位が整列すると、つまり、φ＝０°、９０°、１８０°、または２７０°の場合、長さＬは理論的には無限大となる。しかし、オクルージョン形体が格子または他のタイプの対象物であるかに拘わりなく、実際はＬの最大有効値は、フィルタ処理される領域に含まれる最大寸法を超えることは確かにない。種々の実施形態または適用において、現在の個々のビデオツールに関連して定義された現在の対象領域のみがフィルタ処理され、その場合、寸法Ｌの最大有効値は、現在の対象領域の近似的な対角線の寸法を超えることは確実にない。全体の画像がフィルタ処理される実施形態または適用においては、寸法Ｌの最大有効値は画像の近似的な対角線の寸法を超えることは確実にない。そのような相対的に長い長さが構造的要素に使用され、フィルタリング操作が、繰り返しの間、対象領域（または画像）における種々のピクセルアドレスの位置で実行されると、特別なピクセルアドレスに関連する対象領域（または画像）を超えて延伸する構造的要素の部分は無視される。
【００５９】
しかし、多くのオクルージョン格子配置に対して、式１に従って決定されるＬの値は、上記の対角線の寸法よりも小さいであろう。そのような場合、特別な形体または画像に対して式１に従って決定されるＬの値を得るための価値ある目的は、その特別な形体または画像に対するＬの値が、前述した対角線の寸法、または特別な実施形態または適用に適用される他のデフォルトの構造的要素の最大長未満かどうかを決定することである。つまり、オクルージョン格子に対しては、式１に従って決定された長さより大きい構造的要素の長さは、相対的にノイズのない画像において画像フィルタリング結果をそれほど大幅に向上させることはありそうもなく、相対的にゆっくりしたフィルタリング操作という結果になる。このように、種々の実施形態において、フィルタリング操作に、所望のフィルタリングの結果を生み出すために必要以上に長い時間がかかることがないことが保証されるために、構造的要素の長さは近似的に、上記に概要を記述したように決定してもよい関連スパンの長さ以下に制限される。前述したように、構造的要素の長さが関連スパンの長さ未満の場合、信頼性を伴ってオクルージョン形体を除去するためには複数回の拡張／浸食の繰り返しが要求される。理論的には、Ｌ’が理想的条件において（例えば、ノイズのない条件）で１回の繰り返しで格子または他のオクルージョン形体を完全にフィルタ処理で除去または取り除くことができる直線状タイプの構造的要素の長さの場合、Ｎ＝Ｌ’／Ｌの繰り返し回数で、理想の条件においては長さＬの構造的要素に対して、近似的に同一の結果を達成できる。
【００６０】
円形構造的要素を参照して上記に検討した考察と同様に、オクルージョン形体が、棒の幅または厚さＴを有する格子の場合、種々の実施形態において、式１を参照して上記に概説したように直線状タイプの構造的要素の長さを設定すること、またはＬ＝２Ｔ+１と近似的に同じ大きさの、簡単で十分なデフォルト値を提供することのいずれか大きな値を設定または提供することは、フィルタリング速度と、信頼でき且つ完全なフィルタリングとの間の合理的なかね合いのためには好都合である。更に、種々の実施形態において、種々のフィルタ処理済み画像形体の見かけ上の位置における空間的な移動または偏りを引き起こすことを避けるため、そして最良のフィルタリング正確性を提供するためには、直線状タイプの構造的要素の長さＬが奇数個のピクセルに対応することは、前述した理由により有利である。
【００６１】
更に、直線状タイプの構造的要素を使用する形態学的フィルタリング操作に対して使用される繰り返しの回数は、上記に概説したように、理想的条件下で要求される最小繰り返し回数Ｎ＝Ｌ’／Ｌより若干大きく決定してもよい。例えば、一つの代案として、Ｎ＋３回の繰り返しを使用して信頼性のあるフィルタリングの結果を保証することができる。また、ある適用及び／または形体に対して、直線状タイプの構造的要素の長さと、対応する繰り返し回数は、完全なフィルタリングを保証する所定のデフォルト値に単純に設定してよい。例えば、棒の幅または厚さＴを有するオクルージョン格子に対しては、構造的要素の長さがデフォルト値のｄ＝２Ｔ＋１に設定されるときは、繰り返し回数は単純に５回の繰り返し分のデフォルト値に設定してもよく、この値は、合理的なフィルタリング速度を維持しながら、ノイズのある画像を含めて、典型的な画像のほとんどまたは全てにおける対象領域に対する効果的なフィルタリングを保証する控えめに「大きな」値である。
【００６２】
種々の実施形態において、構造的要素の選択を支配する特性のいずれかまたはその全て、及び構造的要素に適用される繰り返し回数は、被加工物に対するパートプログラムに含まれる種々のパラメータと命令を決定する「学習モード」またはトレーニングフェーズ中に、手動で、半自動的に、または自動的に決定してもよい。パートプログラムは記録されて、その後、被加工物を検査するために操作のランモードまたはランフェーズ中に再呼び出しされて自動で実行されてもよい。例えば、種々の適用において、そのような特性は、それに制限されるわけではないが、不要な格子の厚さ及び／または方位、不要な格子の関連寸法、または他のオクルージョン形体、フィルタ処理され検査される直線状形体の方位、対象領域の寸法などを含んでもよい。
【００６３】
ここで開示されたシステムと方法を使用して、ここに含まれる種々の図に示されるような、格子によりオクルージョンされたエッジ形体に対する実験により得られた位置正確性は、０〜１μｍの範囲であり、同様にオクルージョンされた円の直径に対する位置正確性は１〜２.５μｍの範囲である。０.１μ未満の実験的測定繰り返し性が達成された。これらの誤差は、同一な画像に対する一般的なフィルタリング方法を使用して得られたものよりも小さく、最大で５０〜７５％である。このように、本発明に係る形態学的フィルタリングシステム及び方法を使用して、より最新ではないフィルタリング方法、または包括的フィルタリング方法では得られなかった正確性及び繰り返し性のレベルである、ミクロンまたはサブミクロンの正確性及び繰り返し性でオクルージョンされた形体を測定する既存の機械視覚検査システムビデオツールと連携して使用できる、具体的にフィルタ処理された画像または画像部分を提供できることは理解されよう。
【００６４】
図９は、不要な形体を有する被加工物を検査するための一般的ルーチン９００の一つの例示的な実施形態を示すフロー図である。ブロック９２０において、検査対象の被加工物形体と、検査対象の形体に近接する不要な形体（例えば、格子）を含む画像を取得する。ブロック９３０において、検査対象の被加工物形体を含む画像の少なくとも一部分上で視覚システムにより実行される操作に対して対象領域が定義される。ブロック９４０において、少なくとも対象領域で視覚システムにより実行されることになっている構造形態学的操作が実行される。ブロック９５０において、構造形態学的画像が格納される。ブロック９６０において、対象領域で視覚システムにより実行される操作が、構造形態学的画像における対応する位置で実行される。ブロック９７０において、操作結果、が取得した画像に対する結果として生み出される。ルーチン９００の操作は、手動被加工物検査操作を実行するために、手動モードで実行してもよい。他の例において、それらの操作は、パートプログラムに記録される形態学的フィルタリング操作を含む検査手順を定義するために、手動で、半自動的に、または自動的に学習モード／トレーニングモードで実行してもよい。更に他の例において、それらの操作は、形態学的フィルタリング操作を含む一連の被加工物検査指令を含むパートプログラムの自動実行中に実行してもよい。
【００６５】
図１０は、構造形態学的操作を実行するためのルーチン１０００の一つの例示的な実施形態を示すフロー図である。一つの実施形態において、図１０の構造形態学的操作を、図９のブロック９４０において実行してもよい。図１０に示すように、ブロック１０２０において、対象領域において検査対象の被加工物要素または形体の形状及び／または方位の適用できる特性が決定される。ブロック１０３０において、対象領域における不要な形体の適用できる特性が決定される（例えば、格子の幅または厚さ、方位、関連寸法など）。ブロック１０４０において、構造的要素の形状、方位、及び寸法が、ブロック１０２０と１０３０の操作で得られた情報に基づいて決定される（例えば、直径、長さ、幅、または厚さなど）。種々の実施形態において、ブロック１０４０における方位及び／または寸法を決定する際に、方位及び／または寸法に適用可能な操作上のデフォルトの限度を考慮してもよい。そのようなデフォルト限度の種々の例は前述した。
【００６６】
ブロック１０５０において、少なくとも検査対象の形体の内部から不要な形体を除去するのに必要な形態学的処理の繰り返し回数は、以前に得た情報に基づいて決定される。種々の実施形態において、繰り返し回数の決定は、ブロック１０２０と１０３０のいずれか、または両方の操作で得られた情報に基づいてよい。種々の実施形態において、繰り返し回数を決定する際にも、例えば、ブロック１０４０において以前に決定されたデフォルト寸法に関連する可能性のある操作上のデフォルトの繰り返し回数を考慮してもよい。形体特有の繰り返し及び／または繰り返しのデフォルト回数を決定する種々の例は前述してある。ブロック１０６０において、所望の形態学的処理操作が、決定された構造的要素と繰り返し回数に基づいて、少なくとも対象領域上で実行される。ブロック１０６０の操作に続いて、ルーチンは終了する。
【００６７】
図１１は、画像中の不要な形体の支配的な関連寸法の手動決定を実行するルーチン１１００の一つの例示的な実施形態を示すフロー図である。種々の実施形態において、ルーチン１１００は図１０のブロック１０３０、または図１３に示すルーチン１３００のブロック１３７０において実行してもよい。図１１に示すように、ブロック１１１０において、不要な形体の支配的な関連寸法の手動決定は、現在の画像、関心領域（ＲＯＩ、Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）、または検査対象の形体に対して開始する。ルーチン１１００の操作は、手動の被加工物検査操作を実行するために手動モードで実行してもよい。他の例において、ルーチンの操作は、パートプログラムに記録される形態学的フィルタリング操作を含む検査手順を定義するために学習モード／トレーニングモードにおいて手動で、半自動的に、または自動的に実行してもよい。ブロック１１２０において、現在の画像、関心領域、または検査対象の形体に関連する不要な形体の最長オクルージョンスパンの位置は、視覚的に、またはいかなる現在公知のまたは、後に開発されるビデオツールなどの支援により特定される。ブロック１１３０において、視覚システムビデオツールなどが最長オクルージョンスパンの測定に使用される。いくつかの導入において、オクルージョンスパンが繰り返し形体またはパターンの一部である場合は、パターンのいずれかの場所に含まれる適切な代表的スパンを測定してもよい。ブロック１１４０において、不要な形体の支配的関連寸法が決定、格納され及び／または導入される。場合によっては、最長オクルージョンスパンは支配的関連寸法と決定してもよい。種々の実施形態において、ブロック１１４０における支配的関連寸法を決定する際にも、支配的関連寸法へ適用可能ないかなる操作上のデフォルト限度を考慮してもよく、デフォルト限度は、最長オクルージョンスパンとの比較に基づいて支配的関連寸法として決定してもよい。そのようなデフォルト限度の種々の例は前述した。
【００６８】
支配的関連寸法を、手動検査操作に使用される構造的要素の特性を決定するために導入してもよい。または、後の被加工物の自動検査に使用される構造的要素の特性を決定するために、支配的関連寸法をパートプログラムに格納または導入してもよい。
【００６９】
図１２は、検査対象の形体に近接する不要な形体の支配的関連寸法を半自動、または自動で決定するためのルーチン１２００の一つの例示的な実施形態を示すフロー図である。種々の実施形態において、ルーチン１２００を図１０のブロック１０３０または図１３に示すルーチン１３００のブロック１３７０で実行してもよい。図１２に示すように、ブロック１２１０において、不要な形体の支配的関連寸法の半自動または自動決定は、現在の画像、関心領域、または検査対象の形体に対して開始する。ルーチン１２００の操作は、半自動または自動操作として、例えば、手動被加工物検査操作を実行するために操作の手動モード中に使用されるビデオツールの基盤となる操作として実行してもよい。他の例において、ルーチンの操作は、パートプログラムに記録される形態学的フィルタリング操作を含む検査手順を定義するために学習モード／トレーニングモードにおいて実行される半自動または自動操作であってよい。更に他の例において、ルーチンの操作は、形態学的フィルタリング操作を含む一連の被加工物検査命令を含むパートプログラムの実行中にフィルタリング特性またはパラメータを決定または改良するための操作のランモード中に自動で実行してもよい。
【００７０】
ブロック１２２０において、不要な形体の形状は、現在公知の、または後に開発される手段のいずれかにより特定、入力、または指定される。例えば、操作のトレーニングモード中に、ユーザーは形状のタイプを形状メニューまたはライブラリから、またはテキストまたは図の入力により、またはテンプレートとして使用される形状を特定することにより選択または入力してもよく、または形状は図形パターン認識などにより特定してもよい。操作の自動ランモード中に、不要な形体形状などの形状タイプまたはテンプレートをメモリから再呼び出ししてもよく、パートプログラム命令により指定してもよい。一例として、不要な形体が格子の一部である場合、格子に関する対象領域のサイズに従って、形状は格子の一つ以上の棒に対応する長方形であってもよく、格子の一つ以上の交点に対応するＸ形であってもよく、または格子の一つ以上の矩形状のセルに対応する形状またはパターンなどであってもよい。
【００７１】
ブロック１２３０において、パターンマッチングアルゴリズムを利用して関心領域（または、他の実施形態において、現在の画像のより大きな領域）における指定された不要な形体形状の例の場所を特定する。ブロック１２４０において、指定された不要な形体形状の複数の例が関心領域（または、他の実施形態において、画像のより大きな領域）に存在する場合、形状の一つ以上の関連例が特定及び／または選択される。一例として、自動操作中、関連例が現在の関心領域に含まれる例、エッジセレクタの場所または点ツールの場所に最も近接した、または十分に近接した中心を有する例として選択されてもよく、それは対象領域において検査される現在の形体に対して検査操作を定義するために使用される。他の例として、操作の学習モード中に、複数の例は表示スクリーン上の被加工物画像に示されてもよく（例えば、着色された形状の外形または塗りつぶしたものなどにより示す）、ユーザーは好ましい例を手動で、ユーザーインターフェースを介して特定または選択してよい。
【００７２】
ブロック１２５０において、アルゴリズムを利用して最長オクルージョンスパンを測定し、不要な形体の支配的関連寸法を決定する。例えば、検査される現在の形体が直線状エッジの場合、アルゴリズムは、エッジの方位を入力、再呼び出し、または決定すること、及びエッジの方位に平行な多数の走査線に沿う不要な形体形状の関連例に含まれる隣接ピクセル数を評価することを含んでよい。決定された隣接ピクセルの最大数は最長関連寸法に対応する。そして、ブロック１２６０において、支配的関連寸法が決定、格納及び／または導入される。場合によっては、最長オクルージョンスパンを、支配的関連寸法として決定してもよい。種々の実施形態において、ブロック１１４０における支配的関連寸法を決定する際もまた、支配的関連寸法に適用可能ないかなる操作のデフォルト限度を考慮してもよく、デフォルト限度は、最長オクルージョンスパンとの比較に基づいて支配的関連寸法として決定してもよい。そのようなデフォルト限度の種々の例は前述した。
【００７３】
支配的関連寸法は、手動検査操作のために使用される構造的要素の特性を決定するために導入してもよい。または、操作の学習モード中に、支配的関連寸法は、後の被加工物の自動検査に使用される構造的要素の特性を決定するために、パートプログラムに格納または導入してもよい。更に、操作のランモード中に、支配的関連寸法は、パートプログラムの実行中に使用されるフィルタリング特性またはパラメータを決定または改良するために導入してもよい。
【００７４】
図１３は、構造的要素の特性を決定するためのルーチン１３００の一つの例示的な実施形態を示すフロー図である。ルーチン１３００の操作は機械視覚検査システムの手動検査または操作の学習モード中に実行されるのが一般的である。しかし、ルーチンの操作は、場合によっては操作のランモード中に、同一のパートプログラムによって検査できる部分間の小さなバラツキに順応するために、構造的要素の特性を自動的に改良するように適合することもある。一つの実施形態において、ルーチン１３００は図１０のブロック１０２０〜１０４０において及び／または図９のブロック９４０の操作において利用してもよい。図１３に示すように、ブロック１３１０において、構造的要素の特性の決定を開始する。ブロック１３２０において、検査対象の被加工物形体の表現が、この後に続くルーチン１３００の操作のために再呼び出しされ、及び／または入力される。種々の実施形態または適用において、被加工物形体の表現は、ＣＡＤデータ、ＣＡＤデータに基づいてシミュレートされた画像、または、被加工物形体を含む実際の画像などを含んでよい。
【００７５】
決定ブロック１３３０において、被加工物の形体表現は、検査対象の被加工物形体が、予め定義された構造的要素の候補形状の集合体に含まれているいずれかの形状に対応するか（つまり、正確にフィルタ処理され得るか）を決定するために解析される。ここに前述したように、一般的には、構造的要素の形状は検査対象の形体または形体の部分に整合するように選択される。このように、利便性のため、本発明に係る機械視覚検査システムは、予め定義されたタイプの構造的要素の候補形状の集合体を定義する、ライブラリ、メニュー、またはリストなどを含んでよく、それらは、例えば、直線及び／または一つ以上の一般四角形状（前述したように、直線状形体とエッジのフィルタ処理に使用可能）、直角の「Ｌ−形状」パターン（角のフィルタ処理に使用可能）、円（円または円形部分のフィルタ処理に使用可能）、定曲率の円弧（環状形状部分のフィルタ処理に使用可能）、一つ以上の一般三角形状（三角形状のフィルタ処理に使用可能）、または検査対象の形体の形状として共通して生じることが予想される他のいかなる形状を含んでもよい。被加工物形体が、予め定義された形状の一つに対応するかどうかの決定は、例えば、視覚認識または比較、幾何学的解析及び分類、幾何学的パターンマッチング（これはまた、形態学的形状バラツキを含むこともある）、またはテンプレートマッチングなどにより、操作の手動モードまたは学習モード中に、手動で、半自動的に、または自動的に実行してもよい。
【００７６】
検査対象の被加工物形体が予め定義された構造的要素の候補形状の集合体に含まれるいずれかの形状に対応する場合は、操作はブロック１３４０において継続され、そこで構造的要素の形状がそれに従って設定される。種々の実施形態において、正確なフィルタリングが要求された場合は、一般形状の種々の角度及び／またはアスペクト比などをブロック１３４０の操作において変更または適合して、検査対象の形体により良好に整合するようにしてもよい。ブロック１３４０においてもまた、構造的要素の形状によりその方位が認識できるのであれば、検査対象の形体の方位は手動で（一般的には、機械視覚検査システムの一つ以上のビデオツールの支援による）、半自動的に、または自動的に決定される。そして、構造的要素の方位は、検査対象の形体の方位に平行であると定義され、関連する方位パラメータまたは特性は後の使用のために、パートプログラムに格納及び／またはフィルタリングに使用される構造的要素に導入してもよい。直線状の形体の方位を自動的に決定する種々の態様については、更に下記で検討する。
【００７７】
ブロック１３３０において、被加工物形体が予め定義された形状のいずれにも対応しないと決定された場合（例えば、それが不規則な形状、または形状の組み合わせの場合）、操作はブロック１３５０で継続され、そこで被加工物の形体形状が、現在公知の方法、または後に開発される方法のいずれかにより被加工物の形状表現から抽出または決定される。例えば、形体のエッジまたは境界を、種々の公知の画像処理技術により特定し、及び／または完成し、滑らかにしてもよく、または検査対象の形体を、領域成長技術または他の公知の画像処理技術により塗りつぶして、エッジまたは境界が現れるようにしてもよい。結果として現れた形体の形状は、公知の画像処理技術により「抽出」されて、構造的要素の形状として使用される。そのような場合、構造的要素は幾何学的に検査対象の形体と類似したものになる。ブロック１３５０においてもまた、構造的要素の形状により、その方位が認識できるのであれば（一般的には認識できる）、検査対象の形体の方位は、ブロック１３４０における類似の操作に対して前述したように決定、格納及び／または導入される。
【００７８】
ブロック１３３０またはブロック１３５０のいずれかから、決定ブロック１３６０において操作は継続し、そこでデフォルト寸法のあるタイプを構造的要素寸法に使用するかどうかが決定される。この決定は、構造的要素に対して使用される形状のタイプに基づいて、形態学的フィルタリング操作に対するデフォルト設定に基づいて半自動的または自動的に決定してもよく、またはユーザー入力により決定してもよい。種々の実施形態または適用において、特に検査対象の形体の特性に一貫性があり、予測可能な場合は、種々の構造的要素の形状に対してデフォルト寸法を確立すると好都合である。一般的に、デフォルト寸法を使用すると、未経験のユーザーが検査結果を取得及び／またはパートプログラムをより迅速に作成することが可能になる。この決定は、構造的要素に対して使用される形状タイプに基づいて、形態学的フィルタリング操作のためのデフォルト設定に基づいて半自動的または自動的に決定してもよく、またはユーザー入力によって決定してもよい。デフォルト寸法が使用される場合は、結果としての構造的要素のサイズは、検査対象の形体との関連において、デフォルト寸法によって決定されるレベルに縮小するのが一般的である。サイズ縮小の機能的及び／望ましいレベル、及び／またはデフォルト寸法に対して使用可能な最小サイズ（例えば、フィルタリング速度に関連して、効果的なフィルタリングのために要求される繰り返し回数、及び／または種々の形状に対する十分な形状または方位の解像度の提供など）は、円形及び直線状の形体及びその対応構造的要素に関連する前述のティーチング及び例からの類推によって理解及び導入してもよい。
【００７９】
決定ブロック１３６０においてデフォルト寸法の使用が決定されると、操作はブロック１３８０において継続し、そこでデフォルト寸法は構造的要素の寸法を決定するために適用される。決定ブロック１３６０においてデフォルト寸法を使用しないことが決定されると、操作はブロック１３７０において継続し、そこで検査対象の形体に近接するオクルージョン形体に対して支配的関連寸法が決定される。例えば、支配的関連寸法は、図１１または図１２を参照して記述された操作に従って決定してもよく、またそうでないときは、ここで指定する。そのような操作がブロック１３７０の操作に先立って実行されると、ブロック１３７０において、後に続く操作での使用のために支配的関連寸法の格納済みの値が単に再呼び出しされることもあり、そうでない場合は、そのような操作はブロック１３７０に含まれる。いずれの場合にせよ、ブロック１３８０において、支配的関連寸法は構造的要素の寸法を決定するために適用される。
ブロック１３９０において、形状、寸法、及び適用可能であれば方位のような構造的要素の特性を定義するパラメータまたはデータは、後の使用のためにパートプログラムに格納及び／またはフィルタリングのために使用される構造的要素に導入され、ルーチンは終了する。
【００８０】
図１４〜図２０は、本発明に係るシステムと方法と連係して使用可能な種々のグラフィカルユーザーインターフェース及びコントロール機能を例示しているスクリーン表示の図である。下記により詳細に記述されるように、本発明に係る種々の形態学的フィルタ操作を定義及び／または使用するためには、ユーザーはまずビデオツール（例えば、ボックスツール）を使用して対象領域を定義する。一つの実施形態において、ユーザーはその後、例えばツールの部分または機能をダブルクリックしてツールを操作し、その特定なツールのダイアログボックスを表示させる。「advanced」タブ上で、そして「filter type」リストにおいてユーザーは本発明に係る種々の形態学的フィルタリング操作の使用を可能または起動するために「morphology」を選択し、「parameters」をクリックする。これにより「morphology filter settings」ダイアログボックスが表示され、そこからユーザーは種々のフィルタ設定をプレビュー及び／または選択できる。
【００８１】
図１４は、円形被加工物形体を含む（図１４の画像ウィンドウ表示エリア１４１０の境界に近似的に一致する境界を有する）対象領域を定義するために使用されるボックスツールを例示するスクリーン表示１４００の図である。図１４に示すように、ボックスツールで選択された円形被加工物形体は表示エリア１４１０に表示される。ダイアログボックス１４２０は、マスク形状は、またはここでは構造的要素と称せられるが、予め定義された候補のリストから楕円として選択され、７９ピクセルという同一の行列寸法を有し、円を形成する。種々の実施形態において、寸法は初期段階でデフォルト値に設定してもよく、及び／または寸法は前述した原理に従う現在の画像に対して決定してもよく、ユーザーによって入力してもよい。ダイアログボックス１４２０の下部右隅にある反転表示の「Restore」ボタンは、表示画像が機械視覚検査システムのカメラから見える画像であることを示している。
【００８２】
図１５はスクリーン表示１５００の図であり、表示エリア１４１０は、ダイアログボックス１４２０のパラメータに従って定義された形態学的フィルタリング操作を図１４に示す画像に適用した結果のフィルタ処理済み画像を含む。一つの実施形態において、フィルタ処理済み画像が作成され、ダイアログボックス１４２０の下部右隅の「Preview」ボタンの起動に基づいて表示される。反転している「Preview」ボタンは、表示画像がダイアログボックス１４２０の設定に従ってフィルタ処理された画像であることを示している。この機能により、ユーザーはフィルタ設定の結果を適用する前に、またはフィルタ設定の結果をパートプログラムに組み込む前にそれらをプレビューすることができる。ユーザーは「Restored」画像と「Preview」画像とをボタンを使用して交互に切り替えることができ、ビデオツールを使用して二つの画像についての比較測定を実行することができる。
【００８３】
図１６は、拡張したフィルタ構成リストを示すスクリーン表示１６００の図である。図１６に示すように、ダイアログボックス１４２０は、「JESS」と「MLD」を含む種々のフィルタ構成設定を含む。この機能により、ユーザーは現在のフィルタ設定に名前を付けて保存することができる。例えば、特別な被加工物または形体を、同軸照明やステージ照明のように異なる照明条件で種々の態様を検査することがある。そのとき、適用されたいくつかの形態学的フィルタリング操作の態様の中には、構造的要素のサイズと形状は同一でありながら、異なるものがある。例えば、不要な形体（格子）が円形形体よりも明るく見えるときは、操作は「Opening」に設定すべきであり、他の全てのフィルタパラメータも同じである。これは別のフィルタ構成として格納でき、関連する照明条件になったときはいつでも再呼び出しすることができる。他の例として、これから検査される被加工物形体が異なる形状を有するときは、各形状に対応する構造的要素は、学習モード中に決定でき、対応するフィルタ設定値は、対応する形体を含む類似の被加工物の関連部分を、後にまたは繰り返し検査するときに関連付けられたフィルタ構成の名前を使用して容易に検索できるように保存できる。この機能を提供する主要な目的は、オペレータが容易に使用できることである。
【００８４】
図１７は、ダイアログボックス１４２０の種々の形態学的フィルタ設定を示すスクリーン表示１７００の図であり、長方形構造的要素の形状、またはここでは直線状タイプの構造的要素の形状と称される形状を含んでいる。図１７に示すように、表示エリア１４１０は、ボックスツールにより定義された対象領域を示し、長方形被加工物形体の選択されたエッジを含んでいる。ダイアログボックス１４２０は、マスク形状が長方形として選択されたことを示し、構造的要素の寸法が２７行１列として定義され、構造的要素に対し、測定するために選択されたエッジに平行に方位付けられたピクセルの直線を形成している。種々の実施形態において、寸法は初期段階においてデフォルト値に設定してもよく、及び／または寸法は前述の原理に従って現在の画像に対して決定し、ユーザーが入力してもよい。「Mask」、つまり、構造的要素は複雑及び／複合形状を有することができることは理解されるべきである。構造的要素は、ここで一般的に使用される単純な幾何学形状に限定されることはなく、図１７にリスト表示されている。保存される被加工物形体の形状に整合するほとんどすべての形状を有する更に複雑な構造的要素の形状を、形状の類似した複雑な被加工物形状を正確に保存するための形態学的フィルタリング操作のために設計する（または、前述したように実際の被加工物形状の画像から導出されたテンプレートから取り出す）ことができる。そのような複雑な構造的要素形状は、望むならば、図１７に示すリストに、適切に名前を付けて追加することが可能である。
【００８５】
図１８は、ボックスツールメニュー上のフィルタタイプのリストのオプションを示すスクリーン表示１８００の図である。図１８に示すように、ボックスツールダイアログボックス１４３０において、「Advanced」タブをクリックすることで、「Filter Type」リスト中で、ユーザーは、本発明に係る種々の形態学的フィルタリング操作の使用を可能及び／または起動するために、「Morphology」を選択できる。「Morphology」を選択すると、図１９に示すように、前述した「Morphology Filter Settings」ダイアログボックス１４２０が再呼び出しされる。図１９はまた、図１５を参照して前述したように、ダイアログボックス１４２０でのフィルタ設定の結果である表示エリア１４１０内のフィルタ処理済み画像を示す。図１８に示す実施形態において、ダイアログボックス１４３０には、「standard」、「brightness」、及び「texture」設定を選択するためのオプションと、形態学的フィルタ操作の定義に関連しないボックスツール操作の態様を支配する種々の閾値を設定するためのオプションが提供される。フィルタタイプのオプションは、「median」、「averaging」、「gaussian」、及び「morphology」と表示される。
【００８６】
図１９は、スクリーン表示１９００の図である。図１９に示すように、表示エリア１４１０において、ダイアログボックス１４２０のフィルタ設定は、図１５を参照して前述した方法で、図１８に示すカメラ画像のフィルタ処理済みバージョンを生成するように適用されている。ダイアログボックス１４２０は、マスク形状が「rectangle」であることを示している。ダイアログボックス１４２０において、検査対象の被加工物形体とオクルージョン形体の間の輝度関係に基づいて「operation type」が選択される。検査対象の形体が明るく、オクルージョン形体が暗いときは、「closing」操作が選択され、検査対象の形体が保存される。検査対象の形体が暗く、オクルージョン形体が明るいときは、「opening」操作が選択され、検査対象の形体が保存される。
【００８７】
図２０は、長方形構造的要素と検査対象の形体をお互い平行に方位付ける回転操作を例示するスクリーン表示２０００の図である。画像ウィンドウ表示エリア１４１０のボックスツールの方位と長方形構造的要素のための「Size」値は、図２０の図を作成する方法のアーティファクトである。その状態は、一般的に図２０に示す画像の検査には好ましくなく、有効でもない。それらは無意味と考えるべきである。
【００８８】
図２０に示すように、表示エリア１４１０において、長方形被加工物形体は４５°「回転」または方位付けられる。ダイアログボックス１４２０において選択された長方形構造的要素を検査対象の形体と平行に方位付けるには、ユーザーは、「Rotation」ダイアログエリアをクリックして回転（または方位付け）機能を「Enable」状態にし、「Angle」値ボックスで所望の回転角度を入力する。この値は、画像処理技術による画像から自動的に決定することもできるが、ユーザーによって予め決定されるのが一般的である。回転オプションがユーザーによって使用可能にされていない場合、構造的要素の軸をそのデフォルト方位から回転することはできない。「Optimize」機能が構造的要素を被加工物形体に自動的に揃えるために含まれている。これは、下記のような理由により有効である。まず、ユーザーが「学習」時において被加工物形体の方位の概略角度推定値を入力することを可能にし、概略角度推定値を中心とする所望の検索範囲（例えば、デフォルトの検索範囲である±１０または２０°）の「Optimize」機能を使用可能にし、この機能は、入力された概略角度推定値を中心とする検索範囲で、被加工物形体方位を正確に決定するためのいくつかの画像処理アルゴリズムを再呼び出しする。これにより、一般的に、ユーザーによって推定されるよりもより繰り返しが可能な、そしてより正確な方位角度の決定がなされ、またユーザーから正確な方位測定を行う負担が取り除かれる。二番目に、一般的に「学習」時に決定された名目上の値を中心とする最良の方位を検索し、構造的要素の方位のためのいかなる関連パラメータを調整することにより、被加工物形体の方位を自動的に再決定する（この方位は被加工物の固定時のバラツキまたは移動、及び／または製造時の寸法の変動によりわずかに変化している可能性がある）ことで、ランタイム時に最良の可能な構造的要素の整列を常に維持するオプションが提供されるからである。被加工物が測定中に正確に固定されていて、被加工物間で重大なバラツキが存在しなければ、ランタイム時の方位の自動的決定及び調整は不要である。しかし、被加工物形体画像の最高の正確度の形態学的フィルタを提供するためには、それはしばしば好ましい。いったん方位が決定されれば、構造的要素が形成され、形態学的操作が前述のように実行される。
【００８９】
図２１は、要求されたときに自動方位検出を実行する一般的なルーチン２１００の一つの例示的な実施形態を示すフロー図である。一つの実施形態において、ルーチン２１００は図９のブロック９４０、及び／または図１０のブロック１０２０、及び／または図１３のブロック１３４０と１３５０における操作に利用してもよい。より一般的に、ルーチン２１００の操作は、被加工物の構成または固定などにおけるわずかのバラツキに拘わらず正確なフィルタリング結果を提供するために、操作のランモード中のパートプログラムの命令に従って典型的に実行してもよく、このパートプログラムは検査対象の形体の方位を自動的に決定し、検査対象の形体に関して構造的要素の方位を改良または調整する。
【００９０】
例えば、一つの可能な実行例を示すと、図１４〜図２０について記述したようなユーザーインターフェースが使用され、操作の学習モードにおけるパートプログラムの作成中に「Enable」ボックスが図２０に示す「Rotation」ダイアログボックスでクリックされると、ルーチン２１００の操作は、検査対象の現在の被加工物形体に関連するフィルタリング操作のためのパートプログラムに含まれる対応する命令として実行可能である。しかし、ルーチンの操作は、それが構造的要素に対する名目上の方位パラメータとしてパートプログラムに記録できるように、手動の検査操作中のフィルタリング、または操作の学習モード中の被加工物形体の方位の半自動または自動決定に使用される構造的要素の方位を決定することに使用されることもある。種々のパートプログラムにおいて、構造的要素に対する名目上の方位は、ランタイム時に変更なしで使用され、または操作のランモード中に実行される類似の自動方位決定操作を導くパラメータとして使用されて、上記のように構造的要素の方位を改良または調整し、より強固な操作または最良かつ可能なフィルタリングの正確性を提供する。
【００９１】
ルーチン２１００の操作は決定ブロック２１１０において開始し、そこにおいて、検査対象の被加工物形体の方位を自動的に決定するかどうかの決定がなされる。例えば、操作の学習モードにおいてパートプログラムの作成中に、図２０に示す「Rotation」ダイアログボックスで「Enable」ボックスと「Optimize」ボックスの両方がチェックされたとき、関連付けられたフラグまたは命令がパートプログラムに含まれ、検査対象の被加工物形体の方位は自動的に決定されることが示される。被加工物形体の方位が自動的に決定されない場合は、ルーチンは終了する。
【００９２】
方位が自動的に決定される場合は、ルーチンはブロック２１１０からブロック２１２０へ継続され、そこにおいて被加工物形体の方位が、例えば、図２２を参照して下記のその概要を述べる方法のいずれか、または他の適切な現在公知の方法または後に開発される方法で決定される。この後、ルーチンはブロック２１３０において継続し、そこにおいてブロック２１２０の操作により方位角が、検査対象の被加工物形体に関連付けられたフィルタリング操作において構造的要素に対して使用される方位角として記録、出力及び／導入される。
【００９３】
ルーチン２１００は、検査対象の直線状形体に正確に整列された構造的要素を有することが重要な状況では特に有効である。言い換えれば、ここで開示した構造形態学的フィルタリング方法により提供された正確性は、適切に形成された構造的要素の形状が検査対象の被加工物形体にそれほどよく整列されていない場合さえ、多くの状況において有効であるが、一般的には、最良の正確性は、構造的要素の方位が被加工物形状の方位に可能な限りよく整列されたときに提供される。もちろん、一般的には、被加工物形体の方位を高い解像度と正確性で、そして可能であれば高速性を伴って決定することは望ましい。高速性は、検査操作のスループットが重要な要因となる、ランモード操作中には特に有効である。
【００９４】
下記に記述するように、被加工物形体の方位角は、投影ベクトルを使用する方法を使用することで、機械視覚検査システム上で、高い正確性で、相対的に短い実行時間で決定することが可能である。簡潔に述べれば、ここで使用される用語としての投影ベクトルとは、値の集合体であり、各値は正味の画像強度に対応し、この画像強度は、各投影方向に沿って含まれる各空間上の増分に対する画像の強度を合計するまたは投影線または投影面上に「投影」することにより決定される。完全な投影ベクトルは、同一投影方向に沿って決定され、投影線または面に沿う既知の場所にあるいくつかのそのような値から構成される。例えば、簡単な例として、画像を横切る水平方向は方位角０°に位置すると定義される。その場合、ピクセルの各水平の行に沿うピクセル強度値を合計すると、垂直投影線または面上への「０°」の投影方向に沿って決定される投影ベクトルに対する一つの個々の値が提供される。「０°」の投影方向に沿う完全な投影ベクトルは、一連の水平な行のピクセルに対して、連続して与えられるそのようないくつかの値から構成される。類推により、水平投影線または面上への「９０°」の投影方向に沿う完全な投影ベクトルは、一連の垂直な列のピクセルに対して、連続して与えられるそのような値から構成される。図２２は、投影ベクトルの概念を更に明確にし、直線状の形体または直線状のエッジの方位を決定するためにどのように使用してよいのかを記述している。
【００９５】
図２２は、オクルージョン格子により覆われた、直線状エッジ２２０２，２２０３を有する直線状形体２２０１を含む被加工物画像２２００を示している。図２２はまた、被加工物画像２２００に由来する投影ベクトル２２４１を含む投影ベクトルグラフ２２４０も示している。この例において、投影ベクトル２２４１の投影値は、水平または「０°」の投影方向（画像２２００のピクセルの水平な行に対応する）に沿うピクセル値を合計するまたは垂直投影線または面上に投影により得られ、各投影値（グラフの水平軸に沿ってプロットされる）は、画像２０００のピクセルの各行に沿う強度値を合計することにより決定される強度パラメータ値に対応している。より一般的に、総合的な画像強度の影響を受けない強度パラメータを決定して、検査結果が機械間の照明のバラツキ、周囲照明のバラツキ、被加工物の反射率のバラツキなどによるバラツキの影響を受けないようにすることは好ましい。例えば、強度パラメータ値は、対応する投影方向に沿って含まれる強度値の空間上または「ピクセル当りの」平均であってよく、この強度パラメータ値は投影ベクトルなどを決定するために使用された全ての強度値の全平均強度により分割、または規格化される。
【００９６】
図２２に示すように、投影ベクトル２２４１は、直線状形体２２０１の範囲の外部領域に対する強度パラメータ値の特徴的な範囲２２４５と、直線状形体２２０１の範囲の内部領域に対する強度パラメータ値の特徴的な範囲２２４６を明確に示している。更に、特に、前述した二つの範囲２２４５，２２４６を結ぶ二つの転移領域２２４２，２２４３は、直線状形体２２０１の直線状エッジ２２０２，２２０３に明確に対応している。
【００９７】
図２２はまた、投影ベクトル２２４１に沿う各投影線の位置において決定された微分値の集合体の微分値プロット２２６１を示す投影ベクトル微分値グラフ２２６０を示す。微分値プロット２２６１は、正の微分値極値２２６２と負の微分値極値２２６３の領域を除く、名目上、近似的に０の微分値を明確に示している。これらの微分値極値は、直線状形体２２０１の直線状エッジ２２０２，２２０３と同様に、二つの転移領域２２４２，２２４３に明確に対応している。特に、直線状エッジ２２０２（または２２０３）が投影線に完全に整列していると、対応する転移領域２２４２（または２２４３）は最も狭く（投影線指示軸に沿って）、急峻となることは理解されるべきである。これは、その最大可能値を示している微分値極値２２６２（または２２６３）に対応する。
【００９８】
このように、直線状形体または直線状エッジを含む画像に対する種々の角度における投影ベクトルの集合体を決定することによって、最大微分係数を有する投影ベクトルに対応する角度は、直線状形体または直線状エッジの方位角の良好な推定値となることは理解されたい。対応する投影ベクトルは、「最良整列」投影ベクトルと称してもよい。推定値は、より近接した等角度における投影ベクトルを決定するか、及び／または種々の投影ベクトル角のための微分値極値を備える曲線のピークに対応する角度を見つけるために内挿することにより向上できる。被加工物の画像に関して特別な角度における投影ベクトルを決定するための一つの方法は、被加工物形体または対象領域を取り囲む画像の十分な部分（または全部）を、ピクセルレベルの正確性で画像強度の分布を保存する既知の回転技術に従う角度だけ一時的に回転することである。
【００９９】
そして、回転角度に対応する投影ベクトルは、水平ピクセル行の十分な部分（または全部）に沿って、または垂直ピクセル列に沿って決定してもよく、いずれにしても検査対象の被加工物形体の方位をもっともよく明らかにするのに適切な方に沿って決定してもよい。被加工物の画像に関して特別な角度における投影ベクトルを決定する他の方法は、所望の正確性を伴ってその角度に対応する投影ベクトルを決定するため、種々のピクセル値を最も適切な投影値に適切に割り付けるように注意して、回転していない被加工物の画像におけるその角度に対応する投影方向に沿う投影ベクトルを計算するか、またはその投影値に割り付けられるべきものに正確に対応する場所に対する内挿されたピクセル値を計算する。
【０１００】
図２３は、対応する構造的要素に対する方位角として使用可能な被加工物形体の方位角を自動的に決定するためのルーチン２３００の一つの例示的な実施形態を説明するフロー図である。ルーチン２３００は、良好な正確性で且つ相対的に短い実行時間で方位角を決定するために導入することができる。一つの実施形態において、ルーチン２３００は、図２１のブロック２１２０〜ブロック２１３０の操作において利用してもよい。より一般的に、ルーチン２３００の操作は、被加工物形体の方位角を、同じ方位がその被加工物形体の画像をフィルタリング処理するために使用される対応する構造的要素に対して使用されるように、自動的に決定することが望まれるいかなる状況において使用してもよい。
【０１０１】
ルーチン２３００の操作はブロック２３１０において開始し、解析されている被加工物形体の名目上の方位角が入力または再呼び出しされる。例えば、一つの可能な導入において、図１４〜図２０に対して記述したようなユーザーインターフェースが使用される場合は、被加工物形体の名目上の方位角はユーザーが、図２０に示すRotationダイアログボックスの「Angle」ボックスで入力してもよい。名目上の角度は、ＣＡＤデータに基づいてもよいし、または形体の画像に基づいてユーザーが予測または測定してもよく、それは、操作の手動モードまたは学習モード中に表示される。名目上の角度が、操作の学習モードにおいてパートプログラムの作成中に入力されると、その値は、パートプログラム中に、またはそれと共に含まれ、操作のランモードにおいてブロック２３１０の操作中に再呼び出しされる。ルーチンはルーチン２３００の一つのバージョンでブロック２３１０からオプションブロック２３２０に継続する。他の場合は、ルーチンはブロック２３３０に継続する。
【０１０２】
オプションブロック２３２０において、操作の学習モード中に決定され、パートプログラム中に、またはそれと共に含まれる名目上の「最良整列」投影ベクトルは、操作のランモード中に入力されても、再呼び出しされてもよい。名目上の最良整列投影ベクトルは、例えば、図２２を参照して記述した方法のように、種々の方法によって決定されてもよい。ルーチン２３００の一つのバージョンにおいて、再呼び出しされた名目上の最良整列投影ベクトルは、下記に更に記述するように、ブロック２３５０において被加工物形体の方位角を決定するための相関関係操作において使用される。操作はブロック２３２０からブロック２３３０へ継続する。
【０１０３】
ブロック２３３０において、形体の方位検索範囲が入力または再呼び出しされる。検索範囲は一般的に、検査対象の被加工物形体の方位を検索及び推定するための角度範囲の限度を定義する。例えば、一つの可能な導入において、図１４〜図２０に対して記述したようなユーザーインターフェースが使用される場合、検索範囲は、ユーザーが図２０に示すRotationダイアログボックスの「Range」ボックスで入力し、「Optimize」起動チェックボックスがチェックされているときは、アクティブとなる。いくつかの導入において、検索範囲は、部品製造誤差及び固定誤差などに基づいて、名目上の形体の方位についての形体方位のバラツキが予測される範囲をカバーするように設定されなければならない。一般的に、検索範囲を、検査対象の形体ではない直線状の形体の方位を除外するように設定することは望ましい。その理由は、これらが大きな投影ベクトル微分値になる可能性があり、そうでなければ、検査対象の被加工物形体から解析的な方法によって区別することが難しい、または時間のかかることであるからである。しかし、そのような形体を除外するように検索範囲を設定することが不可能な場合は、下記に更に記述するように、付加的な解析によって、なお、そのような形体を除外し、検査対象の方位を特定することができる。操作はブロック２３３０からブロック２３４０へ継続する。
【０１０４】
ブロック２３４０において、検査対象の被加工物形体の画像に基づいて、投影ベクトルは、例えば図２２を参照して前述したように、検索範囲において複数の角度に対して決定される。操作はその後、ブロック２３５０に継続し、そこにおいて、ブロック２３４０の操作により決定された投影ベクトルに基づいて操作が実行されて、検査対象の被加工物形体の方位が決定される。いくつかの導入または適用において、検索範囲は、検査対象の形体でない直線状の形体の方位を除外するようにブロック２３３０において設定される。そのような場合、被加工物形体の方位角は、最大の微分係数を有する投影ベクトルに対応する角度として特定してもよい。
【０１０５】
場合によっては、他の直線状の形体を除外するのが検索範囲にとって現実的でないこともある。このように、導入によっては、投影ベクトルの付加的な特性またはパラメータを考察してもよい。例えば、形体の幅及び／または極性パラメータ（つまり、形体が全体的にその周囲よりも明るいかまたは暗いかに関するパラメータ）を考察してもよい。図２２のグラフ２２６０に示したような、投影ベクトル微分係数の分離と極性を、例えば、そのようなパラメータの決定に使用してもよい。いくつかの導入において、そのようなパラメータは操作の学習モード中に決定され、パートプログラム中にまたはそれと共に含まれてもよく、操作のランモード中に入力または再呼び出ししてもよい。
【０１０６】
他の導入において、ブロック２３２０の操作が、名目上の最良整列投影ベクトルが被加工物形体に利用可能なように実行されると、相関関係の操作を使用して、検査対象の被加工物の方位を示す投影ベクトルを、他の形体の方位を示す投影ベクトルから包括的に区別してもよい。つまり、適切な従来のまたは公知の相関関係技術のいずれかを使用して、ブロック２３４０の操作によって決定された投影ベクトルのデータは入力または再呼び出しされた名目上の最良整列投影ベクトルのデータと相互に関連付けられてもよく、最良の相関関係の値を示す投影ベクトルは、検査対象の被加工物形体の方位に対応する。いずれの場合にも、望むならば、ブロック２３５０の操作での方位角の推定値は、より近接に等間隔に配置された角度において投影ベクトルを決定する及び／または、図２２に関連して上記に述べたように、種々の微分値極値を備える曲線のピークに対応する角度を見出すために内挿することにより改良することができる。
【０１０７】
操作はブロック２３５０からブロック２３６０へ継続し、そこにおいて、検査対象の被加工物形体の決定された方位角は、検査対象の被加工物形体に関連付けられた形態学的フィルタリング操作において使用される構造的要素を方向付ける基盤として、記録及び／または出力及び／または導入される。そして、ルーチン２３００は終了する。概説を上述した技術に基づく実験結果は、良好な正確性を示し、全体として１°及び更に良好な解像度及び繰り返し性での方位決定を可能にし、市場で入手可能な機械視覚検査システムの少なくとも一つのタイプにおいて約１００ｍｓで一般的に実行できる。
【０１０８】
検査対象の直線状形体の方位決定に関しての上記の種々の態様は、既に引用された米国特許出願番号１０／６３２８２３において記述された類似のまたは適用可能な態様によってより明確になり補足される。例えば、米国特許出願番号１０／６３２８２３は、ラドン（Ｒａｄｏｎ）変換技術を使用して線の方位を半自動的または自動的に決定する種々の態様と共に、典型的な機械視覚検査システムのビデオツールを使用して線の方位を手動で決定する種々の態様を記述している。一般的に、ラドン変換またはそのバリエーションを用いる技術は、直線状の被加工物形体の方位を決定するための種々の方法において使用可能な他の代替アプローチを提供する。このように、図２２と図２３を参照してその概説を記述した上記の方法及びその代替は、説明のためだけのものであり、これに制限されるわけではない。
【０１０９】
不要な形体（例えば、格子）を除去するためのフィルタリングアプローチ（例えば、形態学的フィルタリング）の利用と、実際の画像形体測定処理（例えば、線ツール、円ツールなど）とは切り離されるということは理解されよう。言い換えれば、いったん画像がフィルタ処理されると、形体を測定するためにいかなるエッジ測定ツールをも使用できる。このように、新しいまたは改良されたエッジ測定方法が開発されると、それらは本発明の方法と組み合わせて利用できる。
【０１１０】
本発明の方法はまた、カスタマイズされた操作を要求するのではなく、標準化されたタイプのビデオツールを利用できるという点において、ユーザーによる簡単な操作を提供することは理解されよう。言い換えれば、ユーザーはカスタマイズされた操作を導入するために記述言語を利用する必要がない。その代わり、システムにより技術的に未熟なユーザーでさえ、最小の訓練で使用できる予めプログラムされたアイコンなどの使用が可能になる。更に、前述のように、対象領域はオクルージョンされた形体及びオクルージョンする形体の両方をカバーすることが可能になる。このように、検査操作を、検査対象の被加工物形体の小さな非オクルージョン領域に制限する必要はない。これは、被加工物の小さな領域は、ランモード操作中整列のバラツキにより対象領域からより外れ易く、被加工物製造のバラツキにより外観がより変更され易い、またはよりオクルージョンされ易いので価値のあることである。
【０１１１】
ある既存の機械視覚検査システムは、本発明に係るシステムと方法の種々の実施形態を、そのような既存の機械に最小の「改良」変更または全く変更なしで採用できるということは理解されるべきである。種々の例示的な実施形態において、機械視覚検査ソフトウェアの方法の追加及び／または本発明の原理に従う変更のみが改良変更に含まれる。
【０１１２】
本発明が、概説を上記した例示的な実施形態と連携して記述されたが、多数の他の操作シーケンス及び他の操作の変形例が可能であり、種々の他の代替、変更例、変形例、改良、及び／または実質的な等価物が、公知として、または現在のものとして、または現在は予測できないこととして、この技術に少なくとも通常の技術を有する当業者には明白であろう。従って、本発明の例示的な実施形態は、上記したように、例示のためであって、これに制限されるわけではない。種々の変更が本発明の精神及び範囲から逸脱することなく可能である。従って、出願される請求項及び添付される請求項は、全ての公知のまたは将来開発される代替、変更例、変形例、改良、及び／または実質的な等価物を包含するものとする。
【産業上の利用可能性】
【０１１３】
本発明は、機械視覚検査システムおよびそのためのユーザーインターフェースとして利用でき、特に高精度の機械視覚検査のための画像のフィルタリングに利用できる。
【図面の簡単な説明】
【０１１４】
【図１】一つの例示的な汎用機械視覚及び検査システムの図である。
【図２】フラットパネル表示スクリーンマスクのオクルージョン格子を含む、例示的な検査対象の被加工物と形体の図である。
【図３】選択された形体のエッジ部分を説明する図２の例示的な被加工物と形体の図である。
【図４】エッジ位置のためのボックス、円弧、及び点ツールを表現するＧＵＩウィジェットの例示的な実施形態を重ね合わせた図３の例示的な被加工物と形体の図である。
【図５】は図４の例示的な被加工物と形体の図であり、フィルタリング処理がボックス及び円弧ツールにおいて対象領域に適用されている。
【図６Ａ】円形形体に適用された円形構造的要素を使用するフィルタリング処理の種々の態様を説明する図である。
【図６Ｂ】円形形体に適用された円形構造的要素を使用するフィルタリング処理の種々の態様を説明する図である。
【図６Ｃ】円形形体に適用された円形構造的要素を使用するフィルタリング処理の種々の態様を説明する図である。
【図６Ｄ】円形形体に適用された円形構造的要素を使用するフィルタリング処理の種々の態様を説明する図である。
【図６Ｅ】円形形体に適用された円形構造的要素を使用するフィルタリング処理の種々の態様を説明する図である。
【図６Ｆ】円形形体に適用された円形構造的要素を使用するフィルタリング処理の種々の態様を説明する図である。
【図７Ａ】直線状形体に適用された直線状タイプの長方形構造的要素を使用するフィルタリング処理の種々の態様を説明する図である。
【図７Ｂ】直線状形体に適用された直線状タイプの長方形構造的要素を使用するフィルタリング処理の種々の態様を説明する図である。
【図７Ｃ】直線状形体に適用された直線状タイプの長方形構造的要素を使用するフィルタリング処理の種々の態様を説明する図である。
【図７Ｄ】直線状形体に適用された直線状タイプの長方形構造的要素を使用するフィルタリング処理の種々の態様を説明する図である。
【図８】不要な格子形体を除去するために適用された直線状タイプの構造的要素の長さを決定するために使用可能は種々のパラメータを説明する図である。
【図９】不要な形体を有する被加工物を検査するためのルーチンの一つの例示的な実施形態を説明するフロー図である。
【図１０】構造的要素を決定し、構造形態学的操作を実行するためのルーチンの一つの例示的な実施形態を説明するフロー図である。
【図１１】不要な形体の支配的関連寸法を手動で決定するためのルーチンの一つの例示的な実施形態を説明するフロー図である。
【図１２】不要な形体の支配的関連寸法を半自動的、または自動的に決定するためのルーチンの一つの例示的な実施形態を説明するフロー図である。
【図１３】構造的要素の特性を決定するためのルーチンの一つの例示的な実施形態を説明するフロー図である。
【図１４】円形被加工物形体を含む大きな対象領域を定義するために使用されるボックスツールを説明するスクリーン表示の図である。
【図１５】形態学的フィルタ設定値ダイアログボックスにおけるプレビュー機能の選択により提供されるフィルタ処理済み画像を説明するスクリーン表示の図であり、このプレビュー機能によりユーザーがフィルタ設定値の結果をプレビューしてからフィルタ設定値が検査操作に受け入れられることになる。
【図１６】ユーザーが現在のフィルタ設定値に名前を付けて保存することを可能にする拡張フィルタ構成リストを説明するスクリーン表示の図である。
【図１７】直線状タイプの被加工物形体に対する形態学的フィルタ設定値ダイアログボックスにおける設定値を説明するスクリーン表示の図である。
【図１８】ボックスツールのダイアログボックスメニュー上のフィルタタイプのリストにおけるオプションを説明するスクリーン表示の図である。
【図１９】一連のフィルタ設定値を直線状の被加工物形体に適用した結果であるフィルタ処理済み画像のプレビューを説明するスクリーン表示の図である。
【図２０】検査対象の回転された直線状被加工物形体に対応する回転フィルタ設定の選択を説明するスクリーン表示の図である。
【図２１】検査対象の直線状形体の方位角を自動的に決定するルーチンの一つの例示的な実施形態を説明するフロー図である。
【図２２】検査対象の直線状形体の方位角を決定する投影ベクトルを使用する種々の態様を説明する画像と関連するグラフを含む。
【図２３】画像の対応する対象領域において検査対象の直線状被加工物形体の方位を決定するためのルーチンの一つの例示的な実施形態を説明するフロー図である。
【符号の説明】
【０１１５】
１０ 機械視覚検査システム
１００ 制御システム
１１１ モニタ
１１３ ジョイスティック
１１５ マウス
２００ 視覚測定機械
２０５ 光学イメージングシステム
２１０ 可動被加工物ステージ
３００ 表示エリア
３０２ 被加工物背景層
３０４ オクルージョン格子
６０１ 円形形体
６０２ 円形構造的要素
６０３ 水平アーム
６０５ 円形境界
７０１ 直線状形体
７０２ 直線状構造的要素
８０１ エッジ形体
８０２ オクルージョン格子
８１０Ａ，８１０Ａ ボックスツールウィジェット
８２０ 線ツールウィジェット
８３０ 円弧ツールウィジェット
【技術分野】
【０００１】
本発明は、機械視覚検査方法およびそのためのユーザーインターフェースに関し、特に高精度機械視覚検査のための画像のフィルタリング方法に関する。
【背景技術】
【０００２】
高精度機械視覚検査システムは、検査された対象物の正確な寸法測定値を得、且つ他の種々の対象物特性を検査するために使用できる。そのようなシステムには、コンピュータ、ユーザーインターフェース、照明システム、カメラ、光学システム、オペレータが被加工物の種々の形体画像を得るためにカメラを位置決めすることができる複数方向に移動可能な高精度ステージが含まれる。これらの中のユーザーインターフェースは一般的に、検査画像上に位置することが可能な種々のビデオツールを含む。このようにして、機械視覚検査システムのユーザーは、画像処理の知識がほとんどないあるいは全くなくても、ビデオツールを位置決めし、操作して種々の制御及び検査操作に有益な画像処理操作を実行することができる。
【０００３】
このような特徴を有し、汎用「オフライン」高精度視覚システムとして特徴付けられるタイプの一つの例示的な従来技術システムとしては、市場で入手可能な視覚検査機械のＱＵＩＣＫ ＶＩＳＩＯＮ（登録商標）シリーズと米国イリノイ州オーロラにあるＭｉｔｕｔｏｙｏ Ａｍｅｒｉｃａ Ｃｏｒｐｏｒａｔｉｏｎ（ＭＡＣ）から入手できるＱＶＰＡＫ（登録商標）ソフトウェアがある。
ユーザーインターフェースと種々のビデオツールを含む視覚検査機械のＱＵＩＣＫ ＶＩＳＩＯＮシリーズとＱＶＰＡＫソフトウェアの機能と操作は、例えば、非特許文献１および非特許文献２にその全体が記述されている。この製品は、例えば、ＱＶ−３０２ Ｐｒｏモデルにより例示されるように、マイクロスコープタイプ光学システムを使用して種々の倍率で被加工物の画像を提供し、上記にその概説を述べた全ての機能を含む。
【０００４】
このような汎用「オフライン」高精度視覚システムはその多様性により特徴付けられ、種々のタイプの対象物または検査被加工物、または単一な被加工物の種々の態様についての幅広い範囲の検査作業を実行するために、それらの構成または画像取得パラメータを迅速に変更する機能をユーザーまたは自動プログラムに提供する。
ＱＵＩＣＫ ＶＩＳＩＯＮシステムのような汎用の高精度機械視覚検査システムはまた一般的に、自動化されたビデオ検査を提供するためにプログラム可能であり、操作可能である。そのようなシステムがシステムのプログラミング及び操作を簡略化する機能及びツールを含み、操作及びプログラミングが「専門家でない」オペレータにより信頼性を持って実行できるようにすることが一般的に望まれる。
【０００５】
自動化されたビデオ検査検査装置は一般的に、ユーザーが各特別な被加工物の構成に対して定義する自動検査作業シーケンスを可能にするプログラミング機能を備えている。プログラミング機能はまた種々の検査操作の結果を格納及び／または出力する機能も提供するのが一般的である。そのようなプログラミングは、例えば、テキストベースのプログラミングのように計画的な方法で、またはユーザーによって実行される検査操作のシーケンスに対応する機械制御命令のシーケンスを格納することによって検査作業シーケンスを漸進的に「学習」する記録モードか、またはその両方の方法の組み合わせにより導入できる。そのような記録モードはしばしば「学習モード」、「トレーニングモード」、または「ティーチモード」と呼ばれる。
【０００６】
これらのような技術において、機械制御命令は一般的に、特別な被加工物の構成に特有なパートプログラムとして格納される。操作の「ランモード」中の検査操作の所定シーケンスを自動的に実行する命令を有するパートプログラムの作成機能によりいくつかの利点が提供され、この利点は、同じパートプログラムを互換性のある複数の機械視覚検査システムにて自動的に実行する機能及び／または複数回実行する機能並びに検査の繰り返し性の改善を含む。
【０００７】
【非特許文献１】「ＱＶＰＡＫ ３Ｄ ＣＮＣ Ｖｉｓｉｏｎ Ｍｅａｓｕｒｉｎｇ Ｍａｃｈｉｎｅ Ｕｓｅｒｓ Ｇｕｉｄｅ」２００３年１月発行
【非特許文献２】「ＱＶＰＡＫ ３Ｄ ＣＮＣ Ｖｉｓｉｏｎ Ｍｅａｓｕｒｉｎｇ Ｍａｃｈｉｎｅ Ｏｐｅｒａｔｉｏｎ Ｇｕｉｄｅ」１９９６年９月発行
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、前述のような機械視覚システムにおいては、「オクルージョン（occlusion）」とよばれる問題、つまりコンピューターグラフィックスにおける視点の妨害、より詳しくは、背景の対象物に対する視認あるいは検査を、前景にある不要な対象物が妨害し、必要な視覚を遮蔽してしまうという状況が時折発生する。
オクルージョン問題は、一般的に、被加工物の検査及び測定のための汎用機械視覚システムでは対処されてはいなかった。以前は、容易にプログラム可能な他の選択肢がなかった。一般的に、ユーザーは、人間の判断に基づいて慎重にツールのサイズを選び、その位置決めをして、オクルージョン対象物及び／または陰影を回避する必要があった。そのような場合、検査対象の形体に非常に近接して、エッジ形体のような前景と背景の形体を有する画像を検査するときは、種々の被加工物間、または照明と陰影の間の、構成のわずかなバラツキにより、慎重に位置決めして訓練を積み重ねたツールでさえ失敗に帰す、または間違った結果をもたらすことになる。
【０００９】
また、種々のカスタム設計された画像フィルタリング処理及び／または境界成長処理または「接続」処理が、不要なオクルージョン画像形体を除去するために専門家によって設計された。
しかし、そのような処理は、全体的として、画像特性をある程度まで変更する傾向があるので、画像中の種々のエッジ形体位置を変更するという危険を冒すことになる。これは、たとえわずかな量であっても、種々のエッジ形体位置を変更することは、高精度検査要求と相容れない不正確な検査結果をもたらすため、特に被加工物の検査に使用される種々の高精度検査操作にとっては望ましくない。
例えば、高精度検査における誤差は、普通は５〜１０ミクロン以下のオーダーが望まれている。この理由のため、オクルージョン形体を除去する既知の方法は、品質制御及び検査操作に対して、特に、相対的に技術的に未熟なオペレータのために信頼性のある操作と相対的に簡単なプログラミング環境を提供するために意図された汎用機械視覚検査システムにおいて、不十分な基盤しか提供しなかった。
【００１０】
本発明は、上記の及び他の不利な点を克服するシステムと方法を目指すものである。より具体的には、本発明の主な目的は、画像中の特定な形体の位置を高精度に抽出あるいは保存できる機械視覚検査方法およびそのためのユーザーインターフェースを提供することである。
【課題を解決するための手段】
【００１１】
本発明は、高精度機械視覚検査のための画像のフィルタリング方法を目指しており、更に、相対的に技術不足のオペレータが、重大な被加工物測定誤差を引き起こす危険が相対的に低く、導入できる方法を目的としている。
本発明の一つの態様によれば、形態学に基づく解決方法が、不要な形体、即ちオクルージョン形体を除去するための画像のフィルタリングに利用されている。拡張／浸食処理をフィルタリングに利用してもよい。しかし、拡張／浸食処理は、繰り返し使用されると、これから測定しようとする形体が、使用中の構造的要素の形状に適合してしまうこととなる傾向がある。それゆえ、線形体上に正方形形状を適用すると形状が歪む結果となり（線が正方形の軸のいずれかの方向に方位付けられていない限り）、さらに円形体についても同様である。このように、画像中の特定の形状を持つ所要の形体を抽出し保存するためには、対象領域または画像を形態学的にフィルタリングする本発明に従って、保存または検査される形体として、実質的に同じ形状、即ち同じ形状と方位を有する構造的要素が利用される。例えば、保存または検査される形体が直線状エッジを含む場合は、直線状または長方形タイプの構造的要素がフィルタリングに使用され、構造的要素の軸は直線状エッジに名目上平行となるように方向付けられる。保存または検査される形体が円の場合は、使用される構造的要素は円である。このように、構造的要素が、これから測定される形体に基づいて選択される場合は、構造形態学的アプローチが利用される。
【００１２】
本発明の他の態様によれば、フィルタリング方法は、検査対象の被加工物形体と、この検査対象の被加工物形体に近接した不要な形体、即ちオクルージョン形体を含む画像の取得により開始する。その後、対象領域が、視覚システムによって実行される操作のために、被加工物形体の少なくとも一部分について定義される。その後、少なくとも対象領域において、視覚システムにより構造形態学的操作が実行される。そして、構造形態学的画像は格納される。対象領域において視覚システムにより実行される操作は、その後、構造形態学的画像中の対応する位置において実行される。そして操作結果は取得画像に対する結果として生み出だされる。
【００１３】
本発明の他の態様によれば、対象領域において視覚システムにより実行されようとしている構造形態学的操作は、まず対象領域において保存される被加工物の要素の形状、または形状と方位の適用可能な特性を決定することにより開始する。そして、対象領域における不要な形体の適用可能な特性が決定される。構造的要素に対しては一般的に、構造的要素の形状、寸法（例えば、幅）、そして方位（もし、適用可能ならば）が、保存される被加工物の要素の適切な特性と不要な形体とに基づいて選択される。例えば、直線状エッジがこれから検査され、または測定されようとしており、不要な形体が格子棒厚さ寸法Ｔを有する格子であり、格子棒のいくつかは検査、または測定される直線状エッジに対して角度φであるような実施形態または適用においては、検査対象の直線状エッジに平行な直線状、または長方形構造的要素は約Ｌ＝Ｔ（１／ｓｉｎφ+１／ｃｏｓφ）の長さ、または上限デフォルト限度のどちらか短い方を有してよい。
【００１４】
本発明の他の態様によれば、種々の実施形態において、構造的要素の長さ及び／または幅の決定は、構造的要素の長さ及び／または幅にデフォルト限度を適用するかどうかの決定を含んでよい。一例として、直線状または長方形構造的要素が使用される種々の実施形態において、構造的要素の最低幅を３ピクセル分以上に設定することは、構造的要素に平行な不要な形体がフィルタ処理で除去されることを確実なものにするためには好都合である。他の例としては、ディスク形状、または円形構造的要素を十分に近似することが望まれている種々の実施形態においては、直径に対するデフォルト限度は少なくとも７ピクセルである。ディスクをより良好に且つより信頼性をもって近似するためには、ディスクの直径は少なくとも１３ピクセル分であり、ディスクを更により良好に且つ更により信頼性をもって近似するためには、ディスクの直径は少なくとも１７ピクセル分である。フィルタ処理で除去される不要な形体が棒の幅または厚さがＴの格子である場合は、いくつかの実施形態において、ディスクの直径ｄに対するデフォルト限度を、少なくとも画像中のｄ＝２Ｔ＋１ピクセルと同程度の大きさの奇数ピクセル数に設定することは、フィルタリング速度と、信頼性のある完全なフィルタリングとのかね合いを確実なものにするためには好都合である。各種の実施形態において、使用される構造的要素のタイプに無関係に、フィルタ処理される領域の対角線の寸法に近似する上限デフォルト限度を設定することは有利である。
【００１５】
本発明の他の態様によれば、不要な形体を完全に除去するために必要な形態学的処理の繰り返し数は一般的に、除去される不要な形体の一つ以上の寸法及び／または構造的要素の寸法に基づいて決定される。形態学的処理の繰り返しは少なくとも対象領域に対して実行される。いくつかの実施形態において、Ｌ’はオクルージョン形体の関連スパンを表すとすれば、本発明に係る形態学的フィルタリングは関連スパンの方向に沿う寸法Ｘを有する構造的要素に、Ｌ’／Ｘ以上の繰り返し回数が適用される。円形構造的要素に対しては、関連スパンは一般的に、検査対象の形体近傍の所望の領域または対象領域におけるいずれの方向にも沿ってのオクルージョン形体に含まれるピクセルの最長「連続」スパンである。直線状タイプの構造的要素に対しては、関連スパンは一般的に、検査対象の形体近傍の所望の領域または対象領域における検査対象の直線状エッジの方位に平行な方向に沿ったオクルージョン形体に含まれるピクセルの最大幅の連続スパンである。
【００１６】
本発明の他の態様によれば、対象領域に保存される被加工物形体または要素の形状、または形状と方向の適用可能な特性は、手動、半自動的、または自動的に決定してよい。本発明の他の態様によれば、構造的要素の決定は、ＣＡＤデータが、測定される被加工物形体に対して利用可能かどうかを決定することにより開始する。もしＣＡＤデータが利用可能であれば、構造的要素は、保存される被加工物形体に対応するＣＡＤデータの適用可能な形状及び寸法に基づいて選択される。もしＣＡＤデータが利用可能でなければ、取得済み画像に基づいて、被加工物形体が規則的な幾何学形状（例えば、線、円など）を有するかどうかについての決定が行われる。被加工物形体が規則的な形状を有していなければ、構造的要素の形状はリストから選択してもよく、形状の寸法、または寸法と方位は被加工物形体の寸法と方位に対応するように定義される。
【００１７】
被加工物形体が規則的な形状を有していなければ、画像処理アルゴリズムまたは画像処理操作を利用して、被加工物形体を抽出し、被加工物形体を再構築（例えば、塗りつぶし、または滑らかにする）し、構造的要素の寸法、または寸法と方位は抽出した被加工物形体に対応するように選択される。処理の終了段階において、保存される被加工物形体または要素の支配的特性は、パートプログラムに格納及び／または操作のランモード中に構造的要素の特性を決定するのに使用される。更に、操作のランモード中、既に概要を記述した操作が、ＣＡＤデータやユーザー入力ではなく、格納された形状及び／または方位に基づいて繰り返されてもよく、パートプログラムに格納したまたはパートプログラムで決定した種々の位置及び方位パラメータは、合理的に予測されるランタイムの被加工物及び画像のバラツキに関わらず、形態学的フィルタリング効率及び検査を所望のレベルに維持するために、固定時の不整列、被加工物のバラツキなどを補償するために調整してもよい。
【００１８】
本発明の他の態様によれば、不要な形体の支配的寸法は手動で決定してもよい。手動処理は、ユーザーが関連寸法、つまり、検査対象の形体近傍の適用可能な方向または方位に沿う不要な形体の最大直径またはスパンの位置を目視で決定することにより開始する。視覚システムツールを最大直径またはスパンの測定に使用してもよい。関連寸法は支配的な、不要な形体の寸法として格納される。
【００１９】
本発明の他の態様によれば、不要な形体の支配的関連寸法及び／または方位は半自動的、または自動的に決定してもよい。いくつかの実施形態において、操作の学習モードまたはトレーニングモード中、自動処理は、ユーザーが、測定する不要な形体の少なくとも一部分の形状を指定するまたは示すことにより開始する（例えば、画像中の不要な形体の少なくとも関連する一部分を形状ライブラリから選択することにより、またはいずれかの適切な手段により形状を入力することによりテンプレートを定義する）。
画像中の少なくとも対象領域における指定された形状の例を探すために、パターンマッチングアルゴリズムを使用してもよい。複数の指定された形状の例が存在するならば、不要な形体形状の好ましい例がユーザーまたはデフォルト方法によって選択される。そしてアルゴリズムを利用して、不要な形体の方位及び／または関連寸法を決定する。不要な形体の支配的方位及び／または関連寸法はパートプログラムに格納され及び／または操作のランモード中、構造的要素の特性を決定するのに使用される。更に、操作のランモード中、概要を前述した操作は、ユーザー入力ではなく、格納されたテンプレート及び／または格納された方位及び／または関連寸法に基づいて繰り返してもよく、構造的要素の方位及び／またはサイズは、合理的に予測されるランタイムの被加工物及び画像のバラツキに関わらず、形態学的フィルタリング効率をある所望のレベルに維持するために、固定時の不整列、被加工物のバラツキなどを補償するために調整してもよい。
【００２０】
不要な形体（例えば、格子）を除去するためのフィルタリングアプローチ（例えば、形態学）の利用と、実際の画像形体測定処理（例えば、線ツール、円ツールなど）とは切り離すことができることが理解されよう。言い換えれば、画像がいったんフィルタ処理されると、通常の画像解析に適用可能ないかなるエッジ測定ツールも、フィルタ処理済み画像に基づく形体測定に利用できる。このように、いかなる既存の、新しい、または改良されたエッジ測定方法も本発明の方法と組み合わせて利用できる。
【００２１】
本発明の方法は、標準化された、または親しみやすいタイプのビデオツールを使用できるという点において、たとえあってもわずかなカスタマイズされた操作によって、ユーザーによる簡単な操作を提供するということは理解されよう。更に、本発明の方法は、相対的に技術の未熟なユーザーが形態学的フィルタリングを導入し、フィルタリングを支配する重要パラメータ（例えば、構造的要素パラメータ）を定義することを容易にする手段を提供する。つまり、ユーザーは、オクルージョン形体を回避するためにカスタマイズされた操作を導入するための記述言語を利用する必要がない。その代わり、システムにより技術の未熟なユーザーでさえ最低の訓練で使用できる、予めプログラムされたアイコンなどの使用が可能となる。ある既存の機械視覚検査システムは、そのような既存の機械に対する最小の「改良」変更またはそのような変更が全くなく、本発明に係る方法の種々の実施形態を採用できるということも理解されるべきである。種々の例示的な実施形態において、機械視覚検査ソフトウェアの方法の追加及び／または本発明の原理に従う変更のみが改良変更に要求される。
【００２２】
ここに開示されたシステムと方法を使用すると、格子にオクルージョンされたエッジ形体に対する実験で得られた位置の正確性は０〜１μｍの範囲であり、同様にオクルージョンされた円の直径は１〜２.５μｍの範囲であった。０.１μ未満の実験測定繰り返し性が達成された。このように、本発明に係る形態学的フィルタリングシステムと方法を使用して、より洗練度の低いまたは包括的なフィルタリング方法では達成されなかった正確性と繰り返し性のレベルである、ミクロン及びサブミクロンの正確性と繰り返し性でのオクルージョンされた形体測定のために、既存の機械視覚検査システムのビデオツールと連携して使用可能なフィルタ処理済み画像または画像部分を提供することができると理解されたい。
【発明を実施するための最良の形態】
【００２３】
図１は本発明に係るプログラム可能な汎用機械視覚検査システム１０の一つの例示的な実施形態のブロック図である。機械視覚検査システム１０は、データを交換し信号を制御するため制御システム１００に操作可能に接続する視覚測定機械２００を含む。制御システム１００は、データを交換し信号を制御するため更にモニタ１１１、プリンタ１１２、ジョイスティック１１３、キーボード１１４、及び／またはマウス１１５のうち一つ以上に操作可能に接続する。視覚測定機械２００は可動被加工物ステージ２１０と、ズームレンズまたは多数の交換可能レンズを含みうる光学イメージングシステム２０５を含む。ズームレンズまたは交換可能レンズは一般的に、光学イメージングシステム２０５により提供される画像の種々の倍率を提供する。
【００２４】
ジョイスティック１１３は可動被加工物ステージ２１０の動きをＸ及びＹ両方向に関して制御するのに使用されるのが一般的で、両方向は一般的に、可動光学イメージングシステム２０５の焦点面と、Ｚ方向即ち焦点方向における光学イメージングシステム２０５の動き方向成分に平行である。しばしば、Ｚ軸を制御する偏位は、ジョイスティック１１３のハンドルまたはノブの回転偏位成分である。ジョイスティック１１３は、機械視覚検査システム１０の「仮想動作制御デバイス」として機能するように意図された、モニタ１１１上の視覚表現及びウィジェット（Widget；表示用アクセサリを記述した小規模なコンピュータプログラムの一種）のいずれかのような、図示した以外の形式で提供されてもよく、マウス１１５のようないずれかのコンピュータ入力デバイスを介して制御可能である。制御システム１００と視覚測定機械２００の種々の態様は、同時係属出願され、共通に指定された２００４年３月２５日に出願された米国特許出願番号１０／８０８９４８と、２００３年８月４日に出願された米国特許出願番号１０／６３２８２３に詳細が記述されたものと実質的に同様であり、その全体を参照によりここに引用したものとする。
【００２５】
図２は、汎用機械視覚検査システムの表示エリア３００の一部分の図であり、平面パネル表示スクリーンマスクのオクルージョン格子を含む、例示的な検査対象の被加工物と形体の画像を示している。図２に示すように、表示エリア３００は標準６４０×４８０カメラピクセルフォーマットであり、平面パネル表示スクリーンマスクの繰り返しパターンのオクルージョン格子３０４を含む。また、この格子３０４の下には、基板、パターン化膜、または他の表面を含んでもよい被加工物背景層３０２があり、この背景層３０２は検査処理または測定処理の中心となる画像情報を一般的に含む。被加工物上の検査対象物はトレース３２０と３３０を含み、それらについてはより詳細に後述する。同様により詳細に後述されるが、不要なパターンの格子３０４は、それ自体がトレース３２０と３３０のエッジ部分の決定と評価を複雑にする、織り交ぜられた強いエッジ形体を本来的に有するという点において、検査処理を複雑にする。
【００２６】
図３は、表示エリア３００Ａの図であり、選択した形体のエッジ部分を説明する図２の例示的な被加工物と形体を示している。図３に示すように、表示エリア３００Ａのトレース３２０と３３０は、トレース３２０と３３０並びにそのエッジをより良く強調するため、図示の目的で人為的に照明されている。背景層３０２は格子３０４の開口部を通して見ることができる。なお、ここでは、オクルージョン対象物として、不要な格子タイプのもの（格子３０４）を検討するが、本発明の方法は一般的に、いかなるタイプの不要な前景対象物または背景対象物にも適用できることは理解されたい。格子部分３０４Ａが、背景層３０２の基板部上に位置するように示されているが、他方の格子部分３０４Ｂはトレース３２０の部分上に位置するように示されている。一連の大きな楕円３４０がトレース３２０と３３０のエッジ部分を全体的に囲むように示されている。大きな楕円３４０はトレース３２０と３３０のエッジ部の部分を強調するより小さな円３４２を含み、その円においてそれらのエッジを、オクルージョン格子３０４を通して実際に見ることができる。円３５０もまたトレース３３０の円形端を囲むように示されている。円３５０はトレース３３０のエッジ部を囲み、且つ強調するより小さい円３５２を含み、その円においてエッジがオクルージョン格子３０４を通して実際に見ることができる。
【００２７】
図４は、表示エリア３００Ｄの図であり、図３の検査対象の例示的な被加工物と種々の形体を、エッジ位置用のボックスツール、円弧ツール及び点ツールを表現するＧＵＩ（グラフィカルユーザーインターフェース）ウィジェットの例示的な実施形態で示しており、それらのすべては本発明に係るシステムと方法の種々の実施形態において使用可能である。図４に示すように、表示エリア３００Ｄは、ボックスツールウィジェット８１０Ａ，８１０Ｂ、線ツールウィジェット８２０、及び円弧ツールウィジェット８３０を含む。
エッジ検出ツールＧＵＩウィジェットの種々の操作上の特性は、ＱＶＰＡＫ ３Ｄ ＣＮＣ Ｖｉｓｉｏｎ Ｍｅａｓｕｒｉｎｇ Ｍａｃｈｉｎｅ Ｕｓｅｒｓ Ｇｕｉｄｅと、ＱＶＰＡＫ ３Ｄ ＣＮＣ Ｖｉｓｉｏｎ Ｍｅａｓｕｒｉｎｇ Ｍａｃｈｉｎｅ Ｏｐｅｒａｔｉｏｎ Ｇｕｉｄｅにその全体が記述されており、それぞれは前述のようにその全体を参照によりここに引用したものとされており、また２００４年７月３０日に出願された米国特許出願番号１０／９０３７１４にも同様にその全体が記述されており、その全体の内容を参照によりここに引用したものとする。
【００２８】
線ツールウィジェット８２０は被加工物画像中のエッジ点の位置を決定するために直接使用してもよいし、または下記に更に示すように、ボックスタイプのエッジツール（例えば、ボックスツールウィジェット８１０Ａ，８１０Ｂ）の操作の基盤としてもよい。線ツールウィジェット８２０は、トレース３３０の左端に位置するエッジ部上に位置するように示されている。操作において、検査目的のためにユーザーは線ツールウィジェット８２０を選択し、ディスプレーを横切って選択済みウィジェットをドラッグし、トレース３３０の所望のエッジが見える部分上に置いてもよい。操作において一般的に、線ツールウィジェット８２０は、エッジ位置を決定する種々の操作に関して、その長さに沿ってデータ点（例えば、ピクセル）上を走査する。
【００２９】
画像中のエッジの位置を決定するために、多くのアルゴリズムは、強度データ内の最大勾配値の位置を探すことによってエッジの位置を見つける。強度データに沿って複数の勾配が存在するときは、セレクタの位置が、どの勾配が所要のエッジに対応するかをアルゴリズムが決定することを支援する。一つの表示（例えば、線ツールウィジェット８２０の方位または方向）もまたアルゴリズムが、それが上昇方向または下降方向のエッジを探すべきかどうかについての決定を支援するために提供され得る。また、トレーニングモードにおいて、エッジの種々の特性が決定及び格納されて、後のランモードにおける類似部分上の所望のエッジのより信頼性のある選択及び決定を容易にする。そのような特性には、エッジを囲む谷から頂上までの全体的な強度のバラツキ、エッジの位置での名目上の強度値、及び／またはこれら二つの値の比などが含まれてもよい。
【００３０】
しかし、線ツールウィジェット８２０が多数の被加工物を検査するために使用される自動パートプログラムに含まれていると、トレース３３０に関してオクルージョン格子３０４の位置のいかなるバラツキによっても線ツールウィジェット８２０下のオクルージョン格子３０４の位置が見つけられるため、線ツールウィジェット８２０が故障する原因となることは理解すべきである。本発明は、オクルージョン格子３０４をフィルタ処理により除外することによりこのタイプの故障モードを避けるように意図されている。しかし、ある実施形態においては、エッジの位置（最大勾配の位置）は、最大勾配値などを囲む勾配曲線のもとでのエリア中心を特定する公知の曲線フィッティング技術または公知の中心検出技術を使用して、内挿された最大勾配の位置を見つけることにより、実際にはサブピクセルのレベルの精度で検出されるということも理解されるべきである。従って、本発明のフィルタリング方法とパラメータは、フィルタ処理済み画像内で、そのような精度のレベルに関して検査対象のエッジの位置を大きく変えないように慎重に開発された。
【００３１】
種々の例示的な実施形態において、ボックスツールウィジェット８１０Ａと８１０Ｂは、側面に沿って矢印があり中心にセレクタがあるボックスとして表示される。種々の例示的な実施形態において、ボックスツールウィジェット８１０Ａと８１０Ｂは、ボックスが対象領域を示す、または対象領域を定義するまで、そして「＋」エッジセレクタマークが測定及び検査されるエッジを示すまで、オペレータにより、そのサイズが決められ、位置決めされ、そして回転される。種々の例示的な実施形態において、ボックスツールウィジェット８１０Ａと８１０Ｂは一般的に、対象領域におけるエッジの沿う一つ以上の従来のエッジ勾配を使用し、線ツールウィジェット８２０について上記に概要を記述したように、エッジは操作の手動モードまたはトレーニングモード中のセレクタの位置と、種々の走査線に沿うエッジ勾配の局所的な大きさに基づいて決定される。これらの種々の例示的な実施形態においては、矢印の方向により、エッジ勾配と関連付けられる基準方向または極性が定義される。ボックスツールウィジェット８１０Ａと８１０Ｂの境界によって示される対象領域の範囲は、望むならば全面的に調整可能であり、回転可能であることは理解されるべきである。円弧ツールウィジェット８３０もまた、対象領域を示し、選択されたエッジに印を付け、そして、画像形体のための曲線（例えば、半径）を定義するエッジ点を決定するために、ボックスツールウィジェット８１０Ａと８１０Ｂと類似の方法により一般的に配置され、操作される。
【００３２】
図５は、図４の例示的な被加工物と形体を示すダイアグラム３００Ｅであり、フィルタリング処理がボックスツール及び円弧ツールの対象領域に適用されている。下記に詳細に記述するように、不要な形体（例えば、格子）は、本発明による画像処理アルゴリズム、つまり、形態学に基づく画像処理方法により、少なくとも対象領域からは除去してもよく、それによって測定は対象領域においてきれいなエッジ画像について行われる。図５に示すように、ボックスツールウィジェット８１０Ａと８１０Ｂと、円弧ツールウィジェット８３０の対象領域内において、フィルタリングは実質的に格子を除去するように適用されている。種々の例示的な実施形態において、望むならば、ダイアグラム３００Ｅに類似する画像を、機械視覚システムの操作のトレーニングモード中にオペレータに表示させてもよく、それによってオペレータは、形態学に基づく一連のフィルタパラメータからの結果であるフィルタ処理済みエッジ画像を定性的に、または定量的に評価でき、その評価に基づいてフィルタパラメータを許容あるいは変更できる。
【００３３】
本発明に係る種々の実施形態において、拡張／浸食処理は画像のフィルタリングに利用される。例えば、拡張処理は、構造的要素内の各ピクセルに、構造的要素に含まれる最大ピクセル値に対応する値を割り当てることを含んでよい。同様に、浸食処理は、構造的要素内の各ピクセルに、構造的要素に含まれる最小ピクセル値に対応する値を割り当てることを含んでよい。そのような画像処理操作は、本発明に係る種々の実施形態における不要な形体データの除去に使用可能な種々の他の画像処理操作と共に、例えば「Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ」（Ｒａｍｅｓｈ Ｊａｉｎ他著、１９９５年ＭｃＧｒａｗ Ｈｉｌｌ社発行）など、多数の画像処理に関する出版物に更に説明及び記述されている。
【００３４】
ここで記述される種々の実施形態において、拡張／浸食処理の「１回の繰り返し」が示されたときは、これは画像の所望の領域内において各ピクセルの位置を通して順次構造的要素を進めること、及びに各場所において順次前述した拡張操作を実行することに対応する。そして、これに画像の所望の領域内において各ピクセルの位置を通して順次構造的要素を進めること、及び各位置において順次前述した浸食操作を実行することが続き、１回の繰り返しを完了する。これに基づく類推により、拡張／浸食処理の「Ｋ回の繰り返し」が示されたときは、これは、最初に画像の所望の領域内において各ピクセルの位置を通して順次構造的要素を進めること、及び各位置において順次前述した拡張操作を実行することに対応する。そして、この拡張操作の全体のシーケンスが、合計「Ｋ」回実行されるまで、所望の領域を通して、付加的回数繰り返される。そして、これに、画像の所望の領域内において各ピクセルの位置を通して順次構造的要素を進めること、及び各位置において順次前述した浸食操作を実行することが続く。そして、この浸食操作の全体のシーケンスが、合計「Ｋ」回実行されるまで、所望の領域を通して、付加的回数繰り返される。以上で、拡張／浸食処理の「Ｋ回の繰り返し」が完了する。
【００３５】
ここでの説明と検討は、画像内で相対的に明るい（より高いピクセル値）形体が保存及び測定され、相対的に暗いオクルージョン形体はフィルタ処理で除去されることを仮定している。このように拡張／浸食処理は適切である。しかし、オクルージョン形体が全体的に保存及び検査される形体よりも明るい場合は、本発明に従って、ここで記述される拡張／浸食処理が逆の順序で実行される、つまり、浸食／拡張処理として、より明るいオクルージョン形体を除去し、検査対象の暗い形体を保存することを理解されたい。そのような場合、要すれば、対象の暗い形体は適切に保存され、図６Ｂと図７Ｂを参照して下記に検討される意味におけるアーティファクトのないものとなる。
【００３６】
既に示したように、拡張／浸食処理を繰り返し利用すると、一般的に、拡張／浸食処理により検査中の形体が使用している構造的要素の形状に適合してしまう傾向がある。それゆえ、線形体上の正方形の形状を用いると、線形体が歪みを引き起こし（線が正方形の軸のいずれかの方向に方位付けられていない限り）、円形体についても同様である。画像において特定の形体が歪むのを避けるため、本発明によれば、最適構造的要素は、対象である形体に対応する形状、または形状と方位を有する。このように、これから検査しようとする、一定の方位における線または長方形の画像に対しては、最適構造的要素は、同じ方位における線または長方形であり、一方、検査しようとする円の画像に対しては、最適構造的要素は円となり、以下、同様である。このように、本発明によれば、構造形態学的アプローチを利用し、構造学的要素の形状、または形状と方位はこれから測定する形体に基づいて一般的に選択される。
【００３７】
画像からオクルージョン形体をフィルタリングして除去し、円の測定を容易にすることに関しては、最適構造的要素は十分な直径を有する円形またはディスク状の要素である。図６Ａ〜図６Ｆは、円形形体を含む画像へ円形構造的要素を適用する本発明に係る形態学的フィルタリング処理の種々の態様を例示する。図６Ａは５倍の倍率で撮影された６４０×４８０ピクセルの画像を示し、この画像は、周囲のエリアと共に、検査対象の形体である中心に位置している円形形体６０１を含み、それらすべてオクルージョン格子により覆われている。図６Ｃに示す近似的に円形構造的要素６０２を図６Ａに示す画像に適用するとき、中心に位置する円形形体６０１からオクルージョン格子を除去する、本発明に係る拡張／浸食処理を使用して、生成されるフィルタ処理済み画像を図６Ｂに示す。具体的には、図６Ｂに示す結果を生成するために、２７ピクセル分の直径を有する円形構造的要素６０２の５回の拡張／浸食の繰り返しを含む形態学的フィルタリング処理が使用された。図６Ｂに示すように、格子は除去されている。特に、円形形体６０１の内部にはオクルージョン格子がなく、フィルタリングアーティファクトもない。図６Ｂに示す、現れた円形形体６０１は、図６Ａに示すオクルージョンされた円形形体６０１のそれらと重大には異なっていない位置にそのエッジを有しており、これは所望の結果である。円形形体６０１の未フィルタ処理の画像とフィルタ処理済み画像の拡大図（１５倍に拡大）が図６Ｄと図６Ｅにそれぞれ示されている。
【００３８】
円形構造的要素６０２の例示されているサイズは、図６Ａと図６Ｂのスケールに関して誇張されていることは理解すべきである。一般的に、オクルージョン格子または他のオクルージョン形体をフィルタリングで除去するためには、円形構造的要素６０２のような構造的要素の最大有効寸法ｄは、下記に詳細に記述するように、いかなる方向に沿う格子棒内に含まれるピクセルの最長連続スパンよりも、高々、多少大きいに過ぎない。この寸法は検査対象の円形形体の直径よりも小さく、または大幅に小さいのが一般的である。
【００３９】
現れた円形形体６０１を囲むエリアに関して、図６Ｂのフィルタ処理済み画像において垂直及び水平アーム６０３と６０４の境界と、垂直及び水平アーム６０３と６０４と交差する場所に近接する外側の円形境界６０５が歪んでいるのが分かる。前述したように、これは形態学的拡張／浸食フィルタリング処理を使用すると、構造的要素と異なる形状を有する形体が構造的要素の形状に適合しようとする傾向があるために起こる。この場合、図６Ｃに示す円形構造的要素６０２を垂直及び水平アーム６０３と６０４の直線状の境界と、相対的に鋭角な角、その角ではこのアームが外側の円形形体の境界６０５と交差しているが、とに適用すると、関連エッジが歪む傾向になり、その関連エッジが構造的要素である円形形体６０１の形状に適合する。
【００４０】
理想的には、検査対象の形体近傍の所望の領域または対象領域における、１回の拡張／浸食の繰り返しで、格子のようなオクルージョン対象物を効率よく除去するためには、構造的要素のディスク直径は、オクルージョン形体の関連スパンを完全にカバーするのに十分な程度の大きさでありさえすればよい。円形構造的要素に対しては、関連スパンは一般的に、検査対象の形体近傍の所望の領域または対象領域における、いかなる方向にも沿うオクルージョン形体ピクセルの最長「連続」スパンである。しかし、構造的要素の「ディスク」のエッジは、真の円形ではなく、行列フォーマットに配列されたピクセルの集合体により単に近似されたものなので、実際のケースにおいては、このサイズの構造的要素を使用する形態学的フィルタリングによっても画像が完全にまたは適切にはフィルタ処理されないこともある。これは構造的要素の直径が小さいときには特に当てはまる。
【００４１】
この点を明確にし、且つディスク形状の構造的要素の直径またはサイズの重要性を強調するために、それは、より一般的には、構造的要素の他の形状のサイズの重要性を表すことであるが、２ピクセル分の直径を有する仮説的な「ディスク形状」の構造的要素を考える。離散正方形ピクセルの行列配置に対しては、２ピクセル分の「直径」を有する構造的要素は実際には、正方形であることが理解されよう。そのため、円形形体を含む画像をフィルタ処理するために適用すると、円形形体の境界は、そのままの構造的要素と本質的に異なる形状により導出されるアーティファクトを示すのが一般的である。この効果は例えば、図６Ｅに示す。具体的に、図６Ｅに示す結果を生み出すには、３×３ピクセルのサイズを有する正方形の構造的要素の２７回の拡張／浸食の繰り返しを含む形態学的フィルタリング処理が使用された。図６Ｆに示すように、格子は除去されているが、現れた円形形体６０１’はエッジのアーティファクトを含み、そのため図６Ａに示すオクルージョンされた円形形体６０１により定義される実際のエッジの位置とは大きくかけ離れたエッジの位置を含む不規則なエッジという結果になっている。これは、相対的に高い正確性の検査と測定結果が望まれているときは、許容できるフィルタリング結果ではなく、構造的要素が検査対象の形体の形状を合理的に近似する形状を有するように、本発明に係る構造的要素を選択することの価値を強調している。
【００４２】
種々の実施形態または適用において、最も速いフィルタリング操作は、関連スパン長よりも大幅に小さい寸法を有する構造的要素を使用し、所要のフィルタリング結果を達成するために要求される繰り返し回数を増加することにより得られる。
例えば、理論的には、ｄ’を、理想的またはノイズのない条件で１回の繰り返しにおいて格子または他のオクルージョン形体を完全にフィルタ処理で除去または取り除くために要求される円形構造的要素の直径とする場合は、直径ｄの構造的要素は近似的に同一のフィルタリング結果を、理想条件においてＮ＝ｄ’／ｄ回の繰り返しで達成するであろう。しかし実際には、図６Ｆに示す不十分な結果が示すように、「あまりにも小さすぎる」３×３の構造的要素に対しては、円形構造的要素を制限して寸法ｄを有するようにすることが望ましく、この寸法ｄは、行列に沿って配置されたピクセルの集合体が、正確なフィルタリングを提供するために十分な解像度を持つ円を近似できるのに十分な大きさである。
【００４３】
より一般的には、他の形状を有する構造的要素もまた、この基準を満たす寸法を有するべきである。一般的に、構造的要素の寸法が増大すると、その曲線エッジ及び／または角の形状は、行列に配置された離散ピクセルの集合体によって、より正確に近似されることになる。前述した影響を克服し、実際の画像のノイズによる潜在的なフィルタリング欠陥を克服するフィルタリング処理を付加的に提供するには、ディスク形状または円形構造的要素の十分な近似の提供が望まれる種々の実施形態において、直径を限定して少なくとも７ピクセル分とする。ディスクのより良好且つ信頼性のある近似のためには、ディスクの直径は少なくとも１３ピクセル分であり、ディスクの更に良好且つ信頼性のある近似のためには、ディスクの直径は少なくとも１７ピクセル分である。更に、フィルタ処理で除去されるオクルージョン形体が、棒の幅または厚さＴを有する格子の場合は、種々の実施形態において、フィルタリング速度と信頼性のある完全なフィルタリング処理との間の合理的なつり合いを提供するために、ディスクの直径ｄを、上記にその概要を示したように最低許容値と少なくとも同じ大きさに設定するか、または約ｄ＝２Ｔ＋１の、簡単且つ十分なデフォルト値を提供するか、いずれかの大きいほうの値を設定または提供することは好都合である。
【００４４】
種々の実施形態において、種々のフィルタ処理済み画像形体の見かけの位置における空間的移動または偏りを引き起こすことを避け、且つ最良のフィルタリング正確性を提供するためには、構造的要素の直径が奇数個のピクセルに相当することは有利である。そのような場合、構造的要素のピクセルは構造的要素の中心ピクセルの周りに対称に分布され、フィルタリング操作が、繰り返しの間、対象領域（または画像）における種々のピクセルアドレス位置で実行されるときに、中心のピクセルは各現在のピクセルアドレス位置に明瞭に対応する。中心ピクセルの周りに対称にある構造的要素を提供することは、構造的要素の直径または長さが小さいときに特に重要である。
【００４５】
形態学的フィルタリング操作に使用される繰り返し回数に関して、繰り返し回数は、その概要を上記に述べたように、理想条件において要求される最低繰り返し回数Ｎ＝ｄ’／ｄよりも若干大きく決定してもよい。一つの代案として、ノイズなどを含む現実的な画像取得条件においては、Ｎ＋３回の繰り返しを使用して信頼性のあるフィルタリング結果が保証されるようにしてもよい。特別な形体に対して要求される最低繰り返し回数に基づいて繰り返し回数を能動的に決定する一つの代案として、構造的要素の寸法を単に所定のデフォルト値に設定し、繰り返し回数を、完全なフィルタリングが保証される、対応する所定のデフォルト値に設定してもよい。例えば、オクルージョン形体が棒の幅または厚さＴを有する格子の場合、構造的要素の寸法をｄ＝２Ｔ＋１のデフォルト値に設定し、繰り返し回数を５回の繰り返し分のデフォルト値に単に設定してもよく、この繰り返し回数は、合理的なフィルタリング速度を維持しながら、ノイズのある画像に対しても効果的なフィルタリングが保証される、控えめに「増大された」値である。オクルージョン形体、例えば、格子が完全に除去されたとしても、対象形体の境界は滑らかでないという場合もあるということに注意すべきである。そのような場合、繰り返し回数をより滑らかな境界にするために増加することも可能である。
【００４６】
画像からオクルージョン形体をフィルタ処理で除去し、長方形形体及び／または直線エッジの測定を容易にすることに関して、最適な構造的要素は直線形状の要素、つまり、十分な長さと幅を有する直線状または長方形要素である。
図７Ａ〜図７Ｃは、直線状構造的要素を、直線状形体を含む画像に適用する、本発明に係る形態学的フィルタリング処理の種々の態様を例示している。図７Ａは、倍率５倍で撮影した６４０×４８０ピクセルである画像を示しており、この画像は検査対象の形体である中心に位置している直線状形体７０１を、それを囲むエリアと共に含み、これら全てはオクルージョン格子により覆われている。図７Ｃに示す直線状構造的要素７０２に類似した近似的に直線状構造的要素が図７Ａに示す画像に適用される場合、本発明に係る拡張／浸食処理を使用してオクルージョン格子が中心に位置する直線状形体７０１から除去されると、これにより生成されるフィルタ処理済み画像は図７Ｂに示される。具体的に、図７Ｂに示す結果を生成するために、直線状形体７０１のエッジに平行に方位付けられ、且つＬ＝２７ピクセルの長さとｗ＝１ピクセルの幅を有する直線状構造的要素に対して５回の拡張／浸食の繰り返しを含む形態学的フィルタリング処理が使用された。図７Ｂに示すように、直線状形体７０１はその内部からオクルージョン格子を完全に除去しており、これは本発明の目的のためのオクルージョン形体の十分かつ完全な除去を構成しており、図７Ｂに示す直線状形体７０１のエッジの位置は、図７Ａに示すオクルージョンされた直線状形体７０１のエッジの位置と大きくかけ離れることはなく、これは所望の結果である。長方形形体を囲む領域における周期的に分布されたギザギザ線のアーティファクトは、現れた直線状形体７０１の所望のエッジの検出及び測定を妨害するわけではないことは理解されるべきである。
【００４７】
図７Ｂに図示するように、本発明に係る拡張／浸食処理は、検査対象の形体を、その内部にオクルージョン形体及び余計なノイズ画像（artifact）がないように保存する。従って、保存済み形体の内部から走査を開始するエッジ検出ビデオツールの走査方向（図５に示す種々のビデオツールにおいて矢印の先頭の方向により示す）を単純に方位付けることにより、保存済み形体の所望のエッジは信頼性を持って見つけることができる。最初に遭遇するエッジは、このように所望のエッジである。従って、本発明に係る種々の例示的実施形態において、本発明に係る形態学的フィルタを検査操作に適用すると、関連するエッジ検出ツールの走査方向は、それが検査対象の形体の内部で開始するように、手動で、半自動的、または自動的に決定される。または、検査操作を定義する場合、図４と図５に示す種々のビデオツールを参照して前述した「＋」形状のエッジセレクタを使用して、検出対象の所望のエッジを、ギザギザ線のアーティファクトのエッジなどの近接するエッジから効果的に区別することは、従来通りである。しかし、所望のエッジのみを検出するこの方法は、前述した走査方向技術ほどの信頼性はない。もちろん、強固さが向上するには、両者の方法を一緒に使用してもよい。
【００４８】
直線状構造的要素７０２の例示されているサイズは、図７Ａと図７Ｂのスケールに関して誇張されていることは理解されるべきである。長方形構造的要素である直線状形体７０１の寸法ｗは一般的に、検査対象のエッジを有する形体の幅よりも小さく、または大幅に小さく決定される。特に、オクルージョン要素（オクルージョン格子棒のエッジなど）のエッジが検査対象の形体のエッジに平行でないことが保証される、及び長方形または直線状構造的要素が、検査対象のエッジに少なくとも略平行となるように矛盾せずに整列できることが保証される種々の適用においては、長方形または直線状の構造的要素の寸法ｗが少なくとも１ピクセル分であれば十分である。しかし、オクルージョン要素（オクルージョン格子棒のエッジなど）のエッジが、検査対象の形体のエッジに実質的に平行であるような特別な場合においては、幅ｗ＝１ピクセルを有する直線状構造的要素に平行な方向に沿うオクルージョン形体を取り除くことはできない。しかし、そのような場合の簡単な解決策は、例えば、３ピクセル分以上の厚さまたは幅寸法ｗを有する長方形構造的要素を使用することである。このように、種々の例示的な実施形態において、少なくともオクルージョン要素のエッジが検査対象の形体のエッジに平行、またはほぼ平行な場合は、本発明の方法を組み込んでいるパートプログラムに使用される直線状タイプの構造的要素は、少なくとも、３ピクセル分の幅ｗを有する。これにより、検査対象の形体の内部から「平行な」オクルージョン要素さえも削除されることが保証される。
【００４９】
長さ寸法Ｌに関して、理想的には、検査対象の形体近傍の所望の領域または対象領域において１回の拡張／浸食の繰り返しで格子のようなオクルージョン対象を効果的に除去するためには、長さＬは、オクルージョン形体の関連スパンを完全に覆うために十分な長ささえあればよい。構造的要素が検査対象の直線状タイプの形体のエッジに近似的に平行に方位付けられていると仮定すると、関連スパンは、検査対象の形体近傍の所望の領域または対象領域で、検査対象の直線状タイプの形体のエッジの方位に平行な方向に沿うオクルージョン形体に含まれるピクセルの最長連続スパンである。
【００５０】
種々の実施形態または適用において、最も速いフィルタリング操作は、関連スパン長よりも大幅に小さい長さを有する構造的要素を使用し、所望のフィルタリング結果を達成するために要求される繰り返し回数を増加することにより得られる。例えば、理論的には、Ｌ’を、１回の繰り返しにおいて格子または他のオクルージョン形体を完全にフィルタ処理で除去または取り除くために要求される直線状タイプの構造的要素の長さとする場合は、長さＬ’／Ｎの構造的要素は近似的に同一の結果を、Ｎ回の繰り返しで達成するであろう。繰り返し回数が増加したにも拘わらず、構造的要素がより小さいサイズのため、そのような実施形態は実際には、要求された複数回のフィルタリング操作を、相対的により長い構造的要素を使用する前述した１回のフィルタリング操作を実行するのにかかる回数よりも少ない回数で実行できる。
【００５１】
しかし、他の考察によれば、ある実施形態または適用においては、寸法Ｌが、直線状タイプの構造的要素を所望の角度の解像度及び正確性を伴って方位付けることができることが保証されるために十分なデフォルトの長さを有するように制限されることもある。見かけ上の方位を有しない円形構造的要素とは対称的に、直線の辺を有する形態学的な構造的要素の形状、及び具体的には、長方形及び直線状要素のような直線状タイプの構造的要素は、所望の正確性を有するフィルタリング結果を生み出すために、検査対象の形体の直線エッジに関して、適切に方位付けられなければならない。一般的に、直線状タイプの構造的要素の軸が、検査対象のエッジ形体に平行であることに近ければ近いほど、それだけより正確に、フィルタリングはエッジの直線性と位置を保存し、それに続く検査と測定の結果はそれだけより正確となる。
【００５２】
この点に関して、構造的要素の長さの重要性を明確にするために、２ピクセル分の長さを有する構造的要素を考察する。構造的要素ピクセルの行列配置に対しては、２ピクセル分の長さと１ピクセル分の幅を有する構造的要素は、０°、４５°、及び９０°のみの意味のある角度方位を有することは理解されよう。つまり、二つの隣接するピクセルに対する唯一の選択肢は、一つの行、一つの列、または対角線に沿うかのいずれかである。このように、意味のある方位の解像度はわずか４５°である。一般的に、構造的要素の長さが増加すると、意味のある角度方位の解像度は向上する。例えば、構造的要素が約５８ピクセル分の長さを有する場合、約１°の意味のある角度方位の解像度が提供され得る。検査対象の直線状形体の（理想的な）直線状エッジは、エッジに平行でない直線状構造的要素により引き起こされるアーティファクトを示すことが一般的である。この影響は、例えば、図７Ｄに示す。
【００５３】
具体的に、図７Ｄに示す結果を生み出すためには、Ｌ＝２７ピクセルの長さとｗ＝１ピクセルの幅を有する長方形／直線状構造的要素に対して５回の拡張／浸食の繰り返しを含む形態学的フィルタリング処理を使用した。直線状構造的要素は、検査対象の直線状形体のエッジに関して２°だけずらして並べた。図７Ｄに示すように、格子は除去されたが、現れた直線状形体７０１’は、不規則なエッジという結果になるエッジのアーティファクトを含む。これは、相対的に高い正確性の検査と測定結果が望まれている場合は、許容できるフィルタリング結果ではない。この例は、構造的要素を適切に方位付け、本発明に係る形態学的フィルタリングを提供することの価値を強調しており、このことは、直線状タイプの構造的要素の場合は、構造的要素が、十分な角度解像度で検査対象のエッジに平行に方位付けることを可能にする長さを有することを要求する。もちろん、特別な検査測定に対する正確性の条件により構造的要素を方位付けるために要求される角度解像度が決定され、今度はそれが、要求される構造的要素の長さを決定する。従って、要求される検査の正確性が相対的に低い場合は、相対的により短い構造的要素が許容される。
【００５４】
このように、少なくとも一つの直線状のエッジを有する構造的要素に対する、少なくとも１°の意味のある角度方位の解像度を提供することが望まれている種々の実施形態においては、直線状エッジは少なくとも５８ピクセル分の長さを有する。同様に、相対的により低い正確性が許容される実施形態においては、２°、５°、または１０°の角度方位のそれぞれに対して、少なくとも一つの直線状エッジは２９ピクセル分、１２ピクセル分、または６ピクセル分の長さそれぞれを有する。より一般的には、約Ｋ°の角度解像度を提供するためには、少なくとも一つの直線状エッジは［１８０°／（π＊Ｋ°）］ピクセル分の長さを有する。直線状または長方形構造的要素に対する方位及び／または長さを手動で、半自動的に、または自動的に選択または調整することに関する種々の考察及び方法は下記により詳細にその概要が記述される。
【００５５】
直線状タイプの構造的要素の最大長さＬに関して、仮説的に、１回の繰り返しで格子のようなオクルージョン形体をきれいに除去したい場合は、直線状の構造的要素は、検査対象の直線状形体のエッジの方位に平行な方向に沿うオクルージョン形体に含まれるピクセルの最大幅の連続スパンを完全に跨ぐように、十分な長さＬであることが必要となり、これによりオクルージョン形体がきれいに除去される。オクルージョン格子の場合、この線の長さＬは図８を参照して記述される下記の処理に従って算出してもよい。
【００５６】
図８は検査対象の線またはエッジ形体８０１と、不要なオクルージョン格子８０２の一部を模式的に示している。Ｇａが格子の方位角（基準軸からの）を示し、Ｔが格子棒の幅または厚さを示し、そしてＬａが検査対象の線またはエッジ形体８０１の方位（基準軸に関して）を示すとする。本発明によれば、Ｌａもまた関連する構造的要素の理想的な方位となる。φ＝（Ｌａ−Ｇａ）が線またはエッジ形体８０１、または関連ある構造的要素の、格子に関しての方位を示すとする。図８に例示するように、線またはエッジ形体８０１、または構造的要素の方向に平行な方向に沿うオクルージョン格子８０２に含まれるピクセルの最長連続スパンは、格子棒が交差する角をまさにかすめて通る格子棒に対する内部の線に沿っている。この線に沿う格子ピクセルの連続スパンの長さＬは、名目上下記の式１のようになる。
【００５７】
【数１】
【００５８】
この式によれば、線の方位及び格子の方位が整列すると、つまり、φ＝０°、９０°、１８０°、または２７０°の場合、長さＬは理論的には無限大となる。しかし、オクルージョン形体が格子または他のタイプの対象物であるかに拘わりなく、実際はＬの最大有効値は、フィルタ処理される領域に含まれる最大寸法を超えることは確かにない。種々の実施形態または適用において、現在の個々のビデオツールに関連して定義された現在の対象領域のみがフィルタ処理され、その場合、寸法Ｌの最大有効値は、現在の対象領域の近似的な対角線の寸法を超えることは確実にない。全体の画像がフィルタ処理される実施形態または適用においては、寸法Ｌの最大有効値は画像の近似的な対角線の寸法を超えることは確実にない。そのような相対的に長い長さが構造的要素に使用され、フィルタリング操作が、繰り返しの間、対象領域（または画像）における種々のピクセルアドレスの位置で実行されると、特別なピクセルアドレスに関連する対象領域（または画像）を超えて延伸する構造的要素の部分は無視される。
【００５９】
しかし、多くのオクルージョン格子配置に対して、式１に従って決定されるＬの値は、上記の対角線の寸法よりも小さいであろう。そのような場合、特別な形体または画像に対して式１に従って決定されるＬの値を得るための価値ある目的は、その特別な形体または画像に対するＬの値が、前述した対角線の寸法、または特別な実施形態または適用に適用される他のデフォルトの構造的要素の最大長未満かどうかを決定することである。つまり、オクルージョン格子に対しては、式１に従って決定された長さより大きい構造的要素の長さは、相対的にノイズのない画像において画像フィルタリング結果をそれほど大幅に向上させることはありそうもなく、相対的にゆっくりしたフィルタリング操作という結果になる。このように、種々の実施形態において、フィルタリング操作に、所望のフィルタリングの結果を生み出すために必要以上に長い時間がかかることがないことが保証されるために、構造的要素の長さは近似的に、上記に概要を記述したように決定してもよい関連スパンの長さ以下に制限される。前述したように、構造的要素の長さが関連スパンの長さ未満の場合、信頼性を伴ってオクルージョン形体を除去するためには複数回の拡張／浸食の繰り返しが要求される。理論的には、Ｌ’が理想的条件において（例えば、ノイズのない条件）で１回の繰り返しで格子または他のオクルージョン形体を完全にフィルタ処理で除去または取り除くことができる直線状タイプの構造的要素の長さの場合、Ｎ＝Ｌ’／Ｌの繰り返し回数で、理想の条件においては長さＬの構造的要素に対して、近似的に同一の結果を達成できる。
【００６０】
円形構造的要素を参照して上記に検討した考察と同様に、オクルージョン形体が、棒の幅または厚さＴを有する格子の場合、種々の実施形態において、式１を参照して上記に概説したように直線状タイプの構造的要素の長さを設定すること、またはＬ＝２Ｔ+１と近似的に同じ大きさの、簡単で十分なデフォルト値を提供することのいずれか大きな値を設定または提供することは、フィルタリング速度と、信頼でき且つ完全なフィルタリングとの間の合理的なかね合いのためには好都合である。更に、種々の実施形態において、種々のフィルタ処理済み画像形体の見かけ上の位置における空間的な移動または偏りを引き起こすことを避けるため、そして最良のフィルタリング正確性を提供するためには、直線状タイプの構造的要素の長さＬが奇数個のピクセルに対応することは、前述した理由により有利である。
【００６１】
更に、直線状タイプの構造的要素を使用する形態学的フィルタリング操作に対して使用される繰り返しの回数は、上記に概説したように、理想的条件下で要求される最小繰り返し回数Ｎ＝Ｌ’／Ｌより若干大きく決定してもよい。例えば、一つの代案として、Ｎ＋３回の繰り返しを使用して信頼性のあるフィルタリングの結果を保証することができる。また、ある適用及び／または形体に対して、直線状タイプの構造的要素の長さと、対応する繰り返し回数は、完全なフィルタリングを保証する所定のデフォルト値に単純に設定してよい。例えば、棒の幅または厚さＴを有するオクルージョン格子に対しては、構造的要素の長さがデフォルト値のｄ＝２Ｔ＋１に設定されるときは、繰り返し回数は単純に５回の繰り返し分のデフォルト値に設定してもよく、この値は、合理的なフィルタリング速度を維持しながら、ノイズのある画像を含めて、典型的な画像のほとんどまたは全てにおける対象領域に対する効果的なフィルタリングを保証する控えめに「大きな」値である。
【００６２】
種々の実施形態において、構造的要素の選択を支配する特性のいずれかまたはその全て、及び構造的要素に適用される繰り返し回数は、被加工物に対するパートプログラムに含まれる種々のパラメータと命令を決定する「学習モード」またはトレーニングフェーズ中に、手動で、半自動的に、または自動的に決定してもよい。パートプログラムは記録されて、その後、被加工物を検査するために操作のランモードまたはランフェーズ中に再呼び出しされて自動で実行されてもよい。例えば、種々の適用において、そのような特性は、それに制限されるわけではないが、不要な格子の厚さ及び／または方位、不要な格子の関連寸法、または他のオクルージョン形体、フィルタ処理され検査される直線状形体の方位、対象領域の寸法などを含んでもよい。
【００６３】
ここで開示されたシステムと方法を使用して、ここに含まれる種々の図に示されるような、格子によりオクルージョンされたエッジ形体に対する実験により得られた位置正確性は、０〜１μｍの範囲であり、同様にオクルージョンされた円の直径に対する位置正確性は１〜２.５μｍの範囲である。０.１μ未満の実験的測定繰り返し性が達成された。これらの誤差は、同一な画像に対する一般的なフィルタリング方法を使用して得られたものよりも小さく、最大で５０〜７５％である。このように、本発明に係る形態学的フィルタリングシステム及び方法を使用して、より最新ではないフィルタリング方法、または包括的フィルタリング方法では得られなかった正確性及び繰り返し性のレベルである、ミクロンまたはサブミクロンの正確性及び繰り返し性でオクルージョンされた形体を測定する既存の機械視覚検査システムビデオツールと連携して使用できる、具体的にフィルタ処理された画像または画像部分を提供できることは理解されよう。
【００６４】
図９は、不要な形体を有する被加工物を検査するための一般的ルーチン９００の一つの例示的な実施形態を示すフロー図である。ブロック９２０において、検査対象の被加工物形体と、検査対象の形体に近接する不要な形体（例えば、格子）を含む画像を取得する。ブロック９３０において、検査対象の被加工物形体を含む画像の少なくとも一部分上で視覚システムにより実行される操作に対して対象領域が定義される。ブロック９４０において、少なくとも対象領域で視覚システムにより実行されることになっている構造形態学的操作が実行される。ブロック９５０において、構造形態学的画像が格納される。ブロック９６０において、対象領域で視覚システムにより実行される操作が、構造形態学的画像における対応する位置で実行される。ブロック９７０において、操作結果、が取得した画像に対する結果として生み出される。ルーチン９００の操作は、手動被加工物検査操作を実行するために、手動モードで実行してもよい。他の例において、それらの操作は、パートプログラムに記録される形態学的フィルタリング操作を含む検査手順を定義するために、手動で、半自動的に、または自動的に学習モード／トレーニングモードで実行してもよい。更に他の例において、それらの操作は、形態学的フィルタリング操作を含む一連の被加工物検査指令を含むパートプログラムの自動実行中に実行してもよい。
【００６５】
図１０は、構造形態学的操作を実行するためのルーチン１０００の一つの例示的な実施形態を示すフロー図である。一つの実施形態において、図１０の構造形態学的操作を、図９のブロック９４０において実行してもよい。図１０に示すように、ブロック１０２０において、対象領域において検査対象の被加工物要素または形体の形状及び／または方位の適用できる特性が決定される。ブロック１０３０において、対象領域における不要な形体の適用できる特性が決定される（例えば、格子の幅または厚さ、方位、関連寸法など）。ブロック１０４０において、構造的要素の形状、方位、及び寸法が、ブロック１０２０と１０３０の操作で得られた情報に基づいて決定される（例えば、直径、長さ、幅、または厚さなど）。種々の実施形態において、ブロック１０４０における方位及び／または寸法を決定する際に、方位及び／または寸法に適用可能な操作上のデフォルトの限度を考慮してもよい。そのようなデフォルト限度の種々の例は前述した。
【００６６】
ブロック１０５０において、少なくとも検査対象の形体の内部から不要な形体を除去するのに必要な形態学的処理の繰り返し回数は、以前に得た情報に基づいて決定される。種々の実施形態において、繰り返し回数の決定は、ブロック１０２０と１０３０のいずれか、または両方の操作で得られた情報に基づいてよい。種々の実施形態において、繰り返し回数を決定する際にも、例えば、ブロック１０４０において以前に決定されたデフォルト寸法に関連する可能性のある操作上のデフォルトの繰り返し回数を考慮してもよい。形体特有の繰り返し及び／または繰り返しのデフォルト回数を決定する種々の例は前述してある。ブロック１０６０において、所望の形態学的処理操作が、決定された構造的要素と繰り返し回数に基づいて、少なくとも対象領域上で実行される。ブロック１０６０の操作に続いて、ルーチンは終了する。
【００６７】
図１１は、画像中の不要な形体の支配的な関連寸法の手動決定を実行するルーチン１１００の一つの例示的な実施形態を示すフロー図である。種々の実施形態において、ルーチン１１００は図１０のブロック１０３０、または図１３に示すルーチン１３００のブロック１３７０において実行してもよい。図１１に示すように、ブロック１１１０において、不要な形体の支配的な関連寸法の手動決定は、現在の画像、関心領域（ＲＯＩ、Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）、または検査対象の形体に対して開始する。ルーチン１１００の操作は、手動の被加工物検査操作を実行するために手動モードで実行してもよい。他の例において、ルーチンの操作は、パートプログラムに記録される形態学的フィルタリング操作を含む検査手順を定義するために学習モード／トレーニングモードにおいて手動で、半自動的に、または自動的に実行してもよい。ブロック１１２０において、現在の画像、関心領域、または検査対象の形体に関連する不要な形体の最長オクルージョンスパンの位置は、視覚的に、またはいかなる現在公知のまたは、後に開発されるビデオツールなどの支援により特定される。ブロック１１３０において、視覚システムビデオツールなどが最長オクルージョンスパンの測定に使用される。いくつかの導入において、オクルージョンスパンが繰り返し形体またはパターンの一部である場合は、パターンのいずれかの場所に含まれる適切な代表的スパンを測定してもよい。ブロック１１４０において、不要な形体の支配的関連寸法が決定、格納され及び／または導入される。場合によっては、最長オクルージョンスパンは支配的関連寸法と決定してもよい。種々の実施形態において、ブロック１１４０における支配的関連寸法を決定する際にも、支配的関連寸法へ適用可能ないかなる操作上のデフォルト限度を考慮してもよく、デフォルト限度は、最長オクルージョンスパンとの比較に基づいて支配的関連寸法として決定してもよい。そのようなデフォルト限度の種々の例は前述した。
【００６８】
支配的関連寸法を、手動検査操作に使用される構造的要素の特性を決定するために導入してもよい。または、後の被加工物の自動検査に使用される構造的要素の特性を決定するために、支配的関連寸法をパートプログラムに格納または導入してもよい。
【００６９】
図１２は、検査対象の形体に近接する不要な形体の支配的関連寸法を半自動、または自動で決定するためのルーチン１２００の一つの例示的な実施形態を示すフロー図である。種々の実施形態において、ルーチン１２００を図１０のブロック１０３０または図１３に示すルーチン１３００のブロック１３７０で実行してもよい。図１２に示すように、ブロック１２１０において、不要な形体の支配的関連寸法の半自動または自動決定は、現在の画像、関心領域、または検査対象の形体に対して開始する。ルーチン１２００の操作は、半自動または自動操作として、例えば、手動被加工物検査操作を実行するために操作の手動モード中に使用されるビデオツールの基盤となる操作として実行してもよい。他の例において、ルーチンの操作は、パートプログラムに記録される形態学的フィルタリング操作を含む検査手順を定義するために学習モード／トレーニングモードにおいて実行される半自動または自動操作であってよい。更に他の例において、ルーチンの操作は、形態学的フィルタリング操作を含む一連の被加工物検査命令を含むパートプログラムの実行中にフィルタリング特性またはパラメータを決定または改良するための操作のランモード中に自動で実行してもよい。
【００７０】
ブロック１２２０において、不要な形体の形状は、現在公知の、または後に開発される手段のいずれかにより特定、入力、または指定される。例えば、操作のトレーニングモード中に、ユーザーは形状のタイプを形状メニューまたはライブラリから、またはテキストまたは図の入力により、またはテンプレートとして使用される形状を特定することにより選択または入力してもよく、または形状は図形パターン認識などにより特定してもよい。操作の自動ランモード中に、不要な形体形状などの形状タイプまたはテンプレートをメモリから再呼び出ししてもよく、パートプログラム命令により指定してもよい。一例として、不要な形体が格子の一部である場合、格子に関する対象領域のサイズに従って、形状は格子の一つ以上の棒に対応する長方形であってもよく、格子の一つ以上の交点に対応するＸ形であってもよく、または格子の一つ以上の矩形状のセルに対応する形状またはパターンなどであってもよい。
【００７１】
ブロック１２３０において、パターンマッチングアルゴリズムを利用して関心領域（または、他の実施形態において、現在の画像のより大きな領域）における指定された不要な形体形状の例の場所を特定する。ブロック１２４０において、指定された不要な形体形状の複数の例が関心領域（または、他の実施形態において、画像のより大きな領域）に存在する場合、形状の一つ以上の関連例が特定及び／または選択される。一例として、自動操作中、関連例が現在の関心領域に含まれる例、エッジセレクタの場所または点ツールの場所に最も近接した、または十分に近接した中心を有する例として選択されてもよく、それは対象領域において検査される現在の形体に対して検査操作を定義するために使用される。他の例として、操作の学習モード中に、複数の例は表示スクリーン上の被加工物画像に示されてもよく（例えば、着色された形状の外形または塗りつぶしたものなどにより示す）、ユーザーは好ましい例を手動で、ユーザーインターフェースを介して特定または選択してよい。
【００７２】
ブロック１２５０において、アルゴリズムを利用して最長オクルージョンスパンを測定し、不要な形体の支配的関連寸法を決定する。例えば、検査される現在の形体が直線状エッジの場合、アルゴリズムは、エッジの方位を入力、再呼び出し、または決定すること、及びエッジの方位に平行な多数の走査線に沿う不要な形体形状の関連例に含まれる隣接ピクセル数を評価することを含んでよい。決定された隣接ピクセルの最大数は最長関連寸法に対応する。そして、ブロック１２６０において、支配的関連寸法が決定、格納及び／または導入される。場合によっては、最長オクルージョンスパンを、支配的関連寸法として決定してもよい。種々の実施形態において、ブロック１１４０における支配的関連寸法を決定する際もまた、支配的関連寸法に適用可能ないかなる操作のデフォルト限度を考慮してもよく、デフォルト限度は、最長オクルージョンスパンとの比較に基づいて支配的関連寸法として決定してもよい。そのようなデフォルト限度の種々の例は前述した。
【００７３】
支配的関連寸法は、手動検査操作のために使用される構造的要素の特性を決定するために導入してもよい。または、操作の学習モード中に、支配的関連寸法は、後の被加工物の自動検査に使用される構造的要素の特性を決定するために、パートプログラムに格納または導入してもよい。更に、操作のランモード中に、支配的関連寸法は、パートプログラムの実行中に使用されるフィルタリング特性またはパラメータを決定または改良するために導入してもよい。
【００７４】
図１３は、構造的要素の特性を決定するためのルーチン１３００の一つの例示的な実施形態を示すフロー図である。ルーチン１３００の操作は機械視覚検査システムの手動検査または操作の学習モード中に実行されるのが一般的である。しかし、ルーチンの操作は、場合によっては操作のランモード中に、同一のパートプログラムによって検査できる部分間の小さなバラツキに順応するために、構造的要素の特性を自動的に改良するように適合することもある。一つの実施形態において、ルーチン１３００は図１０のブロック１０２０〜１０４０において及び／または図９のブロック９４０の操作において利用してもよい。図１３に示すように、ブロック１３１０において、構造的要素の特性の決定を開始する。ブロック１３２０において、検査対象の被加工物形体の表現が、この後に続くルーチン１３００の操作のために再呼び出しされ、及び／または入力される。種々の実施形態または適用において、被加工物形体の表現は、ＣＡＤデータ、ＣＡＤデータに基づいてシミュレートされた画像、または、被加工物形体を含む実際の画像などを含んでよい。
【００７５】
決定ブロック１３３０において、被加工物の形体表現は、検査対象の被加工物形体が、予め定義された構造的要素の候補形状の集合体に含まれているいずれかの形状に対応するか（つまり、正確にフィルタ処理され得るか）を決定するために解析される。ここに前述したように、一般的には、構造的要素の形状は検査対象の形体または形体の部分に整合するように選択される。このように、利便性のため、本発明に係る機械視覚検査システムは、予め定義されたタイプの構造的要素の候補形状の集合体を定義する、ライブラリ、メニュー、またはリストなどを含んでよく、それらは、例えば、直線及び／または一つ以上の一般四角形状（前述したように、直線状形体とエッジのフィルタ処理に使用可能）、直角の「Ｌ−形状」パターン（角のフィルタ処理に使用可能）、円（円または円形部分のフィルタ処理に使用可能）、定曲率の円弧（環状形状部分のフィルタ処理に使用可能）、一つ以上の一般三角形状（三角形状のフィルタ処理に使用可能）、または検査対象の形体の形状として共通して生じることが予想される他のいかなる形状を含んでもよい。被加工物形体が、予め定義された形状の一つに対応するかどうかの決定は、例えば、視覚認識または比較、幾何学的解析及び分類、幾何学的パターンマッチング（これはまた、形態学的形状バラツキを含むこともある）、またはテンプレートマッチングなどにより、操作の手動モードまたは学習モード中に、手動で、半自動的に、または自動的に実行してもよい。
【００７６】
検査対象の被加工物形体が予め定義された構造的要素の候補形状の集合体に含まれるいずれかの形状に対応する場合は、操作はブロック１３４０において継続され、そこで構造的要素の形状がそれに従って設定される。種々の実施形態において、正確なフィルタリングが要求された場合は、一般形状の種々の角度及び／またはアスペクト比などをブロック１３４０の操作において変更または適合して、検査対象の形体により良好に整合するようにしてもよい。ブロック１３４０においてもまた、構造的要素の形状によりその方位が認識できるのであれば、検査対象の形体の方位は手動で（一般的には、機械視覚検査システムの一つ以上のビデオツールの支援による）、半自動的に、または自動的に決定される。そして、構造的要素の方位は、検査対象の形体の方位に平行であると定義され、関連する方位パラメータまたは特性は後の使用のために、パートプログラムに格納及び／またはフィルタリングに使用される構造的要素に導入してもよい。直線状の形体の方位を自動的に決定する種々の態様については、更に下記で検討する。
【００７７】
ブロック１３３０において、被加工物形体が予め定義された形状のいずれにも対応しないと決定された場合（例えば、それが不規則な形状、または形状の組み合わせの場合）、操作はブロック１３５０で継続され、そこで被加工物の形体形状が、現在公知の方法、または後に開発される方法のいずれかにより被加工物の形状表現から抽出または決定される。例えば、形体のエッジまたは境界を、種々の公知の画像処理技術により特定し、及び／または完成し、滑らかにしてもよく、または検査対象の形体を、領域成長技術または他の公知の画像処理技術により塗りつぶして、エッジまたは境界が現れるようにしてもよい。結果として現れた形体の形状は、公知の画像処理技術により「抽出」されて、構造的要素の形状として使用される。そのような場合、構造的要素は幾何学的に検査対象の形体と類似したものになる。ブロック１３５０においてもまた、構造的要素の形状により、その方位が認識できるのであれば（一般的には認識できる）、検査対象の形体の方位は、ブロック１３４０における類似の操作に対して前述したように決定、格納及び／または導入される。
【００７８】
ブロック１３３０またはブロック１３５０のいずれかから、決定ブロック１３６０において操作は継続し、そこでデフォルト寸法のあるタイプを構造的要素寸法に使用するかどうかが決定される。この決定は、構造的要素に対して使用される形状のタイプに基づいて、形態学的フィルタリング操作に対するデフォルト設定に基づいて半自動的または自動的に決定してもよく、またはユーザー入力により決定してもよい。種々の実施形態または適用において、特に検査対象の形体の特性に一貫性があり、予測可能な場合は、種々の構造的要素の形状に対してデフォルト寸法を確立すると好都合である。一般的に、デフォルト寸法を使用すると、未経験のユーザーが検査結果を取得及び／またはパートプログラムをより迅速に作成することが可能になる。この決定は、構造的要素に対して使用される形状タイプに基づいて、形態学的フィルタリング操作のためのデフォルト設定に基づいて半自動的または自動的に決定してもよく、またはユーザー入力によって決定してもよい。デフォルト寸法が使用される場合は、結果としての構造的要素のサイズは、検査対象の形体との関連において、デフォルト寸法によって決定されるレベルに縮小するのが一般的である。サイズ縮小の機能的及び／望ましいレベル、及び／またはデフォルト寸法に対して使用可能な最小サイズ（例えば、フィルタリング速度に関連して、効果的なフィルタリングのために要求される繰り返し回数、及び／または種々の形状に対する十分な形状または方位の解像度の提供など）は、円形及び直線状の形体及びその対応構造的要素に関連する前述のティーチング及び例からの類推によって理解及び導入してもよい。
【００７９】
決定ブロック１３６０においてデフォルト寸法の使用が決定されると、操作はブロック１３８０において継続し、そこでデフォルト寸法は構造的要素の寸法を決定するために適用される。決定ブロック１３６０においてデフォルト寸法を使用しないことが決定されると、操作はブロック１３７０において継続し、そこで検査対象の形体に近接するオクルージョン形体に対して支配的関連寸法が決定される。例えば、支配的関連寸法は、図１１または図１２を参照して記述された操作に従って決定してもよく、またそうでないときは、ここで指定する。そのような操作がブロック１３７０の操作に先立って実行されると、ブロック１３７０において、後に続く操作での使用のために支配的関連寸法の格納済みの値が単に再呼び出しされることもあり、そうでない場合は、そのような操作はブロック１３７０に含まれる。いずれの場合にせよ、ブロック１３８０において、支配的関連寸法は構造的要素の寸法を決定するために適用される。
ブロック１３９０において、形状、寸法、及び適用可能であれば方位のような構造的要素の特性を定義するパラメータまたはデータは、後の使用のためにパートプログラムに格納及び／またはフィルタリングのために使用される構造的要素に導入され、ルーチンは終了する。
【００８０】
図１４〜図２０は、本発明に係るシステムと方法と連係して使用可能な種々のグラフィカルユーザーインターフェース及びコントロール機能を例示しているスクリーン表示の図である。下記により詳細に記述されるように、本発明に係る種々の形態学的フィルタ操作を定義及び／または使用するためには、ユーザーはまずビデオツール（例えば、ボックスツール）を使用して対象領域を定義する。一つの実施形態において、ユーザーはその後、例えばツールの部分または機能をダブルクリックしてツールを操作し、その特定なツールのダイアログボックスを表示させる。「advanced」タブ上で、そして「filter type」リストにおいてユーザーは本発明に係る種々の形態学的フィルタリング操作の使用を可能または起動するために「morphology」を選択し、「parameters」をクリックする。これにより「morphology filter settings」ダイアログボックスが表示され、そこからユーザーは種々のフィルタ設定をプレビュー及び／または選択できる。
【００８１】
図１４は、円形被加工物形体を含む（図１４の画像ウィンドウ表示エリア１４１０の境界に近似的に一致する境界を有する）対象領域を定義するために使用されるボックスツールを例示するスクリーン表示１４００の図である。図１４に示すように、ボックスツールで選択された円形被加工物形体は表示エリア１４１０に表示される。ダイアログボックス１４２０は、マスク形状は、またはここでは構造的要素と称せられるが、予め定義された候補のリストから楕円として選択され、７９ピクセルという同一の行列寸法を有し、円を形成する。種々の実施形態において、寸法は初期段階でデフォルト値に設定してもよく、及び／または寸法は前述した原理に従う現在の画像に対して決定してもよく、ユーザーによって入力してもよい。ダイアログボックス１４２０の下部右隅にある反転表示の「Restore」ボタンは、表示画像が機械視覚検査システムのカメラから見える画像であることを示している。
【００８２】
図１５はスクリーン表示１５００の図であり、表示エリア１４１０は、ダイアログボックス１４２０のパラメータに従って定義された形態学的フィルタリング操作を図１４に示す画像に適用した結果のフィルタ処理済み画像を含む。一つの実施形態において、フィルタ処理済み画像が作成され、ダイアログボックス１４２０の下部右隅の「Preview」ボタンの起動に基づいて表示される。反転している「Preview」ボタンは、表示画像がダイアログボックス１４２０の設定に従ってフィルタ処理された画像であることを示している。この機能により、ユーザーはフィルタ設定の結果を適用する前に、またはフィルタ設定の結果をパートプログラムに組み込む前にそれらをプレビューすることができる。ユーザーは「Restored」画像と「Preview」画像とをボタンを使用して交互に切り替えることができ、ビデオツールを使用して二つの画像についての比較測定を実行することができる。
【００８３】
図１６は、拡張したフィルタ構成リストを示すスクリーン表示１６００の図である。図１６に示すように、ダイアログボックス１４２０は、「JESS」と「MLD」を含む種々のフィルタ構成設定を含む。この機能により、ユーザーは現在のフィルタ設定に名前を付けて保存することができる。例えば、特別な被加工物または形体を、同軸照明やステージ照明のように異なる照明条件で種々の態様を検査することがある。そのとき、適用されたいくつかの形態学的フィルタリング操作の態様の中には、構造的要素のサイズと形状は同一でありながら、異なるものがある。例えば、不要な形体（格子）が円形形体よりも明るく見えるときは、操作は「Opening」に設定すべきであり、他の全てのフィルタパラメータも同じである。これは別のフィルタ構成として格納でき、関連する照明条件になったときはいつでも再呼び出しすることができる。他の例として、これから検査される被加工物形体が異なる形状を有するときは、各形状に対応する構造的要素は、学習モード中に決定でき、対応するフィルタ設定値は、対応する形体を含む類似の被加工物の関連部分を、後にまたは繰り返し検査するときに関連付けられたフィルタ構成の名前を使用して容易に検索できるように保存できる。この機能を提供する主要な目的は、オペレータが容易に使用できることである。
【００８４】
図１７は、ダイアログボックス１４２０の種々の形態学的フィルタ設定を示すスクリーン表示１７００の図であり、長方形構造的要素の形状、またはここでは直線状タイプの構造的要素の形状と称される形状を含んでいる。図１７に示すように、表示エリア１４１０は、ボックスツールにより定義された対象領域を示し、長方形被加工物形体の選択されたエッジを含んでいる。ダイアログボックス１４２０は、マスク形状が長方形として選択されたことを示し、構造的要素の寸法が２７行１列として定義され、構造的要素に対し、測定するために選択されたエッジに平行に方位付けられたピクセルの直線を形成している。種々の実施形態において、寸法は初期段階においてデフォルト値に設定してもよく、及び／または寸法は前述の原理に従って現在の画像に対して決定し、ユーザーが入力してもよい。「Mask」、つまり、構造的要素は複雑及び／複合形状を有することができることは理解されるべきである。構造的要素は、ここで一般的に使用される単純な幾何学形状に限定されることはなく、図１７にリスト表示されている。保存される被加工物形体の形状に整合するほとんどすべての形状を有する更に複雑な構造的要素の形状を、形状の類似した複雑な被加工物形状を正確に保存するための形態学的フィルタリング操作のために設計する（または、前述したように実際の被加工物形状の画像から導出されたテンプレートから取り出す）ことができる。そのような複雑な構造的要素形状は、望むならば、図１７に示すリストに、適切に名前を付けて追加することが可能である。
【００８５】
図１８は、ボックスツールメニュー上のフィルタタイプのリストのオプションを示すスクリーン表示１８００の図である。図１８に示すように、ボックスツールダイアログボックス１４３０において、「Advanced」タブをクリックすることで、「Filter Type」リスト中で、ユーザーは、本発明に係る種々の形態学的フィルタリング操作の使用を可能及び／または起動するために、「Morphology」を選択できる。「Morphology」を選択すると、図１９に示すように、前述した「Morphology Filter Settings」ダイアログボックス１４２０が再呼び出しされる。図１９はまた、図１５を参照して前述したように、ダイアログボックス１４２０でのフィルタ設定の結果である表示エリア１４１０内のフィルタ処理済み画像を示す。図１８に示す実施形態において、ダイアログボックス１４３０には、「standard」、「brightness」、及び「texture」設定を選択するためのオプションと、形態学的フィルタ操作の定義に関連しないボックスツール操作の態様を支配する種々の閾値を設定するためのオプションが提供される。フィルタタイプのオプションは、「median」、「averaging」、「gaussian」、及び「morphology」と表示される。
【００８６】
図１９は、スクリーン表示１９００の図である。図１９に示すように、表示エリア１４１０において、ダイアログボックス１４２０のフィルタ設定は、図１５を参照して前述した方法で、図１８に示すカメラ画像のフィルタ処理済みバージョンを生成するように適用されている。ダイアログボックス１４２０は、マスク形状が「rectangle」であることを示している。ダイアログボックス１４２０において、検査対象の被加工物形体とオクルージョン形体の間の輝度関係に基づいて「operation type」が選択される。検査対象の形体が明るく、オクルージョン形体が暗いときは、「closing」操作が選択され、検査対象の形体が保存される。検査対象の形体が暗く、オクルージョン形体が明るいときは、「opening」操作が選択され、検査対象の形体が保存される。
【００８７】
図２０は、長方形構造的要素と検査対象の形体をお互い平行に方位付ける回転操作を例示するスクリーン表示２０００の図である。画像ウィンドウ表示エリア１４１０のボックスツールの方位と長方形構造的要素のための「Size」値は、図２０の図を作成する方法のアーティファクトである。その状態は、一般的に図２０に示す画像の検査には好ましくなく、有効でもない。それらは無意味と考えるべきである。
【００８８】
図２０に示すように、表示エリア１４１０において、長方形被加工物形体は４５°「回転」または方位付けられる。ダイアログボックス１４２０において選択された長方形構造的要素を検査対象の形体と平行に方位付けるには、ユーザーは、「Rotation」ダイアログエリアをクリックして回転（または方位付け）機能を「Enable」状態にし、「Angle」値ボックスで所望の回転角度を入力する。この値は、画像処理技術による画像から自動的に決定することもできるが、ユーザーによって予め決定されるのが一般的である。回転オプションがユーザーによって使用可能にされていない場合、構造的要素の軸をそのデフォルト方位から回転することはできない。「Optimize」機能が構造的要素を被加工物形体に自動的に揃えるために含まれている。これは、下記のような理由により有効である。まず、ユーザーが「学習」時において被加工物形体の方位の概略角度推定値を入力することを可能にし、概略角度推定値を中心とする所望の検索範囲（例えば、デフォルトの検索範囲である±１０または２０°）の「Optimize」機能を使用可能にし、この機能は、入力された概略角度推定値を中心とする検索範囲で、被加工物形体方位を正確に決定するためのいくつかの画像処理アルゴリズムを再呼び出しする。これにより、一般的に、ユーザーによって推定されるよりもより繰り返しが可能な、そしてより正確な方位角度の決定がなされ、またユーザーから正確な方位測定を行う負担が取り除かれる。二番目に、一般的に「学習」時に決定された名目上の値を中心とする最良の方位を検索し、構造的要素の方位のためのいかなる関連パラメータを調整することにより、被加工物形体の方位を自動的に再決定する（この方位は被加工物の固定時のバラツキまたは移動、及び／または製造時の寸法の変動によりわずかに変化している可能性がある）ことで、ランタイム時に最良の可能な構造的要素の整列を常に維持するオプションが提供されるからである。被加工物が測定中に正確に固定されていて、被加工物間で重大なバラツキが存在しなければ、ランタイム時の方位の自動的決定及び調整は不要である。しかし、被加工物形体画像の最高の正確度の形態学的フィルタを提供するためには、それはしばしば好ましい。いったん方位が決定されれば、構造的要素が形成され、形態学的操作が前述のように実行される。
【００８９】
図２１は、要求されたときに自動方位検出を実行する一般的なルーチン２１００の一つの例示的な実施形態を示すフロー図である。一つの実施形態において、ルーチン２１００は図９のブロック９４０、及び／または図１０のブロック１０２０、及び／または図１３のブロック１３４０と１３５０における操作に利用してもよい。より一般的に、ルーチン２１００の操作は、被加工物の構成または固定などにおけるわずかのバラツキに拘わらず正確なフィルタリング結果を提供するために、操作のランモード中のパートプログラムの命令に従って典型的に実行してもよく、このパートプログラムは検査対象の形体の方位を自動的に決定し、検査対象の形体に関して構造的要素の方位を改良または調整する。
【００９０】
例えば、一つの可能な実行例を示すと、図１４〜図２０について記述したようなユーザーインターフェースが使用され、操作の学習モードにおけるパートプログラムの作成中に「Enable」ボックスが図２０に示す「Rotation」ダイアログボックスでクリックされると、ルーチン２１００の操作は、検査対象の現在の被加工物形体に関連するフィルタリング操作のためのパートプログラムに含まれる対応する命令として実行可能である。しかし、ルーチンの操作は、それが構造的要素に対する名目上の方位パラメータとしてパートプログラムに記録できるように、手動の検査操作中のフィルタリング、または操作の学習モード中の被加工物形体の方位の半自動または自動決定に使用される構造的要素の方位を決定することに使用されることもある。種々のパートプログラムにおいて、構造的要素に対する名目上の方位は、ランタイム時に変更なしで使用され、または操作のランモード中に実行される類似の自動方位決定操作を導くパラメータとして使用されて、上記のように構造的要素の方位を改良または調整し、より強固な操作または最良かつ可能なフィルタリングの正確性を提供する。
【００９１】
ルーチン２１００の操作は決定ブロック２１１０において開始し、そこにおいて、検査対象の被加工物形体の方位を自動的に決定するかどうかの決定がなされる。例えば、操作の学習モードにおいてパートプログラムの作成中に、図２０に示す「Rotation」ダイアログボックスで「Enable」ボックスと「Optimize」ボックスの両方がチェックされたとき、関連付けられたフラグまたは命令がパートプログラムに含まれ、検査対象の被加工物形体の方位は自動的に決定されることが示される。被加工物形体の方位が自動的に決定されない場合は、ルーチンは終了する。
【００９２】
方位が自動的に決定される場合は、ルーチンはブロック２１１０からブロック２１２０へ継続され、そこにおいて被加工物形体の方位が、例えば、図２２を参照して下記のその概要を述べる方法のいずれか、または他の適切な現在公知の方法または後に開発される方法で決定される。この後、ルーチンはブロック２１３０において継続し、そこにおいてブロック２１２０の操作により方位角が、検査対象の被加工物形体に関連付けられたフィルタリング操作において構造的要素に対して使用される方位角として記録、出力及び／導入される。
【００９３】
ルーチン２１００は、検査対象の直線状形体に正確に整列された構造的要素を有することが重要な状況では特に有効である。言い換えれば、ここで開示した構造形態学的フィルタリング方法により提供された正確性は、適切に形成された構造的要素の形状が検査対象の被加工物形体にそれほどよく整列されていない場合さえ、多くの状況において有効であるが、一般的には、最良の正確性は、構造的要素の方位が被加工物形状の方位に可能な限りよく整列されたときに提供される。もちろん、一般的には、被加工物形体の方位を高い解像度と正確性で、そして可能であれば高速性を伴って決定することは望ましい。高速性は、検査操作のスループットが重要な要因となる、ランモード操作中には特に有効である。
【００９４】
下記に記述するように、被加工物形体の方位角は、投影ベクトルを使用する方法を使用することで、機械視覚検査システム上で、高い正確性で、相対的に短い実行時間で決定することが可能である。簡潔に述べれば、ここで使用される用語としての投影ベクトルとは、値の集合体であり、各値は正味の画像強度に対応し、この画像強度は、各投影方向に沿って含まれる各空間上の増分に対する画像の強度を合計するまたは投影線または投影面上に「投影」することにより決定される。完全な投影ベクトルは、同一投影方向に沿って決定され、投影線または面に沿う既知の場所にあるいくつかのそのような値から構成される。例えば、簡単な例として、画像を横切る水平方向は方位角０°に位置すると定義される。その場合、ピクセルの各水平の行に沿うピクセル強度値を合計すると、垂直投影線または面上への「０°」の投影方向に沿って決定される投影ベクトルに対する一つの個々の値が提供される。「０°」の投影方向に沿う完全な投影ベクトルは、一連の水平な行のピクセルに対して、連続して与えられるそのようないくつかの値から構成される。類推により、水平投影線または面上への「９０°」の投影方向に沿う完全な投影ベクトルは、一連の垂直な列のピクセルに対して、連続して与えられるそのような値から構成される。図２２は、投影ベクトルの概念を更に明確にし、直線状の形体または直線状のエッジの方位を決定するためにどのように使用してよいのかを記述している。
【００９５】
図２２は、オクルージョン格子により覆われた、直線状エッジ２２０２，２２０３を有する直線状形体２２０１を含む被加工物画像２２００を示している。図２２はまた、被加工物画像２２００に由来する投影ベクトル２２４１を含む投影ベクトルグラフ２２４０も示している。この例において、投影ベクトル２２４１の投影値は、水平または「０°」の投影方向（画像２２００のピクセルの水平な行に対応する）に沿うピクセル値を合計するまたは垂直投影線または面上に投影により得られ、各投影値（グラフの水平軸に沿ってプロットされる）は、画像２０００のピクセルの各行に沿う強度値を合計することにより決定される強度パラメータ値に対応している。より一般的に、総合的な画像強度の影響を受けない強度パラメータを決定して、検査結果が機械間の照明のバラツキ、周囲照明のバラツキ、被加工物の反射率のバラツキなどによるバラツキの影響を受けないようにすることは好ましい。例えば、強度パラメータ値は、対応する投影方向に沿って含まれる強度値の空間上または「ピクセル当りの」平均であってよく、この強度パラメータ値は投影ベクトルなどを決定するために使用された全ての強度値の全平均強度により分割、または規格化される。
【００９６】
図２２に示すように、投影ベクトル２２４１は、直線状形体２２０１の範囲の外部領域に対する強度パラメータ値の特徴的な範囲２２４５と、直線状形体２２０１の範囲の内部領域に対する強度パラメータ値の特徴的な範囲２２４６を明確に示している。更に、特に、前述した二つの範囲２２４５，２２４６を結ぶ二つの転移領域２２４２，２２４３は、直線状形体２２０１の直線状エッジ２２０２，２２０３に明確に対応している。
【００９７】
図２２はまた、投影ベクトル２２４１に沿う各投影線の位置において決定された微分値の集合体の微分値プロット２２６１を示す投影ベクトル微分値グラフ２２６０を示す。微分値プロット２２６１は、正の微分値極値２２６２と負の微分値極値２２６３の領域を除く、名目上、近似的に０の微分値を明確に示している。これらの微分値極値は、直線状形体２２０１の直線状エッジ２２０２，２２０３と同様に、二つの転移領域２２４２，２２４３に明確に対応している。特に、直線状エッジ２２０２（または２２０３）が投影線に完全に整列していると、対応する転移領域２２４２（または２２４３）は最も狭く（投影線指示軸に沿って）、急峻となることは理解されるべきである。これは、その最大可能値を示している微分値極値２２６２（または２２６３）に対応する。
【００９８】
このように、直線状形体または直線状エッジを含む画像に対する種々の角度における投影ベクトルの集合体を決定することによって、最大微分係数を有する投影ベクトルに対応する角度は、直線状形体または直線状エッジの方位角の良好な推定値となることは理解されたい。対応する投影ベクトルは、「最良整列」投影ベクトルと称してもよい。推定値は、より近接した等角度における投影ベクトルを決定するか、及び／または種々の投影ベクトル角のための微分値極値を備える曲線のピークに対応する角度を見つけるために内挿することにより向上できる。被加工物の画像に関して特別な角度における投影ベクトルを決定するための一つの方法は、被加工物形体または対象領域を取り囲む画像の十分な部分（または全部）を、ピクセルレベルの正確性で画像強度の分布を保存する既知の回転技術に従う角度だけ一時的に回転することである。
【００９９】
そして、回転角度に対応する投影ベクトルは、水平ピクセル行の十分な部分（または全部）に沿って、または垂直ピクセル列に沿って決定してもよく、いずれにしても検査対象の被加工物形体の方位をもっともよく明らかにするのに適切な方に沿って決定してもよい。被加工物の画像に関して特別な角度における投影ベクトルを決定する他の方法は、所望の正確性を伴ってその角度に対応する投影ベクトルを決定するため、種々のピクセル値を最も適切な投影値に適切に割り付けるように注意して、回転していない被加工物の画像におけるその角度に対応する投影方向に沿う投影ベクトルを計算するか、またはその投影値に割り付けられるべきものに正確に対応する場所に対する内挿されたピクセル値を計算する。
【０１００】
図２３は、対応する構造的要素に対する方位角として使用可能な被加工物形体の方位角を自動的に決定するためのルーチン２３００の一つの例示的な実施形態を説明するフロー図である。ルーチン２３００は、良好な正確性で且つ相対的に短い実行時間で方位角を決定するために導入することができる。一つの実施形態において、ルーチン２３００は、図２１のブロック２１２０〜ブロック２１３０の操作において利用してもよい。より一般的に、ルーチン２３００の操作は、被加工物形体の方位角を、同じ方位がその被加工物形体の画像をフィルタリング処理するために使用される対応する構造的要素に対して使用されるように、自動的に決定することが望まれるいかなる状況において使用してもよい。
【０１０１】
ルーチン２３００の操作はブロック２３１０において開始し、解析されている被加工物形体の名目上の方位角が入力または再呼び出しされる。例えば、一つの可能な導入において、図１４〜図２０に対して記述したようなユーザーインターフェースが使用される場合は、被加工物形体の名目上の方位角はユーザーが、図２０に示すRotationダイアログボックスの「Angle」ボックスで入力してもよい。名目上の角度は、ＣＡＤデータに基づいてもよいし、または形体の画像に基づいてユーザーが予測または測定してもよく、それは、操作の手動モードまたは学習モード中に表示される。名目上の角度が、操作の学習モードにおいてパートプログラムの作成中に入力されると、その値は、パートプログラム中に、またはそれと共に含まれ、操作のランモードにおいてブロック２３１０の操作中に再呼び出しされる。ルーチンはルーチン２３００の一つのバージョンでブロック２３１０からオプションブロック２３２０に継続する。他の場合は、ルーチンはブロック２３３０に継続する。
【０１０２】
オプションブロック２３２０において、操作の学習モード中に決定され、パートプログラム中に、またはそれと共に含まれる名目上の「最良整列」投影ベクトルは、操作のランモード中に入力されても、再呼び出しされてもよい。名目上の最良整列投影ベクトルは、例えば、図２２を参照して記述した方法のように、種々の方法によって決定されてもよい。ルーチン２３００の一つのバージョンにおいて、再呼び出しされた名目上の最良整列投影ベクトルは、下記に更に記述するように、ブロック２３５０において被加工物形体の方位角を決定するための相関関係操作において使用される。操作はブロック２３２０からブロック２３３０へ継続する。
【０１０３】
ブロック２３３０において、形体の方位検索範囲が入力または再呼び出しされる。検索範囲は一般的に、検査対象の被加工物形体の方位を検索及び推定するための角度範囲の限度を定義する。例えば、一つの可能な導入において、図１４〜図２０に対して記述したようなユーザーインターフェースが使用される場合、検索範囲は、ユーザーが図２０に示すRotationダイアログボックスの「Range」ボックスで入力し、「Optimize」起動チェックボックスがチェックされているときは、アクティブとなる。いくつかの導入において、検索範囲は、部品製造誤差及び固定誤差などに基づいて、名目上の形体の方位についての形体方位のバラツキが予測される範囲をカバーするように設定されなければならない。一般的に、検索範囲を、検査対象の形体ではない直線状の形体の方位を除外するように設定することは望ましい。その理由は、これらが大きな投影ベクトル微分値になる可能性があり、そうでなければ、検査対象の被加工物形体から解析的な方法によって区別することが難しい、または時間のかかることであるからである。しかし、そのような形体を除外するように検索範囲を設定することが不可能な場合は、下記に更に記述するように、付加的な解析によって、なお、そのような形体を除外し、検査対象の方位を特定することができる。操作はブロック２３３０からブロック２３４０へ継続する。
【０１０４】
ブロック２３４０において、検査対象の被加工物形体の画像に基づいて、投影ベクトルは、例えば図２２を参照して前述したように、検索範囲において複数の角度に対して決定される。操作はその後、ブロック２３５０に継続し、そこにおいて、ブロック２３４０の操作により決定された投影ベクトルに基づいて操作が実行されて、検査対象の被加工物形体の方位が決定される。いくつかの導入または適用において、検索範囲は、検査対象の形体でない直線状の形体の方位を除外するようにブロック２３３０において設定される。そのような場合、被加工物形体の方位角は、最大の微分係数を有する投影ベクトルに対応する角度として特定してもよい。
【０１０５】
場合によっては、他の直線状の形体を除外するのが検索範囲にとって現実的でないこともある。このように、導入によっては、投影ベクトルの付加的な特性またはパラメータを考察してもよい。例えば、形体の幅及び／または極性パラメータ（つまり、形体が全体的にその周囲よりも明るいかまたは暗いかに関するパラメータ）を考察してもよい。図２２のグラフ２２６０に示したような、投影ベクトル微分係数の分離と極性を、例えば、そのようなパラメータの決定に使用してもよい。いくつかの導入において、そのようなパラメータは操作の学習モード中に決定され、パートプログラム中にまたはそれと共に含まれてもよく、操作のランモード中に入力または再呼び出ししてもよい。
【０１０６】
他の導入において、ブロック２３２０の操作が、名目上の最良整列投影ベクトルが被加工物形体に利用可能なように実行されると、相関関係の操作を使用して、検査対象の被加工物の方位を示す投影ベクトルを、他の形体の方位を示す投影ベクトルから包括的に区別してもよい。つまり、適切な従来のまたは公知の相関関係技術のいずれかを使用して、ブロック２３４０の操作によって決定された投影ベクトルのデータは入力または再呼び出しされた名目上の最良整列投影ベクトルのデータと相互に関連付けられてもよく、最良の相関関係の値を示す投影ベクトルは、検査対象の被加工物形体の方位に対応する。いずれの場合にも、望むならば、ブロック２３５０の操作での方位角の推定値は、より近接に等間隔に配置された角度において投影ベクトルを決定する及び／または、図２２に関連して上記に述べたように、種々の微分値極値を備える曲線のピークに対応する角度を見出すために内挿することにより改良することができる。
【０１０７】
操作はブロック２３５０からブロック２３６０へ継続し、そこにおいて、検査対象の被加工物形体の決定された方位角は、検査対象の被加工物形体に関連付けられた形態学的フィルタリング操作において使用される構造的要素を方向付ける基盤として、記録及び／または出力及び／または導入される。そして、ルーチン２３００は終了する。概説を上述した技術に基づく実験結果は、良好な正確性を示し、全体として１°及び更に良好な解像度及び繰り返し性での方位決定を可能にし、市場で入手可能な機械視覚検査システムの少なくとも一つのタイプにおいて約１００ｍｓで一般的に実行できる。
【０１０８】
検査対象の直線状形体の方位決定に関しての上記の種々の態様は、既に引用された米国特許出願番号１０／６３２８２３において記述された類似のまたは適用可能な態様によってより明確になり補足される。例えば、米国特許出願番号１０／６３２８２３は、ラドン（Ｒａｄｏｎ）変換技術を使用して線の方位を半自動的または自動的に決定する種々の態様と共に、典型的な機械視覚検査システムのビデオツールを使用して線の方位を手動で決定する種々の態様を記述している。一般的に、ラドン変換またはそのバリエーションを用いる技術は、直線状の被加工物形体の方位を決定するための種々の方法において使用可能な他の代替アプローチを提供する。このように、図２２と図２３を参照してその概説を記述した上記の方法及びその代替は、説明のためだけのものであり、これに制限されるわけではない。
【０１０９】
不要な形体（例えば、格子）を除去するためのフィルタリングアプローチ（例えば、形態学的フィルタリング）の利用と、実際の画像形体測定処理（例えば、線ツール、円ツールなど）とは切り離されるということは理解されよう。言い換えれば、いったん画像がフィルタ処理されると、形体を測定するためにいかなるエッジ測定ツールをも使用できる。このように、新しいまたは改良されたエッジ測定方法が開発されると、それらは本発明の方法と組み合わせて利用できる。
【０１１０】
本発明の方法はまた、カスタマイズされた操作を要求するのではなく、標準化されたタイプのビデオツールを利用できるという点において、ユーザーによる簡単な操作を提供することは理解されよう。言い換えれば、ユーザーはカスタマイズされた操作を導入するために記述言語を利用する必要がない。その代わり、システムにより技術的に未熟なユーザーでさえ、最小の訓練で使用できる予めプログラムされたアイコンなどの使用が可能になる。更に、前述のように、対象領域はオクルージョンされた形体及びオクルージョンする形体の両方をカバーすることが可能になる。このように、検査操作を、検査対象の被加工物形体の小さな非オクルージョン領域に制限する必要はない。これは、被加工物の小さな領域は、ランモード操作中整列のバラツキにより対象領域からより外れ易く、被加工物製造のバラツキにより外観がより変更され易い、またはよりオクルージョンされ易いので価値のあることである。
【０１１１】
ある既存の機械視覚検査システムは、本発明に係るシステムと方法の種々の実施形態を、そのような既存の機械に最小の「改良」変更または全く変更なしで採用できるということは理解されるべきである。種々の例示的な実施形態において、機械視覚検査ソフトウェアの方法の追加及び／または本発明の原理に従う変更のみが改良変更に含まれる。
【０１１２】
本発明が、概説を上記した例示的な実施形態と連携して記述されたが、多数の他の操作シーケンス及び他の操作の変形例が可能であり、種々の他の代替、変更例、変形例、改良、及び／または実質的な等価物が、公知として、または現在のものとして、または現在は予測できないこととして、この技術に少なくとも通常の技術を有する当業者には明白であろう。従って、本発明の例示的な実施形態は、上記したように、例示のためであって、これに制限されるわけではない。種々の変更が本発明の精神及び範囲から逸脱することなく可能である。従って、出願される請求項及び添付される請求項は、全ての公知のまたは将来開発される代替、変更例、変形例、改良、及び／または実質的な等価物を包含するものとする。
【産業上の利用可能性】
【０１１３】
本発明は、機械視覚検査システムおよびそのためのユーザーインターフェースとして利用でき、特に高精度の機械視覚検査のための画像のフィルタリングに利用できる。
【図面の簡単な説明】
【０１１４】
【図１】一つの例示的な汎用機械視覚及び検査システムの図である。
【図２】フラットパネル表示スクリーンマスクのオクルージョン格子を含む、例示的な検査対象の被加工物と形体の図である。
【図３】選択された形体のエッジ部分を説明する図２の例示的な被加工物と形体の図である。
【図４】エッジ位置のためのボックス、円弧、及び点ツールを表現するＧＵＩウィジェットの例示的な実施形態を重ね合わせた図３の例示的な被加工物と形体の図である。
【図５】は図４の例示的な被加工物と形体の図であり、フィルタリング処理がボックス及び円弧ツールにおいて対象領域に適用されている。
【図６Ａ】円形形体に適用された円形構造的要素を使用するフィルタリング処理の種々の態様を説明する図である。
【図６Ｂ】円形形体に適用された円形構造的要素を使用するフィルタリング処理の種々の態様を説明する図である。
【図６Ｃ】円形形体に適用された円形構造的要素を使用するフィルタリング処理の種々の態様を説明する図である。
【図６Ｄ】円形形体に適用された円形構造的要素を使用するフィルタリング処理の種々の態様を説明する図である。
【図６Ｅ】円形形体に適用された円形構造的要素を使用するフィルタリング処理の種々の態様を説明する図である。
【図６Ｆ】円形形体に適用された円形構造的要素を使用するフィルタリング処理の種々の態様を説明する図である。
【図７Ａ】直線状形体に適用された直線状タイプの長方形構造的要素を使用するフィルタリング処理の種々の態様を説明する図である。
【図７Ｂ】直線状形体に適用された直線状タイプの長方形構造的要素を使用するフィルタリング処理の種々の態様を説明する図である。
【図７Ｃ】直線状形体に適用された直線状タイプの長方形構造的要素を使用するフィルタリング処理の種々の態様を説明する図である。
【図７Ｄ】直線状形体に適用された直線状タイプの長方形構造的要素を使用するフィルタリング処理の種々の態様を説明する図である。
【図８】不要な格子形体を除去するために適用された直線状タイプの構造的要素の長さを決定するために使用可能は種々のパラメータを説明する図である。
【図９】不要な形体を有する被加工物を検査するためのルーチンの一つの例示的な実施形態を説明するフロー図である。
【図１０】構造的要素を決定し、構造形態学的操作を実行するためのルーチンの一つの例示的な実施形態を説明するフロー図である。
【図１１】不要な形体の支配的関連寸法を手動で決定するためのルーチンの一つの例示的な実施形態を説明するフロー図である。
【図１２】不要な形体の支配的関連寸法を半自動的、または自動的に決定するためのルーチンの一つの例示的な実施形態を説明するフロー図である。
【図１３】構造的要素の特性を決定するためのルーチンの一つの例示的な実施形態を説明するフロー図である。
【図１４】円形被加工物形体を含む大きな対象領域を定義するために使用されるボックスツールを説明するスクリーン表示の図である。
【図１５】形態学的フィルタ設定値ダイアログボックスにおけるプレビュー機能の選択により提供されるフィルタ処理済み画像を説明するスクリーン表示の図であり、このプレビュー機能によりユーザーがフィルタ設定値の結果をプレビューしてからフィルタ設定値が検査操作に受け入れられることになる。
【図１６】ユーザーが現在のフィルタ設定値に名前を付けて保存することを可能にする拡張フィルタ構成リストを説明するスクリーン表示の図である。
【図１７】直線状タイプの被加工物形体に対する形態学的フィルタ設定値ダイアログボックスにおける設定値を説明するスクリーン表示の図である。
【図１８】ボックスツールのダイアログボックスメニュー上のフィルタタイプのリストにおけるオプションを説明するスクリーン表示の図である。
【図１９】一連のフィルタ設定値を直線状の被加工物形体に適用した結果であるフィルタ処理済み画像のプレビューを説明するスクリーン表示の図である。
【図２０】検査対象の回転された直線状被加工物形体に対応する回転フィルタ設定の選択を説明するスクリーン表示の図である。
【図２１】検査対象の直線状形体の方位角を自動的に決定するルーチンの一つの例示的な実施形態を説明するフロー図である。
【図２２】検査対象の直線状形体の方位角を決定する投影ベクトルを使用する種々の態様を説明する画像と関連するグラフを含む。
【図２３】画像の対応する対象領域において検査対象の直線状被加工物形体の方位を決定するためのルーチンの一つの例示的な実施形態を説明するフロー図である。
【符号の説明】
【０１１５】
１０ 機械視覚検査システム
１００ 制御システム
１１１ モニタ
１１３ ジョイスティック
１１５ マウス
２００ 視覚測定機械
２０５ 光学イメージングシステム
２１０ 可動被加工物ステージ
３００ 表示エリア
３０２ 被加工物背景層
３０４ オクルージョン格子
６０１ 円形形体
６０２ 円形構造的要素
６０３ 水平アーム
６０５ 円形境界
７０１ 直線状形体
７０２ 直線状構造的要素
８０１ エッジ形体
８０２ オクルージョン格子
８１０Ａ，８１０Ａ ボックスツールウィジェット
８２０ 線ツールウィジェット
８３０ 円弧ツールウィジェット
【特許請求の範囲】
【請求項１】
機械視覚検査システムにより取得された被加工物画像におけるオクルージョン形体に近接する被加工物形体を検査する機械視覚検査方法であって、
前記機械視覚検査システムは前記被加工物画像を検査するために使用可能な操作シーケンスを定義するために使用可能なユーザーインターフェースを有し、前記機械視覚検査方法は、
第１被加工物画像を取得する工程と、
前記被加工物画像中の検査対象の前記被加工物形体の形状に基づいて構造的要素の形状を、前記構造的要素の形状が、検査対象の前記被加工物形体の少なくとも一部分の形状に類似するように選択する工程と、
少なくとも検査対象の前記被加工物形体を含む領域において前記構造的要素を使用して前記第１被加工物画像をフィルタリングし、少なくとも検査対象の前記被加工物形体を含む領域においてフィルタ処理済み画像を提供する工程と、
前記フィルタ処理済み画像において前記被加工物形体を検査する工程と、
を具備することを特徴とする機械視覚検査方法。
【請求項２】
請求項１に記載の機械視覚検査方法において、前記フィルタ処理済み画像における前記被加工物形体を検査する工程は、前記第１被加工物画像中の前記被加工物形体に近接して位置する少なくとも一つのビデオツールにより定義される操作を実行する工程を含む、ことを特徴とする機械視覚検査方法。
【請求項３】
請求項１に記載の機械視覚検査方法において、検査対象の前記被加工物形体の方位を決定する工程と、検査対象の前記被加工物形体の方位に基づいて前記構造的要素の方位を、検査対象の前記被加工物形体の少なくとも一部分の形状に類似する前記構造物要素の前記形状が、検査対象の前記被加工物形体の前記少なくとも一部分に類似して方位付けられるように選択する工程とを更に具備する、ことを特徴とする機械視覚検査方法。
【請求項４】
請求項３に記載の機械視覚検査方法において、検査対象の前記被加工物形体の前記方位を決定する工程は、ａ）前記被加工物形体の前記方位を、前記被加工物形体を含む現在の被加工物画像のユーザーによる観測に基づいて推定する工程と、ｂ）前記被加工物形体の近似方位を推定し、前記被加工物形体を含む現在の画像に対して、前記現在の画像の解析により、より正確に前記方位を自動的に決定する工程と、ｃ）操作のランモードでのパートプログラムの実行中に、前記被加工物形体の名目上の方位を再度呼び出し、前記現在の画像の解析により、前記被加工物形体を含む現在の画像に対しより正確に前記方位を自動的に決定する工程と、のうちの少なくとも一つを具備する、ことを特徴とする機械視覚検査方法。
【請求項５】
請求項４に記載の機械視覚検査方法において、検査対象の前記被加工物形体の前記方位を決定する工程は、前記被加工物形体を含む現在の画像に対してより正確に前記方位を自動的に決定する工程を備え、
前記現在の画像の解析は、対応する複数のそれぞれの角度に沿う複数のそれぞれの投影ベクトルを決定する工程を備え、
より正確に前記方位を自動的に決定する工程は、前記複数のそれぞれの投影ベクトルを自動的に解析する工程を備える、ことを特徴とする機械視覚検査方法。
【請求項６】
請求項５に記載の機械視覚検査方法において、前記複数のそれぞれの投影ベクトルを自動的に解析する工程は、操作により最良整列投影ベクトルを決定する工程を備え、前記操作はａ）前記それぞれの投影ベクトルの、それぞれの最大微分係数を解析することに基づいて、前記最良整列投影ベクトルを決定する工程と、ｂ）前記それぞれの投影ベクトルと学習モード操作中に決定される名目上の最良整列投影ベクトルとを相互に関係付けることに対応するそれぞれの相関関係値を解析することに基づいて、前記最良整列投影ベクトルを決定する工程と、のうちの少なくとも一つを含む、ことを特徴とする機械視覚検査方法。
【請求項７】
請求項５に記載の機械視覚検査方法において、前記複数のそれぞれの投影ベクトルを自動的に解析する工程は、前記それぞれの投影ベクトルの、前記それぞれの最大微分係数に適合する曲線のピークに対応する角度を自動的に決定する工程と、前記被加工物形体の前記方位を、前記ピークに対応する決定された前記角度に対応する前記方位であると決定する工程と、を具備する、ことを特徴とする機械視覚検査方法。
【請求項８】
請求項１〜７の何れかに記載の機械視覚検査方法において、前記構造的要素を使用して前記第１被加工物画像をフィルタリングする工程は、多数の繰り返しを具備し、前記構造的要素はそれぞれの方向に沿うそれぞれの寸法を有し、前記繰り返し回数により、前記それぞれの寸法は少なくとも前記それぞれの方向に沿うオクルージョン形体の寸法と同じ大きさになる、ことを特徴とする機械視覚検査方法。
【請求項９】
請求項８に記載の機械視覚検査方法において、検査対象の前記多数の被加工物形体の方位に基づいて、前記構造的要素の方位を、検査対象の前記被加工物形体の少なくとも一部分の前記形状に類似する前記構造物要素の形状が、検査対象の前記被加工物形体の前記少なくとも一部分に類似して方位付けられるように選択する工程を更に具備し、前記それぞれの方向は、検査対象の前記被加工物形体の前記一部分の前記方位方向に近似的に平行である、ことを特徴とする機械視覚検査方法。
【請求項１０】
請求項１〜９の何れかに記載の機械視覚検査方法において、前記構造的要素の前記形状は、構造的要素に対して使用可能な、予め定義された形状のセットから選択される、ことを特徴とする機械視覚検査方法。
【請求項１１】
請求項１〜１０の何れかに記載の機械視覚検査方法において、前記構造的要素の前記形状は名目上、線と長方形の内の一つであり、前記構造的要素の前記長さは少なくとも５８ピクセル分である、請求項１に記載の機械視覚検査方法。
【請求項１２】
請求項１〜１１の何れかに記載の機械視覚検査方法において、検査対象の前記被加工物形体は直線状形体で、前記構造的要素は少なくとも３ピクセル分の幅を有する長方形要素である、ことを特徴とする機械視覚検査方法。
【請求項１３】
請求項１〜１２の何れかに記載の機械視覚検査方法において、前記構造的要素の前記形状は円形で、前記名目上の直径は少なくとも１３ピクセル分である、ことを特徴とする機械視覚検査方法。
【請求項１４】
請求項１〜１３の何れかに記載の機械視覚検査方法において、前記構造的要素の形状は円形で、前記オクルージョン形体は幅または厚さＴの棒を有する格子であり、前記構造的要素の名目上の直径は、少なくとも２Ｔ＋１ピクセル分の大きさである、ことを特徴とする機械視覚検査方法。
【請求項１５】
機械視覚検査システムのためのユーザーインターフェースであって、
前記ユーザーインターフェースは、前記機械視覚検査システムにより取得された第１被加工物画像におけるオクルージョン形体に近接する被加工物形体の検査に使用可能な形態学的フィルタリング操作のシーケンスを定義するのに使用可能で、前記ユーザーインターフェースは、
前記形態学的フィルタリング操作において使用される構造的要素の形状を、前記構造的要素の前記形状が検査対象の前記被加工物形体の少なくとも一部分の形状に類似するように定義できるように定義するために使用可能な少なくとも一つの要素と、
前記第１被加工物画像と、形態学的フィルタリング操作を前記第１被加工物画像に適用した結果を含む画像とを表示するために使用可能な表示ウィンドウと、
ａ)操作の手動モードと、ｂ)操作の学習モードとのうちの少なくとも一つにおいて、前記構造的要素の定義済みの前記形状を使用して前記形態学的フィルタリング操作を起動し、前記表示ウィンドウに結果として得られた画像を表示するために使用可能な要素と、を具備する、ことを特徴とするユーザーインターフェース。
【請求項１６】
請求項１５に記載のユーザーインターフェースにおいて、表示ウィンドウで、前記画像を、前記形態学的フィルタリング操作の結果前記画像と前記第１被加工物画像との間で交互に切り替えるために使用可能な少なくとも一つの要素を更に具備する、ことを特徴とするユーザーインターフェース。
【請求項１７】
請求項１５または請求項１６に記載のユーザーインターフェースにおいて、前記構造的要素の少なくとも一つの寸法を定義するために使用可能な少なくとも一つの要素を更に具備する、ことを特徴とするユーザーインターフェース。
【請求項１８】
請求項１５〜１７の何れかに記載のユーザーインターフェースにおいて、前記構造的要素の名目上の方位角を定義するために使用可能な少なくとも一つの要素を更に具備する、ことを特徴とするユーザーインターフェース。
【請求項１９】
請求項１８に記載のユーザーインターフェースにおいて、前記構造的要素の方位角を自動的に決定する操作を、前記方位が前記名目上の方位角よりも更に近接に、検査対象の前記被加工物形体の方位に整合するように起動するために使用可能な少なくとも一つの要素を更に具備する、ことを特徴とするユーザーインターフェース。
【請求項２０】
請求項１９に記載のユーザーインターフェースにおいて、前記方位角を自動的に決定する前記操作を制限する検索範囲を、前記名目上の方位角に関して定義済みの角度検索範囲の解析に合わせて定義するために使用可能な少なくとも一つの要素を更に具備する、ことを特徴とするユーザーインターフェース。
【請求項２１】
請求項１５〜２０の何れかに記載のユーザーインターフェースにおいて、複数の第１ビデオツールの操作を変更することなく、フィルタ未処理被加工物画像と、形態学的フィルタ処理済み被加工物画像の両方に対する検査操作を定義するために操作可能な、少なくとも前記複数の第１ビデオツールを更に具備する、ことを特徴とするユーザーインターフェース。
【請求項１】
機械視覚検査システムにより取得された被加工物画像におけるオクルージョン形体に近接する被加工物形体を検査する機械視覚検査方法であって、
前記機械視覚検査システムは前記被加工物画像を検査するために使用可能な操作シーケンスを定義するために使用可能なユーザーインターフェースを有し、前記機械視覚検査方法は、
第１被加工物画像を取得する工程と、
前記被加工物画像中の検査対象の前記被加工物形体の形状に基づいて構造的要素の形状を、前記構造的要素の形状が、検査対象の前記被加工物形体の少なくとも一部分の形状に類似するように選択する工程と、
少なくとも検査対象の前記被加工物形体を含む領域において前記構造的要素を使用して前記第１被加工物画像をフィルタリングし、少なくとも検査対象の前記被加工物形体を含む領域においてフィルタ処理済み画像を提供する工程と、
前記フィルタ処理済み画像において前記被加工物形体を検査する工程と、
を具備することを特徴とする機械視覚検査方法。
【請求項２】
請求項１に記載の機械視覚検査方法において、前記フィルタ処理済み画像における前記被加工物形体を検査する工程は、前記第１被加工物画像中の前記被加工物形体に近接して位置する少なくとも一つのビデオツールにより定義される操作を実行する工程を含む、ことを特徴とする機械視覚検査方法。
【請求項３】
請求項１に記載の機械視覚検査方法において、検査対象の前記被加工物形体の方位を決定する工程と、検査対象の前記被加工物形体の方位に基づいて前記構造的要素の方位を、検査対象の前記被加工物形体の少なくとも一部分の形状に類似する前記構造物要素の前記形状が、検査対象の前記被加工物形体の前記少なくとも一部分に類似して方位付けられるように選択する工程とを更に具備する、ことを特徴とする機械視覚検査方法。
【請求項４】
請求項３に記載の機械視覚検査方法において、検査対象の前記被加工物形体の前記方位を決定する工程は、ａ）前記被加工物形体の前記方位を、前記被加工物形体を含む現在の被加工物画像のユーザーによる観測に基づいて推定する工程と、ｂ）前記被加工物形体の近似方位を推定し、前記被加工物形体を含む現在の画像に対して、前記現在の画像の解析により、より正確に前記方位を自動的に決定する工程と、ｃ）操作のランモードでのパートプログラムの実行中に、前記被加工物形体の名目上の方位を再度呼び出し、前記現在の画像の解析により、前記被加工物形体を含む現在の画像に対しより正確に前記方位を自動的に決定する工程と、のうちの少なくとも一つを具備する、ことを特徴とする機械視覚検査方法。
【請求項５】
請求項４に記載の機械視覚検査方法において、検査対象の前記被加工物形体の前記方位を決定する工程は、前記被加工物形体を含む現在の画像に対してより正確に前記方位を自動的に決定する工程を備え、
前記現在の画像の解析は、対応する複数のそれぞれの角度に沿う複数のそれぞれの投影ベクトルを決定する工程を備え、
より正確に前記方位を自動的に決定する工程は、前記複数のそれぞれの投影ベクトルを自動的に解析する工程を備える、ことを特徴とする機械視覚検査方法。
【請求項６】
請求項５に記載の機械視覚検査方法において、前記複数のそれぞれの投影ベクトルを自動的に解析する工程は、操作により最良整列投影ベクトルを決定する工程を備え、前記操作はａ）前記それぞれの投影ベクトルの、それぞれの最大微分係数を解析することに基づいて、前記最良整列投影ベクトルを決定する工程と、ｂ）前記それぞれの投影ベクトルと学習モード操作中に決定される名目上の最良整列投影ベクトルとを相互に関係付けることに対応するそれぞれの相関関係値を解析することに基づいて、前記最良整列投影ベクトルを決定する工程と、のうちの少なくとも一つを含む、ことを特徴とする機械視覚検査方法。
【請求項７】
請求項５に記載の機械視覚検査方法において、前記複数のそれぞれの投影ベクトルを自動的に解析する工程は、前記それぞれの投影ベクトルの、前記それぞれの最大微分係数に適合する曲線のピークに対応する角度を自動的に決定する工程と、前記被加工物形体の前記方位を、前記ピークに対応する決定された前記角度に対応する前記方位であると決定する工程と、を具備する、ことを特徴とする機械視覚検査方法。
【請求項８】
請求項１〜７の何れかに記載の機械視覚検査方法において、前記構造的要素を使用して前記第１被加工物画像をフィルタリングする工程は、多数の繰り返しを具備し、前記構造的要素はそれぞれの方向に沿うそれぞれの寸法を有し、前記繰り返し回数により、前記それぞれの寸法は少なくとも前記それぞれの方向に沿うオクルージョン形体の寸法と同じ大きさになる、ことを特徴とする機械視覚検査方法。
【請求項９】
請求項８に記載の機械視覚検査方法において、検査対象の前記多数の被加工物形体の方位に基づいて、前記構造的要素の方位を、検査対象の前記被加工物形体の少なくとも一部分の前記形状に類似する前記構造物要素の形状が、検査対象の前記被加工物形体の前記少なくとも一部分に類似して方位付けられるように選択する工程を更に具備し、前記それぞれの方向は、検査対象の前記被加工物形体の前記一部分の前記方位方向に近似的に平行である、ことを特徴とする機械視覚検査方法。
【請求項１０】
請求項１〜９の何れかに記載の機械視覚検査方法において、前記構造的要素の前記形状は、構造的要素に対して使用可能な、予め定義された形状のセットから選択される、ことを特徴とする機械視覚検査方法。
【請求項１１】
請求項１〜１０の何れかに記載の機械視覚検査方法において、前記構造的要素の前記形状は名目上、線と長方形の内の一つであり、前記構造的要素の前記長さは少なくとも５８ピクセル分である、請求項１に記載の機械視覚検査方法。
【請求項１２】
請求項１〜１１の何れかに記載の機械視覚検査方法において、検査対象の前記被加工物形体は直線状形体で、前記構造的要素は少なくとも３ピクセル分の幅を有する長方形要素である、ことを特徴とする機械視覚検査方法。
【請求項１３】
請求項１〜１２の何れかに記載の機械視覚検査方法において、前記構造的要素の前記形状は円形で、前記名目上の直径は少なくとも１３ピクセル分である、ことを特徴とする機械視覚検査方法。
【請求項１４】
請求項１〜１３の何れかに記載の機械視覚検査方法において、前記構造的要素の形状は円形で、前記オクルージョン形体は幅または厚さＴの棒を有する格子であり、前記構造的要素の名目上の直径は、少なくとも２Ｔ＋１ピクセル分の大きさである、ことを特徴とする機械視覚検査方法。
【請求項１５】
機械視覚検査システムのためのユーザーインターフェースであって、
前記ユーザーインターフェースは、前記機械視覚検査システムにより取得された第１被加工物画像におけるオクルージョン形体に近接する被加工物形体の検査に使用可能な形態学的フィルタリング操作のシーケンスを定義するのに使用可能で、前記ユーザーインターフェースは、
前記形態学的フィルタリング操作において使用される構造的要素の形状を、前記構造的要素の前記形状が検査対象の前記被加工物形体の少なくとも一部分の形状に類似するように定義できるように定義するために使用可能な少なくとも一つの要素と、
前記第１被加工物画像と、形態学的フィルタリング操作を前記第１被加工物画像に適用した結果を含む画像とを表示するために使用可能な表示ウィンドウと、
ａ)操作の手動モードと、ｂ)操作の学習モードとのうちの少なくとも一つにおいて、前記構造的要素の定義済みの前記形状を使用して前記形態学的フィルタリング操作を起動し、前記表示ウィンドウに結果として得られた画像を表示するために使用可能な要素と、を具備する、ことを特徴とするユーザーインターフェース。
【請求項１６】
請求項１５に記載のユーザーインターフェースにおいて、表示ウィンドウで、前記画像を、前記形態学的フィルタリング操作の結果前記画像と前記第１被加工物画像との間で交互に切り替えるために使用可能な少なくとも一つの要素を更に具備する、ことを特徴とするユーザーインターフェース。
【請求項１７】
請求項１５または請求項１６に記載のユーザーインターフェースにおいて、前記構造的要素の少なくとも一つの寸法を定義するために使用可能な少なくとも一つの要素を更に具備する、ことを特徴とするユーザーインターフェース。
【請求項１８】
請求項１５〜１７の何れかに記載のユーザーインターフェースにおいて、前記構造的要素の名目上の方位角を定義するために使用可能な少なくとも一つの要素を更に具備する、ことを特徴とするユーザーインターフェース。
【請求項１９】
請求項１８に記載のユーザーインターフェースにおいて、前記構造的要素の方位角を自動的に決定する操作を、前記方位が前記名目上の方位角よりも更に近接に、検査対象の前記被加工物形体の方位に整合するように起動するために使用可能な少なくとも一つの要素を更に具備する、ことを特徴とするユーザーインターフェース。
【請求項２０】
請求項１９に記載のユーザーインターフェースにおいて、前記方位角を自動的に決定する前記操作を制限する検索範囲を、前記名目上の方位角に関して定義済みの角度検索範囲の解析に合わせて定義するために使用可能な少なくとも一つの要素を更に具備する、ことを特徴とするユーザーインターフェース。
【請求項２１】
請求項１５〜２０の何れかに記載のユーザーインターフェースにおいて、複数の第１ビデオツールの操作を変更することなく、フィルタ未処理被加工物画像と、形態学的フィルタ処理済み被加工物画像の両方に対する検査操作を定義するために操作可能な、少なくとも前記複数の第１ビデオツールを更に具備する、ことを特徴とするユーザーインターフェース。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図６Ｄ】
【図６Ｅ】
【図６Ｆ】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図７Ｄ】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図６Ｄ】
【図６Ｅ】
【図６Ｆ】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図７Ｄ】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２００６−１２７５１７（Ｐ２００６−１２７５１７Ａ）
【公開日】平成１８年５月１８日（２００６．５．１８）
【国際特許分類】
【出願番号】特願２００５−３１１１４９（Ｐ２００５−３１１１４９）
【出願日】平成１７年１０月２６日（２００５．１０．２６）
【出願人】（０００１３７６９４）株式会社ミツトヨ (979)
【Ｆターム（参考）】
【公開日】平成１８年５月１８日（２００６．５．１８）
【国際特許分類】
【出願日】平成１７年１０月２６日（２００５．１０．２６）
【出願人】（０００１３７６９４）株式会社ミツトヨ (979)
【Ｆターム（参考）】
[ Back to top ]