外観検査装置、外観検査方法、コンピュータを外観検査装置として機能させるためのプログラムおよび記録媒体
【課題】 要求される精度に応じた欠陥の検出が可能な外観検査装置を提供する。
【解決手段】 外観検査装置が実行する処理は、要求精度および画像の入力を受けるステップ（Ｓ４０２）と、欠陥候補と特徴量とを抽出するステップ（Ｓ４０４，Ｓ４０６）と、特徴量を表示するステップ（Ｓ４０８）と、ラベル付け情報の入力を受けるステップ（Ｓ４１０）と、母集団分布の推定処理を実行するステップ（Ｓ４１２）と、母集団同士の重なり度合いを算出するステップ（Ｓ４１４）と、欠陥情報を読み出すステップ（Ｓ４１６）と、精度を算出するステップ（Ｓ４１８）と、入力された画像が要求精度を満たす場合に（Ｓ４２０にてＹＥＳ）学習を開始するステップと、当該画像が要求制度を満たさない場合に（Ｓ４２０にてＮＯ）学習情報を算出するステップ（Ｓ４２２）とを含む。
【解決手段】 外観検査装置が実行する処理は、要求精度および画像の入力を受けるステップ（Ｓ４０２）と、欠陥候補と特徴量とを抽出するステップ（Ｓ４０４，Ｓ４０６）と、特徴量を表示するステップ（Ｓ４０８）と、ラベル付け情報の入力を受けるステップ（Ｓ４１０）と、母集団分布の推定処理を実行するステップ（Ｓ４１２）と、母集団同士の重なり度合いを算出するステップ（Ｓ４１４）と、欠陥情報を読み出すステップ（Ｓ４１６）と、精度を算出するステップ（Ｓ４１８）と、入力された画像が要求精度を満たす場合に（Ｓ４２０にてＹＥＳ）学習を開始するステップと、当該画像が要求制度を満たさない場合に（Ｓ４２０にてＮＯ）学習情報を算出するステップ（Ｓ４２２）とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は被検査物の外観を検査する技術に関する。より特定的には、本発明は、被検査物の撮影により取得された画像データに基づいて外観を検査する外観検査装置、外観検査方法、コンピュータを外観検査装置として機能させるためのプログラム、およびそのプログラムを格納したコンピュータ読取可能な記録媒体に関する。
【背景技術】
【０００２】
従来、外観検査装置には、検査対象の外観を撮像した画像データに対して、最適化手法により生成されたアルゴリズムを用いて画像処理することによって、欠陥を自動検出するものがある。たとえば、一例として、半導体や液晶の基板などの外観を検査する装置は、当該基板の表面に生じた割れ、かけ、異物付着、ムラなどの欠陥の画像を学習画像として用いる。
【０００３】
このような学習には繰り返し計算が必要であり、多次元の特徴量を多数必要とする。そのため、膨大な計算時間が必要とされる。そこで、学習データの選択、修正方法などが開発されてきた。
【０００４】
たとえば、特開２００３−７６９７６号公報（特許文献１）は、判定精度の高いニューラルネットワークを利用したパターンマッチング方法を開示している。この方法は、複数の学習用入力パターンから、異なる次元に属する特徴量相互の相関を計算するステップと、相関で決まる特徴的な距離（ここではマハラノビス距離）が一定となる位置に境界パターンを作成するステップと、当該境界パターンを学習用パターンとするステップとを含む。上記の方法によると、多次元データを学習する場合に、データ相互間の相関が計算され、相関で決まる特徴的な距離が一定の位置に境界データが作成され、より正確な境界データが作成される。これにより、ニューラルネットワークを利用した、判定精度の高いパターンマッチング方法が提供される。
【０００５】
また、特開平１１−３４４４５０号公報（特許文献２）は、欠陥の画像信号から欠陥の種類を分類できるようにした学習機能を備えた欠陥分類装置を開示している。この装置は、予め複数の教示用欠陥を撮像して複数の教示用欠陥画像を検出する欠陥画像検出部と、当該欠陥画像検出部で検出された複数の教示用欠陥画像に基づいて複数の教示用欠陥の各々を分類してカテゴリを付与する計算部と、当該欠陥画像検出部で検出された複数の教示用欠陥画像と当該計算部で複数の教示用欠陥に対して分類されたカテゴリとを表示する表示部とを備え、複数の教示用欠陥と欠陥の種類に対応するカテゴリとの対応関係を示す教示用データを取得して記憶部に格納する学習部と、被検査物に対して検査されて見付かった欠陥について撮像して被検査対象の欠陥画像を検出する欠陥画像検出部と、当該欠陥画像検出部で検出された被検査対象の欠陥画像を元に、当該学習部の記憶部に格納された教示用データから当該欠陥の種類を分類する計算部とを備えた分類部とを含む。
【特許文献１】特開２００３−７６９７６号公報
【特許文献２】特開平１１−３４４４５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記の特許文献に開示された技術は、いずれも、精度の良いパターンマッチング方法、及び検査装置のために、学習用データの作成、またはオペレータへの提示を行うものである。
【０００７】
ここで、特許文献１に開示された方法は、異なる次元の特徴量相互の相関関係から求めた距離を元に学習データを作成している。具体的には、学習データの特徴量の平均からのマハラノビス距離が一定の集合を集めたものを学習データとすることが特徴である。したがって、学習データの特徴量レベルについては決定することができるが、その数については決定することが困難であるという問題があった。
【０００８】
また、特許文献２に開示された装置は、オペレータによりカテゴリを付与された学習用欠陥特徴量に対して、特徴量空間におけるカテゴリ間の判別関数で表される分類パラメータを用いて、学習データの有意性を診断し、その結果をオペレータに提示することにより、その学習データをオペレータが修正、除外するものである。したがって、欠陥の統計的な分布を考慮した精度の良いパターンマッチング方法、及び検査装置のために必要な学習データの特徴量レベル、数については決定することが困難であるという問題があった。
【０００９】
本発明は上述の問題点を解決するためになされたものであって、その目的は、画像中の真・疑似欠陥の特徴量を統計的に評価し、最適化手法によって生成されたアルゴリズムを用いたパターン認識方法および、これらを用いた検査装置において、学習時前に予めおおよその学習評価精度を見積もり、使用者により要求される精度となるかどうかを学習前に判断し、その結果に応じて学習データの追加を可能とすることにより、当該要求される精度に応じた信頼性の高い外観検査装置を提供することである。
【００１０】
本発明の他の目的は、学習時前に予めおおよその学習評価精度を見積もり、使用者により要求される精度となるかどうかを学習前に判断し、その結果に応じて学習データの追加を可能とすることにより、当該要求される精度に応じた信頼性の高い外観検査装置として、コンピュータを機能させるためのプログラムを提供することである。
【課題を解決するための手段】
【００１１】
上記の課題を解決するために、この発明のある局面に従うと、外観検査装置は、外部からデータの入力を受ける入力手段を備える。データは、検査物の撮像により取得される画像データと、検査対象物の画像の特徴として画像データに基づいて表わされる特徴量を評価するために要求される要求精度とを含む。外観検査装置は、入力された画像データに対して予め定められた画像処理を実行することにより、検査対象物における欠陥の候補を特定するための欠陥候補データを抽出する抽出手段と、欠陥候補データに基づいて、欠陥の候補の特徴量を算出する特徴量算出手段と、特徴量を表示する表示手段とを備える。入力手段はさらに、特徴量に応じて欠陥の候補を分類するためのラベル付けが行なわれたデータの入力を受ける。ラベル付けが行なわれたデータは、欠陥の候補を真の欠陥と擬似的な欠陥のいずれかとして分類するためのデータを含み、擬似的な欠陥は、真の欠陥でない欠陥の候補が欠陥として分類されるものである。外観検査装置は、ラベル付け入力に基づいて、欠陥の候補の分布の重なり度合いを算出する算出手段と、擬似的な欠陥の個数と、真の欠陥の個数と、分布の重なり度合いとに基づいて、特徴量の分布を評価するための精度を算出する精度算出手段と、要求精度と算出された精度とに基づいて、画像データの学習を実行する否かを判断する判断手段と、判断手段による判断の結果を出力する出力手段とを備える。
【００１２】
好ましくは、算出手段は、ラベル付け入力に基づいて、ラベル付けされた欠陥から母集団の分布を推定する推定手段と、母集団の分布に基づいて重なり度合いを算出する重複度算出手段とを含む。
【００１３】
好ましくは、判断手段は、算出された精度と要求精度とを比較する比較手段と、比較の結果に基づいて、学習の開始と、学習に必要な情報の算出とのいずれかを選択する選択手段とを含む。
【００１４】
好ましくは、判断手段は、算出された精度が要求精度を満足する場合に、学習を開始すると決定する。外観検査装置は、判断手段が学習を開始しないと判断した場合に、要求精度と算出された精度とに基づいて、学習のために必要な情報を算出する学習情報算出手段をさらに備える。出力手段は、算出された学習のために必要な情報を出力する情報出力手段を含む。
【００１５】
好ましくは、学習情報算出手段は、要求精度を満たすために必要な特徴量の範囲を示すための通知情報を表示する画像データを算出する生成手段を含む。情報出力手段は、画像データに基づいて通知情報を表示する表示手段を含む。
【００１６】
好ましくは、外観検査装置は、欠陥の候補から、予め定められた基準に基づいて真の欠陥および擬似的な欠陥を抽出する欠陥抽出手段をさらに備える。生成手段は、欠陥抽出手段による抽出処理の結果に基づいて、欠陥抽出手段により抽出された真の欠陥の数および擬似的な欠陥の数を表示するための表示データを生成する。表示手段は、表示データに基づいて、欠陥抽出手段により抽出された真の欠陥の数および擬似的な欠陥の数を表示する。
【００１７】
好ましくは、生成手段は、ラベル付けが行なわれたデータに基づいて、予め定められた第１の評価基準と、第１の評価基準と異なる、予め定められた第２の評価基準との関係を示すレシーバオペレーティング特性を表わす曲線を描画するためのデータを算出するデータ算出手段と、曲線を描画するためのデータに基づいて、予め定められた精度を下回る範囲を算出する範囲算出手段と、特徴量の空間に、算出された範囲を反映する反映手段と、特徴量の空間に反映された範囲と、画像データから抽出される欠陥に基づいて特定される欠陥の情報とに基づいて、必要とされる特徴量の範囲を示すための範囲データを生成する画像データ生成手段とを含む。表示手段は、範囲データに基づいて必要とされる特徴量の範囲を表示する。
【００１８】
好ましくは、欠陥の情報は、欠陥の個数を含む。
【００１９】
好ましくは、範囲算出手段は、曲線を構成するための複数の線分を特定し、複数の線分の各々について、隣接する線分により構成される頂点を特定し、特定された頂点の各々について、頂点間の距離を算出し、算出された距離をソートし、そして、ソートされた距離に基づいて予め定められた範囲を下回る範囲を算出する。
【００２０】
好ましくは、精度算出手段は、学習時および学習の終了後のいずれかにおいて、特徴量の分布を評価するための精度を算出する。
【００２１】
この発明の他の局面に従うと、外観検査方法は、外部からデータの入力を受ける入力ステップを備える。データは、検査物の撮像により取得される画像データと、検査対象物の画像の特徴として画像データに基づいて表わされる特徴量を評価するために要求される要求精度とを含む。外観検査方法は、入力された画像データに対して予め定められた画像処理を実行することにより、検査対象物における欠陥の候補を特定するための欠陥候補データを抽出する抽出ステップと、欠陥候補データに基づいて、欠陥の候補の特徴量を算出する特徴量算出ステップと、特徴量を表示する表示ステップと、特徴量に応じて欠陥の候補を分類するためのラベル付けが行なわれたデータの入力を受けるステップとを備える。ラベル付けが行なわれたデータは、欠陥の候補を真の欠陥と擬似的な欠陥のいずれかとして分類するためのデータを含む。擬似的な欠陥は、真の欠陥でない欠陥の候補が欠陥として分類されるものである。外観検査方法は、さらに、ラベル付け入力に基づいて、欠陥の候補の分布の重なり度合いを算出する算出ステップと、擬似的な欠陥の個数と、真の欠陥の個数と、分布の重なり度合いとに基づいて、特徴量の分布を評価するための精度を算出する精度算出ステップと、要求精度と算出された精度とに基づいて、画像データの学習を実行する否かを判断する判断ステップと、判断ステップによる判断の結果を出力する出力ステップとを備える。
【００２２】
好ましくは、算出ステップは、ラベル付け入力に基づいて、ラベル付けされた欠陥から母集団の分布を推定するステップと、母集団の分布に基づいて重なり度合いを算出するステップとを含む。
【００２３】
好ましくは、判断ステップは、算出された精度と要求精度とを比較するステップと、比較の結果に基づいて、学習の開始と、学習に必要な情報の算出とのいずれかを選択するステップとを含む。
【００２４】
好ましくは、判断ステップは、算出された精度が要求精度を満足する場合に、学習の開始を判断する。外観検査方法は、判断ステップが学習の開始を判断しない場合に、要求精度と算出された精度とに基づいて、学習のために必要な情報を算出するステップをさらに備える。出力ステップは、算出された学習のために必要な情報を出力する。
【００２５】
好ましくは、精度算出ステップは、学習時および学習の終了後のいずれかにおいて、特徴量の分布を評価するための精度を算出する。
【００２６】
この発明の他の局面に従うと、プログラムは、コンピュータを外観検査装置として機能させる。このプログラムはコンピュータに、外部からデータの入力を受けるステップを実行させる。データは、検査物の撮像により取得される画像データと、検査対象物の画像の特徴として画像データに基づいて表わされる特徴量を評価するために要求される要求精度とを含む。プログラムは、コンピュータに、入力された画像データに対して予め定められた画像処理を実行することにより、検査対象物における欠陥の候補を特定するための欠陥候補データを抽出するステップと、欠陥候補データに基づいて、特徴量を算出するステップと、特徴量を表示する表示ステップと、特徴量に応じて欠陥の候補を分類するためのラベル付けが行なわれたデータの入力を受けるステップとを実行させる。ラベル付けが行なわれたデータは、欠陥の候補を真の欠陥と擬似的な欠陥のいずれかとして分類するためのデータを含む。擬似的な欠陥は、真の欠陥でない欠陥の候補が欠陥として分類されるものである。プログラムは、コンピュータに、ラベル付け入力に基づいて、欠陥の候補の分布の重なり度合いを算出するステップと、擬似的な欠陥の個数と、真の欠陥の個数と、分布の重なり度合いとに基づいて、特徴量の分布を評価するための精度を算出するステップと、要求精度と算出された精度とに基づいて、画像データの学習を実行する否かを判断するステップと、判断ステップによる判断の結果を出力するステップとを実行させる。
【００２７】
この発明のさらに他の局面に従うと、コンピュータ読取可能な記録媒体は、上記のプログラムを格納している。
【発明の効果】
【００２８】
本発明に係る外観検査装置によると、学習時前に、学習評価精度が予め見積もられる。外観検査装置は、その精度が装置の使用者の要求する精度となるかどうかを学習前に判断する。外観検査装置は要求精度を満たす学習データ数その他学習に必要な情報を表示できるため、当該使用者は、必要に応じて外観検査装置に再学習を実行させることが可能になる。これにより、要求される精度に応じた信頼性の高い外観検査装置を提供することができる。
【００２９】
本発明に係る外観検査方法を実行する装置によると、学習時前に、学習評価精度が予め見積もられる。その精度が当該方法の使用者の要求する精度となるかどうかが、学習前に判断される。要求精度を満たす学習データ数その他学習に必要な情報が表示されるため、当該使用者は、必要に応じて、その装置に再学習を実行させることが可能になる。これにより、要求される精度に応じた信頼性の高い外観検査方法を提供することができる。
【００３０】
本発明に係るプログラムによると、コンピュータは、学習時前に、学習評価精度を予め見積る。コンピュータは、その精度がコンピュータのユーザの要求する精度となるかどうかを学習前に判断する。コンピュータは要求精度を満たす学習データ数その他学習に必要な情報を表示できるため、当該ユーザは、必要に応じてコンピュータに再学習を実行させることが可能になる。これにより、要求される精度に応じた信頼性の高い外観検査装置としてコンピュータを機能させるためのプログラムを提供することができる。
【００３１】
本発明に係るプログラムによると、要求される精度に応じた信頼性の高い外観検査装置として、コンピュータを機能させることができる。
【発明を実施するための最良の形態】
【００３２】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【００３３】
図１を参照して、本発明の実施の形態に係る外観検査装置を備える検査システム１０について説明する。図１は、検査システム１０のシステム構成を表わすブロック図である。
【００３４】
検査システム１０は、ステージ１０１と、光源１０３と、ＣＣＤ（Charge-coupled device）カメラ１０４と、コントローラ１０５と、外観検査装置１００とを含む。ステージ１０１には、外観検査の対象となり得る対象物１０２が予め定められた位置に搬入される。対象物１０２は、所定の検査の後、ステージ１０１から搬出される。
【００３５】
光源１０３は、ステージ１０１に対して発光する。対象物１０２がステージ１０１に搬入されている場合には、対象物１０２は、ＣＣＤカメラ１０４による撮影が可能な程度の光量が供給される。なお、対象物１０２に対して供給される光量は、後述するコントローラ１０５により変更可能である。
【００３６】
ＣＣＤカメラ１０４は、対象物１０２を撮影し、画像信号を出力する。画像信号は、ケーブルを介して外観検査装置１００に入力される。入力されたデータは、後述するように、外観検査装置１００が備える記憶装置の所定の記憶領域に格納される。
【００３７】
コントローラ１０５は、ステージ１０１と光源１０３とＣＣＤカメラ１０４と外観検査装置１００とのそれぞれの動作を制御する。より具体的には、コントローラ１０５は、対象物１０２を正確に撮影するために、ステージ１０１と光源１０３とＣＣＤカメラ１０４との位置関係を制御する。この制御は、たとえばＣＣＤカメラ１０４から出力される画像信号に応じて、ステージ１０１に搬入された対象物１０２の焦点が合っているか否かに基づいて行なわれる。あるいは、使用者が外観検査装置１００に対して指示を入力すると、外観検査装置１００は、コントローラ１０５に対して当該指示に応じて位置関係を制御するための指令を出力する。
【００３８】
図１を再び参照して、外観検査装置１００は、入力部１１１と、記憶装置１０７と、画像処理部１０８と、演算部１１０と、主制御部１０９と、ディスプレイ１０６とを含む。入力部１１１は、外部からデータの入力を受け、当該データを信号線(図示しない）を介して主制御部１０９等に送出する。記憶装置１０７は、データを不揮発的および揮発的にそれぞれ格納する。画像処理部１０８は、予め設定されたパラメータに応じて、目的とする画像処理を実行する。演算部１１０は、外観検査装置１００における所定の演算を実行する。主制御部１０９は、コントローラ１０５から入力される制御信号に基づいて外観検査装置１００の内部動作を制御する。ディスプレイ１０６は、主制御部１０９により表示用メモリ（図示しない）に書き込まれるデータに基づいて、撮影された対象物１０２の画像その他画像処理の結果を表示する。
【００３９】
画像処理部１０８と主制御部１０９と演算部１１０とは、たとえば予め定められた処理を実行するように構成されたシステム回路によりハードウェア的に実現される。あるいは、後述するように、ＣＰＵ（Central Processing Unit）に、後述する各処理を実現するためのプログラムを実行させることにより実現される。
【００４０】
図２を参照して、本実施の形態に係る外観検査装置１００のデータ構造について説明する。図２は、外観検査装置１００の記憶装置１０７におけるデータの格納の一態様を表わす図である。
【００４１】
記憶装置１０７は、後述する処理により算出される精度を格納したテーブル２００と、外観検査装置１００を実現するためのプログラムとを含む。テーブル２００は、たとえば予め定められた間隔により区切られた重なり度合いと欠陥個数とをキーとして、それぞれ対応する精度を含む。この精度の算出については後述する。記憶装置１０７は、またその精度を算出するための精度算出プログラムと、外観検査装置１００による学習の判断を実行する判断プログラムとを、それぞれ領域２１０，２２０に格納している。なお、外観検査装置１００におけるデータの格納の態様は、図２に示されるものに限られない。
【００４２】
図３を参照して、本実施の形態に係る外観検査装置１００の制御構造について説明する。図３は、外観検査装置１００が備える演算部１１０が実行する処理の手順を表わすフローチャートである。すなわち演算部１１０が各処理を実現するための回路として構成されている場合には、以下の処理は、その回路が所定の動作を開始することにより実行される。また、演算部１１０がＣＰＵにより実現される場合には、当該処理は、各処理を実現するプログラムがそのＣＰＵにより実行された場合に実現される。
【００４３】
ステップＳ３１０にて、演算部１１０は、入力部１１１を介して入力された離散データの入力を受ける。ステップＳ３２０にて、演算部１１０は、離散データの母集団の分布を表わす分布データを算出する。ステップＳ３３０にて、演算部１１０は、算出された分布データに基づいて重なり度合いを算出する。
【００４４】
ステップＳ３４０にて、演算部１１０は、重なり度合いと欠陥個数とに対応する精度を算出する。ステップＳ３５０にて、演算部１１０は、記憶装置１０７の所定の領域に、算出された精度を参照用のテーブル２００として登録する。
【００４５】
図４を参照して、外観検査装置１００の制御構造についてさらに説明する。図４は、画像処理部１０８と主制御部１０９と演算部１１０とによってそれぞれ実行される処理の手順を表わすフローチャートである。なお、以下の処理も、前述のようにハードウェア的に実現されてもよいし、あるいはＣＰＵの動作によって、ソフトウェア的に実現されてもよい。
【００４６】
ステップＳ４０２にて、演算部１１０は、入力部１１１を介してユーザにより要求される要求精度および画像データの入力を受ける。ステップＳ４０４にて、演算部１１０は、入力された画像データに対して予め定められた画像処理を実行し、欠陥の候補を抽出する。
【００４７】
ステップＳ４０６にて、演算部１１０は、抽出された欠陥の候補の画像データから特徴量を抽出する。ここで特徴量とは検査の対象物１０２の画像の特徴として撮影により取得された画像データに基づいて表わされる特徴を評価するためのデータをいう。特徴量は、粒子解析で用いられる計測値、たとえば、周囲長、面積、面積率、円形度係数、等価円直径、０次モーメント、１次モーメント、２次モーメント、最大最低濃度、濃度合計、平均濃度、濃度の標準偏差、水平垂直フェレ径、水平垂直フェレ径比率、最大最小フェレ径、最大フェレ径角度、最大最小フェレ径比率などを含む。
【００４８】
ステップＳ４０８にて、主制御部１０９は、ディスプレイ１０６における表示のために使用されるメモリ領域に特徴量を格納し、ディスプレ１０６にその特徴量を表示される。ステップＳ４１０にて、演算部１１０は、入力部１１１を介して欠陥の候補に対するラベル付け情報の入力を受け付ける。ステップＳ４１２にて、演算部１１０は、ラベル付けされた欠陥候補ごとに、母集団の分布を推定するための処理を実行する。
【００４９】
ステップＳ４１４にて、演算部１１０は、推定された母集団同士の重なり度合いを算出する。ステップＳ４１６にて、演算部１１０は、記憶装置１０７の所定の領域に格納された欠陥情報を読み出す。ステップＳ４１８にて、演算部１１０は、重なり度合いと欠陥情報と欠陥の個数とを用いて、入力された画像データの精度を算出する。
【００５０】
ステップＳ４２０にて、主制御部１０９は、入力された画像データが入力された要求精度を満たすか否かを判断する。この判断は、たとえばステップＳ４０２において入力された要求精度とステップＳ４１８において算出された精度とを比較することにより行なわれる。主制御部１０９が、入力された画像データは要求精度を満たすと判断すると（ステップＳ４２０にてＹＥＳ）、処理はステップＳ４３０に移される。そうでない場合には（ステップＳ４２０にてＮＯ）、処理はステップＳ４２２に移される。
【００５１】
ステップＳ４２２にて、演算部１１０は、入力された要求精度を満たすために必要な学習情報を算出する。ステップＳ４２４にて、主制御部１０９は、算出された学習情報をディスプレイ１０６の所定の領域に表示させるために、表示用メモリ（図示しない）の所定の領域に書き込む。その結果、ディスプレイ１０６は、学習情報を表示する。ステップＳ４３０にて、主制御部１０９は、学習を開始する。その後、処理は終了する。
【００５２】
ここで、図５〜図９を参照して、本実施の形態に係る外観検査装置１００が使用するレシーバオペレーティング特性（以下、ＲＯＣ（Receiver Operating Characteristics））の解析について説明する。図５は、検出された欠陥と検出時における確率密度との関係を表わす図である。
【００５３】
図５を参照して、外観検査装置１００は、ＣＣＤカメラ１０４から入力される画像データに基づいて欠陥を検出する。この検出結果は、真の欠陥５１０と擬似的な欠陥５３０とに分かれて検出される。ここで、擬似的な欠陥（以下、擬似欠陥）とは、欠陥ではないにもかかわらず欠陥であると誤って判断される画像データをいう。この場合、判断基準である識別器５５０を欠陥の検出結果に対して適用することにより、欠陥として識別される領域が特定される。たとえば、この領域は、真の欠陥として認識される領域５２０と、擬似欠陥として識別される領域５４０とを含む。領域５２０の面積は、真の欠陥の認識率として算出される。
【００５４】
図５に示されるように、識別器５５０の値をさらに大きくすると、認識率は低下することになる。この場合、領域５４０の面積も小さくなるため、過検出率もそれに応じて小さくなる。一方、識別器５５０を擬似欠陥５３０の領域に近づけて設定すると、領域５２０の面積は大きくなる一方、領域５４０の面積も同様に大きくなる。すなわち過検出率も上昇することになる。
【００５５】
図６は、過検出率と認識率との関係をＲＯＣ特性を表わすためのＲＯＣ曲線６００として表わした図である。この場合、理想の検出結果は、認識率＝１．０であり、過検出率＝０である。すなわち、図６では左上の点６１０が理想の検出結果である。したがって、ＲＯＣ曲線６１０が左上に近づくほど、検出結果の精度は良くなる。
【００５６】
図７は、ＲＯＣ曲線を表わす平面上において過検出率と認識率との関係を標本の数に応じて表わす図である。標本の数が少ない場合には、破線７１０に示されるように、検出結果を特定するための境界線は、変化の度合いが大きな階段状の形状として表現される。標本の数が増加すると、たとえば点線７２０に示されるように、検出結果を特定するための境界線は、破線７１０よりも変化の程度が小さな階段状の形状として表わされる。すなわち、点線７２０は、破線７１０よりも、全体として点６１０（過検出率＝０、認識率＝１．０）の方向に向かう。
【００５７】
標本の数がさらに増加すると、一点鎖線７３０に示されるように、当該境界線の形状はさらに滑らかになる。仮に標本が無限個存在する場合には、円弧７４０に示されるように、認識率と過検出率とを表わす曲線は滑らかに描かれる。
【００５８】
図８は、外観検査装置１００が使用する分布の重なり度合いを説明するための図である。ここで、分布は、たとえば確率密度により表わされるが、検出結果の度数を表わすヒストグラムであってもよい。
【００５９】
外観検査装置１００が、入力される画像信号に基づいて欠陥の抽出処理を実行すると、抽出結果は、たとえば分布８１０と分布８４０としてそれぞれ表わされる。ここで分布８１０は、擬似欠陥の分布を表わす。分布８４０は、真の欠陥の分布を表わす。それぞれの分布が算出されると、各抽出結果に基づいてそれぞれの分布の平均値８２０，８５０が算出される。
【００６０】
ここで擬似欠陥の分布の標準偏差をσ（１）とすると、平均８２０から３×σ（１）までの領域が、擬似欠陥が存在する範囲として特定される。同様に真の欠陥の分布８４０に対して平均８５０から標準偏差σ（２）だけの領域は、真の欠陥の分布が存在している範囲として特定される。本実施の形態においては、標準偏差σ（１）＞σ（２）である場合のデータが使用されているため、各分布の重なり度合いは、図８に示されるようになる。
【００６１】
図９は、ディスプレイ１０６に表示する学習に必要な情報を算出する手順を説明するための図である。
【００６２】
撮影により取得された画像データに基づいて過検出率と認識率との関係が抽出されると、外観検査装置１００は、学習に必要な情報として、過検出率と認識率と識別器５５０の位置とをそれぞれ特定する。たとえば、点９１０は、過検出率＝Ｆ（１）、認識率＝Ｔ（１）、識別器５５０の位置＝Ｒ（１）として表わされる。
【００６３】
ここで、判断基準を変更するために、識別器５５０の位置をたとえばＲ（２）に移動すると、その領域は点９２０に示されるように、過検出率＝Ｆ（２）、認識率＝Ｔ（２）と表わされる。この場合Ｔ（１）＝Ｔ（２）である。
【００６４】
さらに、識別器５５０の位置がＲ（３）に移動されると、その領域は、点９３０に示されるように、過検出率＝Ｆ（３）、認識率＝Ｔ（３）、識別器の位置＝Ｒ（３）として表わされる。この場合、点９３０における過検出率は、点９２０における過検出率と同じであるため、Ｆ（２）の値とＦ（３）の値とは、同一である。
【００６５】
図１０を参照して、外観検査装置１００における表示態様について説明する。図１０は、ディスプレイ１０６が表示する画面の一態様を表わす図である。
【００６６】
ディスプレイ１０６は、欠陥の分布を表わす図と、真の欠陥および擬似欠陥に対してそれぞれ必要なレベルを表わす画面とを表示する。すなわち外観検査装置１００は、ＣＣＤカメラ１０４により出力される画像信号に基づいて欠陥の抽出処理を実行すると、真の欠陥と擬似欠陥とは、それぞれ標本ごとに表示される。
【００６７】
図１０に示される例では、真の欠陥は「×」として表わされる。擬似欠陥は、「〇」として表わされる。また過検出率と認識率とに影響を与える識別器の範囲は、上限値１０００および下限値１００２がそれぞれ表示される。したがって、領域１０２０が識別器の範囲になる。
【００６８】
各欠陥に対して学習が必要な情報は、たとえば必要最小レベルとして領域１０６２に表示される。領域１０６２に表示されるデータは、真の欠陥１０６０のデータに対応するものとして表示される。同様に、必要最大のレベルは、領域１０１２に表示される。領域１０１２に表示されるデータは、真の欠陥１０１０に対応している。このように、それぞれの値に応じたデータが表示されるため、外観検査装置１００のユーザは、どの程度の学習が必要であるかを容易に判断することができる。具体的には、ユーザは、どのような学習用データが必要であるかを認識することができる。たとえば、学習用データのレベル、たとえば欠陥の強度と数とが表示される。要求精度を満たすような数は、テーブル２００において参照され、そして読み出される。
【００６９】
ここで、図１１を参照して、外観検査装置１００を実現するコンピュータシステム１１００について説明する。図１１は、コンピュータシステム１１００のハードウェア構成を表わすブロック図である。
【００７０】
コンピュータシステム１１００は、相互にデータバスにより接続されたＣＰＵ１１１０と、使用者による指示の入力を受けるマウス１１２０およびキーボード１１３０と、入力されるデータあるいは所定の処理の実行により一時的に生成されるデータを格納するＲＡＭ（Random Access Memory）１１４０と、大容量のデータを不揮発的に格納できるハードディスク１１５０と、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）駆動装置１１６０と、モニタ１１８０と、通信ＩＦ（Interface）１１９０とを含む。ＣＤ−ＲＯＭ駆動装置１１６０には、ＣＤ−ＲＯＭ１１６２が装着される。外観検査装置１００として機能するコンピュータシステム１１００における処理は、各ハードウェアおよびＣＰＵ１１１０により実行されるソフトウェアによって実現される。このようなソフトウェアは、ＲＡＭ１１４０あるいはハードディスク１１５０に記憶されている場合もあれば、ＣＤ−ＲＯＭ１１６２その他の記憶媒体に格納されて流通し、ＣＤ−ＲＯＭ駆動装置１１６０その他の読取装置によりその記憶媒体から読取られて、ハードディスク１１５０に一旦格納される場合もある。そのソフトウェアは、ＲＡＭ１１４０あるいはハードディスク１１５０から読出されて、ＣＰＵ１１１０によって実行される。図１１に示されるコンピュータシステム１１００のハードウェア構成は、一般的なものである。本発明の最も本質的な部分は、ＲＡＭ１１４０、ハードディスク１１５０、ＣＤ−ＲＯＭ１１６２その他の記憶媒体に格納されたソフトウェアであるとも言える。なお、コンピュータシステム１１００の各ハードウェアの動作はそれぞれ周知であるため、詳細な説明は繰り返さない。
【００７１】
図１２を参照して、外観検査装置１００を実現するコンピュータシステム１１００の機能的構成について説明する。図１２は、ＣＰＵ１１１０がソフトウェアの実行により実現される機能の構成を表わす図である。
【００７２】
ＣＰＵ１１１０は、入出力部１２１０と、抽出部１２２０と、特徴量算出部１２３０と、算出部１２４０と、精度算出部１２５０と、判断部１２６０とを含む。
【００７３】
入出力部１２１０は、データバスを介してデータの入力を受ける。また、入出力部１２１０は、ＣＰＵ１１１０内部で生成されたデータをＲＡＭ１１４０に書き込む。抽出部１２２０は、入力された画像データに対して予め定められた画像処理を実行することにより、検査対象物における欠陥の候補を特定するための欠陥候補データを抽出する。特徴量算出部１２３０は、欠陥候補データに基づいて、特徴量を算出する。算出部１２４０は、ラベル付け入力に基づいて、欠陥の候補の分布の重なり度合いを算出する。精度算出部１２５０は、擬似的な欠陥の個数と、真の欠陥の個数と、分布の重なり度合いとに基づいて、特徴量の分布を評価するための精度を算出する。判断部１２６０は、要求精度と算出された精度とに基づいて、画像データの学習を実行する否かを判断する。
【００７４】
以上のようにして、本発明の実施の形態に係る外観検査装置１００によると、学習時前に、学習評価精度が予め見積もられる。外観検査装置１００は、その精度がオペレータの要求する精度となるかどうかを学習前に判断する。外観検査装置１００は要求精度を満たす学習データ数その他学習に必要な情報を表示できるため、当該オペレータは、必要に応じて外観検査装置１００に再学習を実行させることができる。これにより、外観検査装置１００は、被検査物の外観における欠陥の検査を高精度で実現することができる。
【００７５】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【００７６】
【図１】本発明の実施の形態に係る外観検査装置を備える検査システム１０のシステム構成を表わすブロック図である。
【図２】本発明の実施の形態に係る外観検査装置１００の記憶装置１０７におけるデータの格納の一態様を表わす図である。
【図３】本発明の実施の形態に係る外観検査装置１００が実行する処理の手順を表わすフローチャート（その１）である。
【図４】本発明の実施の形態に係る外観検査装置１００が実行する処理の手順を表わすフローチャート（その２）である。
【図５】本発明の実施の形態に係る外観検査装置１００が使用するＲＯＣ解析を説明するための図（その１）である。
【図６】本発明の実施の形態に係る外観検査装置１００が使用するＲＯＣ解析を説明するための図（その２）である。
【図７】本発明の実施の形態に係る外観検査装置１００が使用するＲＯＣ解析を説明するための図（その３）である。
【図８】本発明の実施の形態に係る外観検査装置１００が使用するＲＯＣ解析を説明するための図（その４）である。
【図９】本発明の実施の形態に係る外観検査装置１００が使用するＲＯＣ解析を説明するための図（その５）である。
【図１０】本発明の実施の形態に係る外観検査装置１００のディスプレイ１０６が表示する画面の一態様を表わす図である。
【図１１】本発明の実施の形態に係る外観検査装置１００を実現するコンピュータシステム１１００のハードウェア構成を表わすブロック図である。
【図１２】コンピュータシステム１１００のＣＰＵ１１１０がソフトウェアの実行により実現される機能の構成を表わす図である。
【符号の説明】
【００７７】
１０ 検査システム、１００ 外観検査装置、１０１ ステージ、１０２ 対象物、１０３ 光源、１０４ ＣＣＤカメラ、１０５ コントローラ、１０６ ディスプレイ、１０７ 記憶装置、１０８ 画像処理部、１０９ 主制御部、１１０ 演算部、１１１ 入力部、２００ テーブル、１１００ コンピュータシステム、１１１０ ＣＰＵ、１１２０ マウス、１１３０ キーボード、１１４０ ＲＡＭ、１１５０ ハードディスク、１１６０ ＣＤ-ＲＯＭ駆動装置、１１６２ ＣＤ-ＲＯＭ、１１９０ 通信ＩＦ、１１８０ モニタ。
【技術分野】
【０００１】
本発明は被検査物の外観を検査する技術に関する。より特定的には、本発明は、被検査物の撮影により取得された画像データに基づいて外観を検査する外観検査装置、外観検査方法、コンピュータを外観検査装置として機能させるためのプログラム、およびそのプログラムを格納したコンピュータ読取可能な記録媒体に関する。
【背景技術】
【０００２】
従来、外観検査装置には、検査対象の外観を撮像した画像データに対して、最適化手法により生成されたアルゴリズムを用いて画像処理することによって、欠陥を自動検出するものがある。たとえば、一例として、半導体や液晶の基板などの外観を検査する装置は、当該基板の表面に生じた割れ、かけ、異物付着、ムラなどの欠陥の画像を学習画像として用いる。
【０００３】
このような学習には繰り返し計算が必要であり、多次元の特徴量を多数必要とする。そのため、膨大な計算時間が必要とされる。そこで、学習データの選択、修正方法などが開発されてきた。
【０００４】
たとえば、特開２００３−７６９７６号公報（特許文献１）は、判定精度の高いニューラルネットワークを利用したパターンマッチング方法を開示している。この方法は、複数の学習用入力パターンから、異なる次元に属する特徴量相互の相関を計算するステップと、相関で決まる特徴的な距離（ここではマハラノビス距離）が一定となる位置に境界パターンを作成するステップと、当該境界パターンを学習用パターンとするステップとを含む。上記の方法によると、多次元データを学習する場合に、データ相互間の相関が計算され、相関で決まる特徴的な距離が一定の位置に境界データが作成され、より正確な境界データが作成される。これにより、ニューラルネットワークを利用した、判定精度の高いパターンマッチング方法が提供される。
【０００５】
また、特開平１１−３４４４５０号公報（特許文献２）は、欠陥の画像信号から欠陥の種類を分類できるようにした学習機能を備えた欠陥分類装置を開示している。この装置は、予め複数の教示用欠陥を撮像して複数の教示用欠陥画像を検出する欠陥画像検出部と、当該欠陥画像検出部で検出された複数の教示用欠陥画像に基づいて複数の教示用欠陥の各々を分類してカテゴリを付与する計算部と、当該欠陥画像検出部で検出された複数の教示用欠陥画像と当該計算部で複数の教示用欠陥に対して分類されたカテゴリとを表示する表示部とを備え、複数の教示用欠陥と欠陥の種類に対応するカテゴリとの対応関係を示す教示用データを取得して記憶部に格納する学習部と、被検査物に対して検査されて見付かった欠陥について撮像して被検査対象の欠陥画像を検出する欠陥画像検出部と、当該欠陥画像検出部で検出された被検査対象の欠陥画像を元に、当該学習部の記憶部に格納された教示用データから当該欠陥の種類を分類する計算部とを備えた分類部とを含む。
【特許文献１】特開２００３−７６９７６号公報
【特許文献２】特開平１１−３４４４５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記の特許文献に開示された技術は、いずれも、精度の良いパターンマッチング方法、及び検査装置のために、学習用データの作成、またはオペレータへの提示を行うものである。
【０００７】
ここで、特許文献１に開示された方法は、異なる次元の特徴量相互の相関関係から求めた距離を元に学習データを作成している。具体的には、学習データの特徴量の平均からのマハラノビス距離が一定の集合を集めたものを学習データとすることが特徴である。したがって、学習データの特徴量レベルについては決定することができるが、その数については決定することが困難であるという問題があった。
【０００８】
また、特許文献２に開示された装置は、オペレータによりカテゴリを付与された学習用欠陥特徴量に対して、特徴量空間におけるカテゴリ間の判別関数で表される分類パラメータを用いて、学習データの有意性を診断し、その結果をオペレータに提示することにより、その学習データをオペレータが修正、除外するものである。したがって、欠陥の統計的な分布を考慮した精度の良いパターンマッチング方法、及び検査装置のために必要な学習データの特徴量レベル、数については決定することが困難であるという問題があった。
【０００９】
本発明は上述の問題点を解決するためになされたものであって、その目的は、画像中の真・疑似欠陥の特徴量を統計的に評価し、最適化手法によって生成されたアルゴリズムを用いたパターン認識方法および、これらを用いた検査装置において、学習時前に予めおおよその学習評価精度を見積もり、使用者により要求される精度となるかどうかを学習前に判断し、その結果に応じて学習データの追加を可能とすることにより、当該要求される精度に応じた信頼性の高い外観検査装置を提供することである。
【００１０】
本発明の他の目的は、学習時前に予めおおよその学習評価精度を見積もり、使用者により要求される精度となるかどうかを学習前に判断し、その結果に応じて学習データの追加を可能とすることにより、当該要求される精度に応じた信頼性の高い外観検査装置として、コンピュータを機能させるためのプログラムを提供することである。
【課題を解決するための手段】
【００１１】
上記の課題を解決するために、この発明のある局面に従うと、外観検査装置は、外部からデータの入力を受ける入力手段を備える。データは、検査物の撮像により取得される画像データと、検査対象物の画像の特徴として画像データに基づいて表わされる特徴量を評価するために要求される要求精度とを含む。外観検査装置は、入力された画像データに対して予め定められた画像処理を実行することにより、検査対象物における欠陥の候補を特定するための欠陥候補データを抽出する抽出手段と、欠陥候補データに基づいて、欠陥の候補の特徴量を算出する特徴量算出手段と、特徴量を表示する表示手段とを備える。入力手段はさらに、特徴量に応じて欠陥の候補を分類するためのラベル付けが行なわれたデータの入力を受ける。ラベル付けが行なわれたデータは、欠陥の候補を真の欠陥と擬似的な欠陥のいずれかとして分類するためのデータを含み、擬似的な欠陥は、真の欠陥でない欠陥の候補が欠陥として分類されるものである。外観検査装置は、ラベル付け入力に基づいて、欠陥の候補の分布の重なり度合いを算出する算出手段と、擬似的な欠陥の個数と、真の欠陥の個数と、分布の重なり度合いとに基づいて、特徴量の分布を評価するための精度を算出する精度算出手段と、要求精度と算出された精度とに基づいて、画像データの学習を実行する否かを判断する判断手段と、判断手段による判断の結果を出力する出力手段とを備える。
【００１２】
好ましくは、算出手段は、ラベル付け入力に基づいて、ラベル付けされた欠陥から母集団の分布を推定する推定手段と、母集団の分布に基づいて重なり度合いを算出する重複度算出手段とを含む。
【００１３】
好ましくは、判断手段は、算出された精度と要求精度とを比較する比較手段と、比較の結果に基づいて、学習の開始と、学習に必要な情報の算出とのいずれかを選択する選択手段とを含む。
【００１４】
好ましくは、判断手段は、算出された精度が要求精度を満足する場合に、学習を開始すると決定する。外観検査装置は、判断手段が学習を開始しないと判断した場合に、要求精度と算出された精度とに基づいて、学習のために必要な情報を算出する学習情報算出手段をさらに備える。出力手段は、算出された学習のために必要な情報を出力する情報出力手段を含む。
【００１５】
好ましくは、学習情報算出手段は、要求精度を満たすために必要な特徴量の範囲を示すための通知情報を表示する画像データを算出する生成手段を含む。情報出力手段は、画像データに基づいて通知情報を表示する表示手段を含む。
【００１６】
好ましくは、外観検査装置は、欠陥の候補から、予め定められた基準に基づいて真の欠陥および擬似的な欠陥を抽出する欠陥抽出手段をさらに備える。生成手段は、欠陥抽出手段による抽出処理の結果に基づいて、欠陥抽出手段により抽出された真の欠陥の数および擬似的な欠陥の数を表示するための表示データを生成する。表示手段は、表示データに基づいて、欠陥抽出手段により抽出された真の欠陥の数および擬似的な欠陥の数を表示する。
【００１７】
好ましくは、生成手段は、ラベル付けが行なわれたデータに基づいて、予め定められた第１の評価基準と、第１の評価基準と異なる、予め定められた第２の評価基準との関係を示すレシーバオペレーティング特性を表わす曲線を描画するためのデータを算出するデータ算出手段と、曲線を描画するためのデータに基づいて、予め定められた精度を下回る範囲を算出する範囲算出手段と、特徴量の空間に、算出された範囲を反映する反映手段と、特徴量の空間に反映された範囲と、画像データから抽出される欠陥に基づいて特定される欠陥の情報とに基づいて、必要とされる特徴量の範囲を示すための範囲データを生成する画像データ生成手段とを含む。表示手段は、範囲データに基づいて必要とされる特徴量の範囲を表示する。
【００１８】
好ましくは、欠陥の情報は、欠陥の個数を含む。
【００１９】
好ましくは、範囲算出手段は、曲線を構成するための複数の線分を特定し、複数の線分の各々について、隣接する線分により構成される頂点を特定し、特定された頂点の各々について、頂点間の距離を算出し、算出された距離をソートし、そして、ソートされた距離に基づいて予め定められた範囲を下回る範囲を算出する。
【００２０】
好ましくは、精度算出手段は、学習時および学習の終了後のいずれかにおいて、特徴量の分布を評価するための精度を算出する。
【００２１】
この発明の他の局面に従うと、外観検査方法は、外部からデータの入力を受ける入力ステップを備える。データは、検査物の撮像により取得される画像データと、検査対象物の画像の特徴として画像データに基づいて表わされる特徴量を評価するために要求される要求精度とを含む。外観検査方法は、入力された画像データに対して予め定められた画像処理を実行することにより、検査対象物における欠陥の候補を特定するための欠陥候補データを抽出する抽出ステップと、欠陥候補データに基づいて、欠陥の候補の特徴量を算出する特徴量算出ステップと、特徴量を表示する表示ステップと、特徴量に応じて欠陥の候補を分類するためのラベル付けが行なわれたデータの入力を受けるステップとを備える。ラベル付けが行なわれたデータは、欠陥の候補を真の欠陥と擬似的な欠陥のいずれかとして分類するためのデータを含む。擬似的な欠陥は、真の欠陥でない欠陥の候補が欠陥として分類されるものである。外観検査方法は、さらに、ラベル付け入力に基づいて、欠陥の候補の分布の重なり度合いを算出する算出ステップと、擬似的な欠陥の個数と、真の欠陥の個数と、分布の重なり度合いとに基づいて、特徴量の分布を評価するための精度を算出する精度算出ステップと、要求精度と算出された精度とに基づいて、画像データの学習を実行する否かを判断する判断ステップと、判断ステップによる判断の結果を出力する出力ステップとを備える。
【００２２】
好ましくは、算出ステップは、ラベル付け入力に基づいて、ラベル付けされた欠陥から母集団の分布を推定するステップと、母集団の分布に基づいて重なり度合いを算出するステップとを含む。
【００２３】
好ましくは、判断ステップは、算出された精度と要求精度とを比較するステップと、比較の結果に基づいて、学習の開始と、学習に必要な情報の算出とのいずれかを選択するステップとを含む。
【００２４】
好ましくは、判断ステップは、算出された精度が要求精度を満足する場合に、学習の開始を判断する。外観検査方法は、判断ステップが学習の開始を判断しない場合に、要求精度と算出された精度とに基づいて、学習のために必要な情報を算出するステップをさらに備える。出力ステップは、算出された学習のために必要な情報を出力する。
【００２５】
好ましくは、精度算出ステップは、学習時および学習の終了後のいずれかにおいて、特徴量の分布を評価するための精度を算出する。
【００２６】
この発明の他の局面に従うと、プログラムは、コンピュータを外観検査装置として機能させる。このプログラムはコンピュータに、外部からデータの入力を受けるステップを実行させる。データは、検査物の撮像により取得される画像データと、検査対象物の画像の特徴として画像データに基づいて表わされる特徴量を評価するために要求される要求精度とを含む。プログラムは、コンピュータに、入力された画像データに対して予め定められた画像処理を実行することにより、検査対象物における欠陥の候補を特定するための欠陥候補データを抽出するステップと、欠陥候補データに基づいて、特徴量を算出するステップと、特徴量を表示する表示ステップと、特徴量に応じて欠陥の候補を分類するためのラベル付けが行なわれたデータの入力を受けるステップとを実行させる。ラベル付けが行なわれたデータは、欠陥の候補を真の欠陥と擬似的な欠陥のいずれかとして分類するためのデータを含む。擬似的な欠陥は、真の欠陥でない欠陥の候補が欠陥として分類されるものである。プログラムは、コンピュータに、ラベル付け入力に基づいて、欠陥の候補の分布の重なり度合いを算出するステップと、擬似的な欠陥の個数と、真の欠陥の個数と、分布の重なり度合いとに基づいて、特徴量の分布を評価するための精度を算出するステップと、要求精度と算出された精度とに基づいて、画像データの学習を実行する否かを判断するステップと、判断ステップによる判断の結果を出力するステップとを実行させる。
【００２７】
この発明のさらに他の局面に従うと、コンピュータ読取可能な記録媒体は、上記のプログラムを格納している。
【発明の効果】
【００２８】
本発明に係る外観検査装置によると、学習時前に、学習評価精度が予め見積もられる。外観検査装置は、その精度が装置の使用者の要求する精度となるかどうかを学習前に判断する。外観検査装置は要求精度を満たす学習データ数その他学習に必要な情報を表示できるため、当該使用者は、必要に応じて外観検査装置に再学習を実行させることが可能になる。これにより、要求される精度に応じた信頼性の高い外観検査装置を提供することができる。
【００２９】
本発明に係る外観検査方法を実行する装置によると、学習時前に、学習評価精度が予め見積もられる。その精度が当該方法の使用者の要求する精度となるかどうかが、学習前に判断される。要求精度を満たす学習データ数その他学習に必要な情報が表示されるため、当該使用者は、必要に応じて、その装置に再学習を実行させることが可能になる。これにより、要求される精度に応じた信頼性の高い外観検査方法を提供することができる。
【００３０】
本発明に係るプログラムによると、コンピュータは、学習時前に、学習評価精度を予め見積る。コンピュータは、その精度がコンピュータのユーザの要求する精度となるかどうかを学習前に判断する。コンピュータは要求精度を満たす学習データ数その他学習に必要な情報を表示できるため、当該ユーザは、必要に応じてコンピュータに再学習を実行させることが可能になる。これにより、要求される精度に応じた信頼性の高い外観検査装置としてコンピュータを機能させるためのプログラムを提供することができる。
【００３１】
本発明に係るプログラムによると、要求される精度に応じた信頼性の高い外観検査装置として、コンピュータを機能させることができる。
【発明を実施するための最良の形態】
【００３２】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【００３３】
図１を参照して、本発明の実施の形態に係る外観検査装置を備える検査システム１０について説明する。図１は、検査システム１０のシステム構成を表わすブロック図である。
【００３４】
検査システム１０は、ステージ１０１と、光源１０３と、ＣＣＤ（Charge-coupled device）カメラ１０４と、コントローラ１０５と、外観検査装置１００とを含む。ステージ１０１には、外観検査の対象となり得る対象物１０２が予め定められた位置に搬入される。対象物１０２は、所定の検査の後、ステージ１０１から搬出される。
【００３５】
光源１０３は、ステージ１０１に対して発光する。対象物１０２がステージ１０１に搬入されている場合には、対象物１０２は、ＣＣＤカメラ１０４による撮影が可能な程度の光量が供給される。なお、対象物１０２に対して供給される光量は、後述するコントローラ１０５により変更可能である。
【００３６】
ＣＣＤカメラ１０４は、対象物１０２を撮影し、画像信号を出力する。画像信号は、ケーブルを介して外観検査装置１００に入力される。入力されたデータは、後述するように、外観検査装置１００が備える記憶装置の所定の記憶領域に格納される。
【００３７】
コントローラ１０５は、ステージ１０１と光源１０３とＣＣＤカメラ１０４と外観検査装置１００とのそれぞれの動作を制御する。より具体的には、コントローラ１０５は、対象物１０２を正確に撮影するために、ステージ１０１と光源１０３とＣＣＤカメラ１０４との位置関係を制御する。この制御は、たとえばＣＣＤカメラ１０４から出力される画像信号に応じて、ステージ１０１に搬入された対象物１０２の焦点が合っているか否かに基づいて行なわれる。あるいは、使用者が外観検査装置１００に対して指示を入力すると、外観検査装置１００は、コントローラ１０５に対して当該指示に応じて位置関係を制御するための指令を出力する。
【００３８】
図１を再び参照して、外観検査装置１００は、入力部１１１と、記憶装置１０７と、画像処理部１０８と、演算部１１０と、主制御部１０９と、ディスプレイ１０６とを含む。入力部１１１は、外部からデータの入力を受け、当該データを信号線(図示しない）を介して主制御部１０９等に送出する。記憶装置１０７は、データを不揮発的および揮発的にそれぞれ格納する。画像処理部１０８は、予め設定されたパラメータに応じて、目的とする画像処理を実行する。演算部１１０は、外観検査装置１００における所定の演算を実行する。主制御部１０９は、コントローラ１０５から入力される制御信号に基づいて外観検査装置１００の内部動作を制御する。ディスプレイ１０６は、主制御部１０９により表示用メモリ（図示しない）に書き込まれるデータに基づいて、撮影された対象物１０２の画像その他画像処理の結果を表示する。
【００３９】
画像処理部１０８と主制御部１０９と演算部１１０とは、たとえば予め定められた処理を実行するように構成されたシステム回路によりハードウェア的に実現される。あるいは、後述するように、ＣＰＵ（Central Processing Unit）に、後述する各処理を実現するためのプログラムを実行させることにより実現される。
【００４０】
図２を参照して、本実施の形態に係る外観検査装置１００のデータ構造について説明する。図２は、外観検査装置１００の記憶装置１０７におけるデータの格納の一態様を表わす図である。
【００４１】
記憶装置１０７は、後述する処理により算出される精度を格納したテーブル２００と、外観検査装置１００を実現するためのプログラムとを含む。テーブル２００は、たとえば予め定められた間隔により区切られた重なり度合いと欠陥個数とをキーとして、それぞれ対応する精度を含む。この精度の算出については後述する。記憶装置１０７は、またその精度を算出するための精度算出プログラムと、外観検査装置１００による学習の判断を実行する判断プログラムとを、それぞれ領域２１０，２２０に格納している。なお、外観検査装置１００におけるデータの格納の態様は、図２に示されるものに限られない。
【００４２】
図３を参照して、本実施の形態に係る外観検査装置１００の制御構造について説明する。図３は、外観検査装置１００が備える演算部１１０が実行する処理の手順を表わすフローチャートである。すなわち演算部１１０が各処理を実現するための回路として構成されている場合には、以下の処理は、その回路が所定の動作を開始することにより実行される。また、演算部１１０がＣＰＵにより実現される場合には、当該処理は、各処理を実現するプログラムがそのＣＰＵにより実行された場合に実現される。
【００４３】
ステップＳ３１０にて、演算部１１０は、入力部１１１を介して入力された離散データの入力を受ける。ステップＳ３２０にて、演算部１１０は、離散データの母集団の分布を表わす分布データを算出する。ステップＳ３３０にて、演算部１１０は、算出された分布データに基づいて重なり度合いを算出する。
【００４４】
ステップＳ３４０にて、演算部１１０は、重なり度合いと欠陥個数とに対応する精度を算出する。ステップＳ３５０にて、演算部１１０は、記憶装置１０７の所定の領域に、算出された精度を参照用のテーブル２００として登録する。
【００４５】
図４を参照して、外観検査装置１００の制御構造についてさらに説明する。図４は、画像処理部１０８と主制御部１０９と演算部１１０とによってそれぞれ実行される処理の手順を表わすフローチャートである。なお、以下の処理も、前述のようにハードウェア的に実現されてもよいし、あるいはＣＰＵの動作によって、ソフトウェア的に実現されてもよい。
【００４６】
ステップＳ４０２にて、演算部１１０は、入力部１１１を介してユーザにより要求される要求精度および画像データの入力を受ける。ステップＳ４０４にて、演算部１１０は、入力された画像データに対して予め定められた画像処理を実行し、欠陥の候補を抽出する。
【００４７】
ステップＳ４０６にて、演算部１１０は、抽出された欠陥の候補の画像データから特徴量を抽出する。ここで特徴量とは検査の対象物１０２の画像の特徴として撮影により取得された画像データに基づいて表わされる特徴を評価するためのデータをいう。特徴量は、粒子解析で用いられる計測値、たとえば、周囲長、面積、面積率、円形度係数、等価円直径、０次モーメント、１次モーメント、２次モーメント、最大最低濃度、濃度合計、平均濃度、濃度の標準偏差、水平垂直フェレ径、水平垂直フェレ径比率、最大最小フェレ径、最大フェレ径角度、最大最小フェレ径比率などを含む。
【００４８】
ステップＳ４０８にて、主制御部１０９は、ディスプレイ１０６における表示のために使用されるメモリ領域に特徴量を格納し、ディスプレ１０６にその特徴量を表示される。ステップＳ４１０にて、演算部１１０は、入力部１１１を介して欠陥の候補に対するラベル付け情報の入力を受け付ける。ステップＳ４１２にて、演算部１１０は、ラベル付けされた欠陥候補ごとに、母集団の分布を推定するための処理を実行する。
【００４９】
ステップＳ４１４にて、演算部１１０は、推定された母集団同士の重なり度合いを算出する。ステップＳ４１６にて、演算部１１０は、記憶装置１０７の所定の領域に格納された欠陥情報を読み出す。ステップＳ４１８にて、演算部１１０は、重なり度合いと欠陥情報と欠陥の個数とを用いて、入力された画像データの精度を算出する。
【００５０】
ステップＳ４２０にて、主制御部１０９は、入力された画像データが入力された要求精度を満たすか否かを判断する。この判断は、たとえばステップＳ４０２において入力された要求精度とステップＳ４１８において算出された精度とを比較することにより行なわれる。主制御部１０９が、入力された画像データは要求精度を満たすと判断すると（ステップＳ４２０にてＹＥＳ）、処理はステップＳ４３０に移される。そうでない場合には（ステップＳ４２０にてＮＯ）、処理はステップＳ４２２に移される。
【００５１】
ステップＳ４２２にて、演算部１１０は、入力された要求精度を満たすために必要な学習情報を算出する。ステップＳ４２４にて、主制御部１０９は、算出された学習情報をディスプレイ１０６の所定の領域に表示させるために、表示用メモリ（図示しない）の所定の領域に書き込む。その結果、ディスプレイ１０６は、学習情報を表示する。ステップＳ４３０にて、主制御部１０９は、学習を開始する。その後、処理は終了する。
【００５２】
ここで、図５〜図９を参照して、本実施の形態に係る外観検査装置１００が使用するレシーバオペレーティング特性（以下、ＲＯＣ（Receiver Operating Characteristics））の解析について説明する。図５は、検出された欠陥と検出時における確率密度との関係を表わす図である。
【００５３】
図５を参照して、外観検査装置１００は、ＣＣＤカメラ１０４から入力される画像データに基づいて欠陥を検出する。この検出結果は、真の欠陥５１０と擬似的な欠陥５３０とに分かれて検出される。ここで、擬似的な欠陥（以下、擬似欠陥）とは、欠陥ではないにもかかわらず欠陥であると誤って判断される画像データをいう。この場合、判断基準である識別器５５０を欠陥の検出結果に対して適用することにより、欠陥として識別される領域が特定される。たとえば、この領域は、真の欠陥として認識される領域５２０と、擬似欠陥として識別される領域５４０とを含む。領域５２０の面積は、真の欠陥の認識率として算出される。
【００５４】
図５に示されるように、識別器５５０の値をさらに大きくすると、認識率は低下することになる。この場合、領域５４０の面積も小さくなるため、過検出率もそれに応じて小さくなる。一方、識別器５５０を擬似欠陥５３０の領域に近づけて設定すると、領域５２０の面積は大きくなる一方、領域５４０の面積も同様に大きくなる。すなわち過検出率も上昇することになる。
【００５５】
図６は、過検出率と認識率との関係をＲＯＣ特性を表わすためのＲＯＣ曲線６００として表わした図である。この場合、理想の検出結果は、認識率＝１．０であり、過検出率＝０である。すなわち、図６では左上の点６１０が理想の検出結果である。したがって、ＲＯＣ曲線６１０が左上に近づくほど、検出結果の精度は良くなる。
【００５６】
図７は、ＲＯＣ曲線を表わす平面上において過検出率と認識率との関係を標本の数に応じて表わす図である。標本の数が少ない場合には、破線７１０に示されるように、検出結果を特定するための境界線は、変化の度合いが大きな階段状の形状として表現される。標本の数が増加すると、たとえば点線７２０に示されるように、検出結果を特定するための境界線は、破線７１０よりも変化の程度が小さな階段状の形状として表わされる。すなわち、点線７２０は、破線７１０よりも、全体として点６１０（過検出率＝０、認識率＝１．０）の方向に向かう。
【００５７】
標本の数がさらに増加すると、一点鎖線７３０に示されるように、当該境界線の形状はさらに滑らかになる。仮に標本が無限個存在する場合には、円弧７４０に示されるように、認識率と過検出率とを表わす曲線は滑らかに描かれる。
【００５８】
図８は、外観検査装置１００が使用する分布の重なり度合いを説明するための図である。ここで、分布は、たとえば確率密度により表わされるが、検出結果の度数を表わすヒストグラムであってもよい。
【００５９】
外観検査装置１００が、入力される画像信号に基づいて欠陥の抽出処理を実行すると、抽出結果は、たとえば分布８１０と分布８４０としてそれぞれ表わされる。ここで分布８１０は、擬似欠陥の分布を表わす。分布８４０は、真の欠陥の分布を表わす。それぞれの分布が算出されると、各抽出結果に基づいてそれぞれの分布の平均値８２０，８５０が算出される。
【００６０】
ここで擬似欠陥の分布の標準偏差をσ（１）とすると、平均８２０から３×σ（１）までの領域が、擬似欠陥が存在する範囲として特定される。同様に真の欠陥の分布８４０に対して平均８５０から標準偏差σ（２）だけの領域は、真の欠陥の分布が存在している範囲として特定される。本実施の形態においては、標準偏差σ（１）＞σ（２）である場合のデータが使用されているため、各分布の重なり度合いは、図８に示されるようになる。
【００６１】
図９は、ディスプレイ１０６に表示する学習に必要な情報を算出する手順を説明するための図である。
【００６２】
撮影により取得された画像データに基づいて過検出率と認識率との関係が抽出されると、外観検査装置１００は、学習に必要な情報として、過検出率と認識率と識別器５５０の位置とをそれぞれ特定する。たとえば、点９１０は、過検出率＝Ｆ（１）、認識率＝Ｔ（１）、識別器５５０の位置＝Ｒ（１）として表わされる。
【００６３】
ここで、判断基準を変更するために、識別器５５０の位置をたとえばＲ（２）に移動すると、その領域は点９２０に示されるように、過検出率＝Ｆ（２）、認識率＝Ｔ（２）と表わされる。この場合Ｔ（１）＝Ｔ（２）である。
【００６４】
さらに、識別器５５０の位置がＲ（３）に移動されると、その領域は、点９３０に示されるように、過検出率＝Ｆ（３）、認識率＝Ｔ（３）、識別器の位置＝Ｒ（３）として表わされる。この場合、点９３０における過検出率は、点９２０における過検出率と同じであるため、Ｆ（２）の値とＦ（３）の値とは、同一である。
【００６５】
図１０を参照して、外観検査装置１００における表示態様について説明する。図１０は、ディスプレイ１０６が表示する画面の一態様を表わす図である。
【００６６】
ディスプレイ１０６は、欠陥の分布を表わす図と、真の欠陥および擬似欠陥に対してそれぞれ必要なレベルを表わす画面とを表示する。すなわち外観検査装置１００は、ＣＣＤカメラ１０４により出力される画像信号に基づいて欠陥の抽出処理を実行すると、真の欠陥と擬似欠陥とは、それぞれ標本ごとに表示される。
【００６７】
図１０に示される例では、真の欠陥は「×」として表わされる。擬似欠陥は、「〇」として表わされる。また過検出率と認識率とに影響を与える識別器の範囲は、上限値１０００および下限値１００２がそれぞれ表示される。したがって、領域１０２０が識別器の範囲になる。
【００６８】
各欠陥に対して学習が必要な情報は、たとえば必要最小レベルとして領域１０６２に表示される。領域１０６２に表示されるデータは、真の欠陥１０６０のデータに対応するものとして表示される。同様に、必要最大のレベルは、領域１０１２に表示される。領域１０１２に表示されるデータは、真の欠陥１０１０に対応している。このように、それぞれの値に応じたデータが表示されるため、外観検査装置１００のユーザは、どの程度の学習が必要であるかを容易に判断することができる。具体的には、ユーザは、どのような学習用データが必要であるかを認識することができる。たとえば、学習用データのレベル、たとえば欠陥の強度と数とが表示される。要求精度を満たすような数は、テーブル２００において参照され、そして読み出される。
【００６９】
ここで、図１１を参照して、外観検査装置１００を実現するコンピュータシステム１１００について説明する。図１１は、コンピュータシステム１１００のハードウェア構成を表わすブロック図である。
【００７０】
コンピュータシステム１１００は、相互にデータバスにより接続されたＣＰＵ１１１０と、使用者による指示の入力を受けるマウス１１２０およびキーボード１１３０と、入力されるデータあるいは所定の処理の実行により一時的に生成されるデータを格納するＲＡＭ（Random Access Memory）１１４０と、大容量のデータを不揮発的に格納できるハードディスク１１５０と、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）駆動装置１１６０と、モニタ１１８０と、通信ＩＦ（Interface）１１９０とを含む。ＣＤ−ＲＯＭ駆動装置１１６０には、ＣＤ−ＲＯＭ１１６２が装着される。外観検査装置１００として機能するコンピュータシステム１１００における処理は、各ハードウェアおよびＣＰＵ１１１０により実行されるソフトウェアによって実現される。このようなソフトウェアは、ＲＡＭ１１４０あるいはハードディスク１１５０に記憶されている場合もあれば、ＣＤ−ＲＯＭ１１６２その他の記憶媒体に格納されて流通し、ＣＤ−ＲＯＭ駆動装置１１６０その他の読取装置によりその記憶媒体から読取られて、ハードディスク１１５０に一旦格納される場合もある。そのソフトウェアは、ＲＡＭ１１４０あるいはハードディスク１１５０から読出されて、ＣＰＵ１１１０によって実行される。図１１に示されるコンピュータシステム１１００のハードウェア構成は、一般的なものである。本発明の最も本質的な部分は、ＲＡＭ１１４０、ハードディスク１１５０、ＣＤ−ＲＯＭ１１６２その他の記憶媒体に格納されたソフトウェアであるとも言える。なお、コンピュータシステム１１００の各ハードウェアの動作はそれぞれ周知であるため、詳細な説明は繰り返さない。
【００７１】
図１２を参照して、外観検査装置１００を実現するコンピュータシステム１１００の機能的構成について説明する。図１２は、ＣＰＵ１１１０がソフトウェアの実行により実現される機能の構成を表わす図である。
【００７２】
ＣＰＵ１１１０は、入出力部１２１０と、抽出部１２２０と、特徴量算出部１２３０と、算出部１２４０と、精度算出部１２５０と、判断部１２６０とを含む。
【００７３】
入出力部１２１０は、データバスを介してデータの入力を受ける。また、入出力部１２１０は、ＣＰＵ１１１０内部で生成されたデータをＲＡＭ１１４０に書き込む。抽出部１２２０は、入力された画像データに対して予め定められた画像処理を実行することにより、検査対象物における欠陥の候補を特定するための欠陥候補データを抽出する。特徴量算出部１２３０は、欠陥候補データに基づいて、特徴量を算出する。算出部１２４０は、ラベル付け入力に基づいて、欠陥の候補の分布の重なり度合いを算出する。精度算出部１２５０は、擬似的な欠陥の個数と、真の欠陥の個数と、分布の重なり度合いとに基づいて、特徴量の分布を評価するための精度を算出する。判断部１２６０は、要求精度と算出された精度とに基づいて、画像データの学習を実行する否かを判断する。
【００７４】
以上のようにして、本発明の実施の形態に係る外観検査装置１００によると、学習時前に、学習評価精度が予め見積もられる。外観検査装置１００は、その精度がオペレータの要求する精度となるかどうかを学習前に判断する。外観検査装置１００は要求精度を満たす学習データ数その他学習に必要な情報を表示できるため、当該オペレータは、必要に応じて外観検査装置１００に再学習を実行させることができる。これにより、外観検査装置１００は、被検査物の外観における欠陥の検査を高精度で実現することができる。
【００７５】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【００７６】
【図１】本発明の実施の形態に係る外観検査装置を備える検査システム１０のシステム構成を表わすブロック図である。
【図２】本発明の実施の形態に係る外観検査装置１００の記憶装置１０７におけるデータの格納の一態様を表わす図である。
【図３】本発明の実施の形態に係る外観検査装置１００が実行する処理の手順を表わすフローチャート（その１）である。
【図４】本発明の実施の形態に係る外観検査装置１００が実行する処理の手順を表わすフローチャート（その２）である。
【図５】本発明の実施の形態に係る外観検査装置１００が使用するＲＯＣ解析を説明するための図（その１）である。
【図６】本発明の実施の形態に係る外観検査装置１００が使用するＲＯＣ解析を説明するための図（その２）である。
【図７】本発明の実施の形態に係る外観検査装置１００が使用するＲＯＣ解析を説明するための図（その３）である。
【図８】本発明の実施の形態に係る外観検査装置１００が使用するＲＯＣ解析を説明するための図（その４）である。
【図９】本発明の実施の形態に係る外観検査装置１００が使用するＲＯＣ解析を説明するための図（その５）である。
【図１０】本発明の実施の形態に係る外観検査装置１００のディスプレイ１０６が表示する画面の一態様を表わす図である。
【図１１】本発明の実施の形態に係る外観検査装置１００を実現するコンピュータシステム１１００のハードウェア構成を表わすブロック図である。
【図１２】コンピュータシステム１１００のＣＰＵ１１１０がソフトウェアの実行により実現される機能の構成を表わす図である。
【符号の説明】
【００７７】
１０ 検査システム、１００ 外観検査装置、１０１ ステージ、１０２ 対象物、１０３ 光源、１０４ ＣＣＤカメラ、１０５ コントローラ、１０６ ディスプレイ、１０７ 記憶装置、１０８ 画像処理部、１０９ 主制御部、１１０ 演算部、１１１ 入力部、２００ テーブル、１１００ コンピュータシステム、１１１０ ＣＰＵ、１１２０ マウス、１１３０ キーボード、１１４０ ＲＡＭ、１１５０ ハードディスク、１１６０ ＣＤ-ＲＯＭ駆動装置、１１６２ ＣＤ-ＲＯＭ、１１９０ 通信ＩＦ、１１８０ モニタ。
【特許請求の範囲】
【請求項１】
外部からデータの入力を受ける入力手段を備え、前記データは、検査物の撮像により取得される画像データと、前記検査対象物の画像の特徴として前記画像データに基づいて表わされる特徴量を評価するために要求される要求精度とを含み、
入力された画像データに対して予め定められた画像処理を実行することにより、前記検査対象物における欠陥の候補を特定するための欠陥候補データを抽出する抽出手段と、
前記欠陥候補データに基づいて、前記欠陥の候補の特徴量を算出する特徴量算出手段と、
前記特徴量を表示する表示手段とを備え、
前記入力手段はさらに、前記特徴量に応じて前記欠陥の候補を分類するためのラベル付けが行なわれたデータの入力を受け、前記ラベル付けが行なわれたデータは、前記欠陥の候補を真の欠陥と擬似的な欠陥のいずれかとして分類するためのデータを含み、前記擬似的な欠陥は、前記真の欠陥でない欠陥の候補が欠陥として分類されるものであり、
前記ラベル付け入力に基づいて、前記欠陥の候補の分布の重なり度合いを算出する算出手段と、
前記擬似的な欠陥の個数と、前記真の欠陥の個数と、前記分布の重なり度合いとに基づいて、前記特徴量の分布を評価するための精度を算出する精度算出手段と、
前記要求精度と前記算出された精度とに基づいて、画像データの学習を実行する否かを判断する判断手段と、
前記判断手段による判断の結果を出力する出力手段とを備える、外観検査装置。
【請求項２】
前記算出手段は、
前記ラベル付け入力に基づいて、前記ラベル付けされた欠陥から母集団の分布を推定する推定手段と、
前記母集団の分布に基づいて前記重なり度合いを算出する重複度算出手段とを含む、請求項１に記載の外観検査装置。
【請求項３】
前記判断手段は、
前記算出された精度と前記要求精度とを比較する比較手段と、
前記比較の結果に基づいて、前記学習の開始と、前記学習に必要な情報の算出とのいずれかを選択する選択手段とを含む、請求項１に記載の外観検査装置。
【請求項４】
前記判断手段は、前記算出された精度が前記要求精度を満足する場合に、前記学習を開始すると決定し、
前記外観検査装置は、前記判断手段が前記学習を開始しないと判断した場合に、前記要求精度と前記算出された精度とに基づいて、前記学習のために必要な情報を算出する学習情報算出手段をさらに備え、
前記出力手段は、算出された前記学習のために必要な情報を出力する情報出力手段を含む、請求項１に記載の外観検査装置。
【請求項５】
前記学習情報算出手段は、前記要求精度を満たすために必要な前記特徴量の範囲を示すための通知情報を表示する画像データを算出する生成手段を含み、
前記情報出力手段は、前記画像データに基づいて前記通知情報を表示する表示手段を含む、請求項４に記載の外観検査装置。
【請求項６】
前記外観検査装置は、前記欠陥の候補から、予め定められた基準に基づいて前記真の欠陥および前記擬似的な欠陥を抽出する欠陥抽出手段をさらに備え、
前記生成手段は、前記欠陥抽出手段による抽出処理の結果に基づいて、前記欠陥抽出手段により抽出された真の欠陥の数および擬似的な欠陥の数を表示するための表示データを生成し、
前記表示手段は、前記表示データに基づいて、前記欠陥抽出手段により抽出された真の欠陥の数および擬似的な欠陥の数を表示する、請求項５に記載の外観検査装置。
【請求項７】
前記生成手段は、
前記ラベル付けが行なわれたデータに基づいて、予め定められた第１の評価基準と、前記第１の評価基準と異なる、予め定められた第２の評価基準との関係を示すレシーバオペレーティング特性を表わす曲線を描画するためのデータを算出するデータ算出手段と、
前記曲線を描画するためのデータに基づいて、予め定められた精度を下回る範囲を算出する範囲算出手段と、
前記特徴量の空間に、前記算出された範囲を反映する反映手段と、
前記特徴量の空間に反映された範囲と、画像データから抽出される欠陥に基づいて特定される欠陥の情報とに基づいて、必要とされる特徴量の範囲を示すための範囲データを生成する画像データ生成手段とを含み、
前記表示手段は、前記範囲データに基づいて前記必要とされる特徴量の範囲を表示する、請求項６に記載の外観検査装置。
【請求項８】
前記欠陥の情報は、欠陥の個数を含む、請求項７に記載の外観検査装置。
【請求項９】
前記範囲算出手段は、前記曲線を構成するための複数の線分を特定し、前記複数の線分の各々について、隣接する線分により構成される頂点を特定し、前記特定された頂点の各々について、頂点間の距離を算出し、算出された前記距離をソートし、そして、前記ソートされた距離に基づいて前記予め定められた範囲を下回る範囲を算出する、請求項７に記載の外観検査装置。
【請求項１０】
前記精度算出手段は、前記学習時および前記学習の終了後のいずれかにおいて、前記特徴量の分布を評価するための精度を算出する、請求項１に記載の外観検査装置。
【請求項１１】
外部からデータの入力を受ける入力ステップを備え、前記データは、検査物の撮像により取得される画像データと、前記検査対象物の画像の特徴として前記画像データに基づいて表わされる特徴量を評価するために要求される要求精度とを含み、
入力された画像データに対して予め定められた画像処理を実行することにより、前記検査対象物における欠陥の候補を特定するための欠陥候補データを抽出する抽出ステップと、
前記欠陥候補データに基づいて、前記欠陥の候補の特徴量を算出する特徴量算出ステップと、
前記特徴量を表示する表示ステップと、
前記特徴量に応じて前記欠陥の候補を分類するためのラベル付けが行なわれたデータの入力を受けるステップとを備え、前記ラベル付けが行なわれたデータは、前記欠陥の候補を真の欠陥と擬似的な欠陥のいずれかとして分類するためのデータを含み、前記擬似的な欠陥は、前記真の欠陥でない欠陥の候補が欠陥として分類されるものであり、
前記ラベル付け入力に基づいて、前記欠陥の候補の分布の重なり度合いを算出する算出ステップと、
前記擬似的な欠陥の個数と、前記真の欠陥の個数と、前記分布の重なり度合いとに基づいて、前記特徴量の分布を評価するための精度を算出する精度算出ステップと、
前記要求精度と前記算出された精度とに基づいて、画像データの学習を実行する否かを判断する判断ステップと、
前記判断ステップによる判断の結果を出力する出力ステップとを備える、外観検査方法。
【請求項１２】
前記算出ステップは、
前記ラベル付け入力に基づいて、前記ラベル付けされた欠陥から母集団の分布を推定するステップと、
前記母集団の分布に基づいて前記重なり度合いを算出するステップとを含む、請求項１１に記載の外観検査方法。
【請求項１３】
前記判断ステップは、
前記算出された精度と前記要求精度とを比較するステップと、
前記比較の結果に基づいて、前記学習の開始と、前記学習に必要な情報の算出とのいずれかを選択するステップとを含む、請求項１１に記載の外観検査方法。
【請求項１４】
前記判断ステップは、前記算出された精度が前記要求精度を満足する場合に、前記学習の開始を判断し、
前記外観検査方法は、前記判断ステップが前記学習の開始を判断しない場合に、前記要求精度と前記算出された精度とに基づいて、前記学習のために必要な情報を算出するステップをさらに備え、
前記出力ステップは、算出された前記学習のために必要な情報を出力する、請求項１１に記載の外観検査方法。
【請求項１５】
前記精度算出ステップは、前記学習時および前記学習の終了後のいずれかにおいて、前記特徴量の分布を評価するための精度を算出する、請求項１１に記載の外観検査方法。
【請求項１６】
コンピュータを外観検査装置として機能させるためのプログラムであって、前記プログラムは前記コンピュータに、
外部からデータの入力を受けるステップを実行させ、前記データは、検査物の撮像により取得される画像データと、前記検査対象物の画像の特徴として前記画像データに基づいて表わされる特徴量を評価するために要求される要求精度とを含み、
入力された画像データに対して予め定められた画像処理を実行することにより、前記検査対象物における欠陥の候補を特定するための欠陥候補データを抽出するステップと、
前記欠陥候補データに基づいて、前記特徴量を算出するステップと、
前記特徴量を表示する表示ステップと、
前記特徴量に応じて前記欠陥の候補を分類するためのラベル付けが行なわれたデータの入力を受けるステップとを実行させ、前記ラベル付けが行なわれたデータは、前記欠陥の候補を真の欠陥と擬似的な欠陥のいずれかとして分類するためのデータを含み、前記擬似的な欠陥は、前記真の欠陥でない欠陥の候補が欠陥として分類されるものであり、
前記ラベル付け入力に基づいて、前記欠陥の候補の分布の重なり度合いを算出するステップと、
前記擬似的な欠陥の個数と、前記真の欠陥の個数と、前記分布の重なり度合いとに基づいて、前記特徴量の分布を評価するための精度を算出するステップと、
前記要求精度と前記算出された精度とに基づいて、画像データの学習を実行する否かを判断するステップと、
前記判断ステップによる判断の結果を出力するステップとを実行させる、プログラム。
【請求項１７】
請求項１６に記載のプログラムを格納した、コンピュータ読み取り可能な記録媒体。
【請求項１】
外部からデータの入力を受ける入力手段を備え、前記データは、検査物の撮像により取得される画像データと、前記検査対象物の画像の特徴として前記画像データに基づいて表わされる特徴量を評価するために要求される要求精度とを含み、
入力された画像データに対して予め定められた画像処理を実行することにより、前記検査対象物における欠陥の候補を特定するための欠陥候補データを抽出する抽出手段と、
前記欠陥候補データに基づいて、前記欠陥の候補の特徴量を算出する特徴量算出手段と、
前記特徴量を表示する表示手段とを備え、
前記入力手段はさらに、前記特徴量に応じて前記欠陥の候補を分類するためのラベル付けが行なわれたデータの入力を受け、前記ラベル付けが行なわれたデータは、前記欠陥の候補を真の欠陥と擬似的な欠陥のいずれかとして分類するためのデータを含み、前記擬似的な欠陥は、前記真の欠陥でない欠陥の候補が欠陥として分類されるものであり、
前記ラベル付け入力に基づいて、前記欠陥の候補の分布の重なり度合いを算出する算出手段と、
前記擬似的な欠陥の個数と、前記真の欠陥の個数と、前記分布の重なり度合いとに基づいて、前記特徴量の分布を評価するための精度を算出する精度算出手段と、
前記要求精度と前記算出された精度とに基づいて、画像データの学習を実行する否かを判断する判断手段と、
前記判断手段による判断の結果を出力する出力手段とを備える、外観検査装置。
【請求項２】
前記算出手段は、
前記ラベル付け入力に基づいて、前記ラベル付けされた欠陥から母集団の分布を推定する推定手段と、
前記母集団の分布に基づいて前記重なり度合いを算出する重複度算出手段とを含む、請求項１に記載の外観検査装置。
【請求項３】
前記判断手段は、
前記算出された精度と前記要求精度とを比較する比較手段と、
前記比較の結果に基づいて、前記学習の開始と、前記学習に必要な情報の算出とのいずれかを選択する選択手段とを含む、請求項１に記載の外観検査装置。
【請求項４】
前記判断手段は、前記算出された精度が前記要求精度を満足する場合に、前記学習を開始すると決定し、
前記外観検査装置は、前記判断手段が前記学習を開始しないと判断した場合に、前記要求精度と前記算出された精度とに基づいて、前記学習のために必要な情報を算出する学習情報算出手段をさらに備え、
前記出力手段は、算出された前記学習のために必要な情報を出力する情報出力手段を含む、請求項１に記載の外観検査装置。
【請求項５】
前記学習情報算出手段は、前記要求精度を満たすために必要な前記特徴量の範囲を示すための通知情報を表示する画像データを算出する生成手段を含み、
前記情報出力手段は、前記画像データに基づいて前記通知情報を表示する表示手段を含む、請求項４に記載の外観検査装置。
【請求項６】
前記外観検査装置は、前記欠陥の候補から、予め定められた基準に基づいて前記真の欠陥および前記擬似的な欠陥を抽出する欠陥抽出手段をさらに備え、
前記生成手段は、前記欠陥抽出手段による抽出処理の結果に基づいて、前記欠陥抽出手段により抽出された真の欠陥の数および擬似的な欠陥の数を表示するための表示データを生成し、
前記表示手段は、前記表示データに基づいて、前記欠陥抽出手段により抽出された真の欠陥の数および擬似的な欠陥の数を表示する、請求項５に記載の外観検査装置。
【請求項７】
前記生成手段は、
前記ラベル付けが行なわれたデータに基づいて、予め定められた第１の評価基準と、前記第１の評価基準と異なる、予め定められた第２の評価基準との関係を示すレシーバオペレーティング特性を表わす曲線を描画するためのデータを算出するデータ算出手段と、
前記曲線を描画するためのデータに基づいて、予め定められた精度を下回る範囲を算出する範囲算出手段と、
前記特徴量の空間に、前記算出された範囲を反映する反映手段と、
前記特徴量の空間に反映された範囲と、画像データから抽出される欠陥に基づいて特定される欠陥の情報とに基づいて、必要とされる特徴量の範囲を示すための範囲データを生成する画像データ生成手段とを含み、
前記表示手段は、前記範囲データに基づいて前記必要とされる特徴量の範囲を表示する、請求項６に記載の外観検査装置。
【請求項８】
前記欠陥の情報は、欠陥の個数を含む、請求項７に記載の外観検査装置。
【請求項９】
前記範囲算出手段は、前記曲線を構成するための複数の線分を特定し、前記複数の線分の各々について、隣接する線分により構成される頂点を特定し、前記特定された頂点の各々について、頂点間の距離を算出し、算出された前記距離をソートし、そして、前記ソートされた距離に基づいて前記予め定められた範囲を下回る範囲を算出する、請求項７に記載の外観検査装置。
【請求項１０】
前記精度算出手段は、前記学習時および前記学習の終了後のいずれかにおいて、前記特徴量の分布を評価するための精度を算出する、請求項１に記載の外観検査装置。
【請求項１１】
外部からデータの入力を受ける入力ステップを備え、前記データは、検査物の撮像により取得される画像データと、前記検査対象物の画像の特徴として前記画像データに基づいて表わされる特徴量を評価するために要求される要求精度とを含み、
入力された画像データに対して予め定められた画像処理を実行することにより、前記検査対象物における欠陥の候補を特定するための欠陥候補データを抽出する抽出ステップと、
前記欠陥候補データに基づいて、前記欠陥の候補の特徴量を算出する特徴量算出ステップと、
前記特徴量を表示する表示ステップと、
前記特徴量に応じて前記欠陥の候補を分類するためのラベル付けが行なわれたデータの入力を受けるステップとを備え、前記ラベル付けが行なわれたデータは、前記欠陥の候補を真の欠陥と擬似的な欠陥のいずれかとして分類するためのデータを含み、前記擬似的な欠陥は、前記真の欠陥でない欠陥の候補が欠陥として分類されるものであり、
前記ラベル付け入力に基づいて、前記欠陥の候補の分布の重なり度合いを算出する算出ステップと、
前記擬似的な欠陥の個数と、前記真の欠陥の個数と、前記分布の重なり度合いとに基づいて、前記特徴量の分布を評価するための精度を算出する精度算出ステップと、
前記要求精度と前記算出された精度とに基づいて、画像データの学習を実行する否かを判断する判断ステップと、
前記判断ステップによる判断の結果を出力する出力ステップとを備える、外観検査方法。
【請求項１２】
前記算出ステップは、
前記ラベル付け入力に基づいて、前記ラベル付けされた欠陥から母集団の分布を推定するステップと、
前記母集団の分布に基づいて前記重なり度合いを算出するステップとを含む、請求項１１に記載の外観検査方法。
【請求項１３】
前記判断ステップは、
前記算出された精度と前記要求精度とを比較するステップと、
前記比較の結果に基づいて、前記学習の開始と、前記学習に必要な情報の算出とのいずれかを選択するステップとを含む、請求項１１に記載の外観検査方法。
【請求項１４】
前記判断ステップは、前記算出された精度が前記要求精度を満足する場合に、前記学習の開始を判断し、
前記外観検査方法は、前記判断ステップが前記学習の開始を判断しない場合に、前記要求精度と前記算出された精度とに基づいて、前記学習のために必要な情報を算出するステップをさらに備え、
前記出力ステップは、算出された前記学習のために必要な情報を出力する、請求項１１に記載の外観検査方法。
【請求項１５】
前記精度算出ステップは、前記学習時および前記学習の終了後のいずれかにおいて、前記特徴量の分布を評価するための精度を算出する、請求項１１に記載の外観検査方法。
【請求項１６】
コンピュータを外観検査装置として機能させるためのプログラムであって、前記プログラムは前記コンピュータに、
外部からデータの入力を受けるステップを実行させ、前記データは、検査物の撮像により取得される画像データと、前記検査対象物の画像の特徴として前記画像データに基づいて表わされる特徴量を評価するために要求される要求精度とを含み、
入力された画像データに対して予め定められた画像処理を実行することにより、前記検査対象物における欠陥の候補を特定するための欠陥候補データを抽出するステップと、
前記欠陥候補データに基づいて、前記特徴量を算出するステップと、
前記特徴量を表示する表示ステップと、
前記特徴量に応じて前記欠陥の候補を分類するためのラベル付けが行なわれたデータの入力を受けるステップとを実行させ、前記ラベル付けが行なわれたデータは、前記欠陥の候補を真の欠陥と擬似的な欠陥のいずれかとして分類するためのデータを含み、前記擬似的な欠陥は、前記真の欠陥でない欠陥の候補が欠陥として分類されるものであり、
前記ラベル付け入力に基づいて、前記欠陥の候補の分布の重なり度合いを算出するステップと、
前記擬似的な欠陥の個数と、前記真の欠陥の個数と、前記分布の重なり度合いとに基づいて、前記特徴量の分布を評価するための精度を算出するステップと、
前記要求精度と前記算出された精度とに基づいて、画像データの学習を実行する否かを判断するステップと、
前記判断ステップによる判断の結果を出力するステップとを実行させる、プログラム。
【請求項１７】
請求項１６に記載のプログラムを格納した、コンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１０】
【公開番号】特開２００６−２９２６１５（Ｐ２００６−２９２６１５Ａ）
【公開日】平成１８年１０月２６日（２００６．１０．２６）
【国際特許分類】
【出願番号】特願２００５−１１５７３８（Ｐ２００５−１１５７３８）
【出願日】平成１７年４月１３日（２００５．４．１３）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成１８年１０月２６日（２００６．１０．２６）
【国際特許分類】
【出願日】平成１７年４月１３日（２００５．４．１３）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]