教師データ作成方法、並びに、画像分類方法および画像分類装置
【課題】基板上の欠陥を分類する分類器の学習に使用される教師データの作成において、教師データに利用される欠陥画像のカテゴリの決定を高速かつ適切に行う。
【解決手段】カテゴリが未決定の対象欠陥画像７から一の種類の特徴量Ｕｘおよび２つのカテゴリ８１，８２の典型的な欠陥を示す典型画像８１１，８１２，８２１から当該一の種類の特徴量Ｔｘ１１、Ｔｘ１２、Ｔｘ２１が取得される。次に、特徴量Ｕｘと特徴量Ｔｘ１１、Ｔｘ１２、Ｔｘ２１との３つの特徴量差が求められ、特徴量差が最も小さい典型画像８１１が属するカテゴリ８１に１票が投票される。同様の処理が特徴量の残りの種類についても行われ、カテゴリ８１，８２のうち得票数が多いカテゴリ８１が対象欠陥画像７が属するカテゴリとして決定される。このように、特徴量の種類毎に特徴量差を求めて投票を行うことにより、対象欠陥画像のカテゴリの決定が高速かつ適切に行われる。
【解決手段】カテゴリが未決定の対象欠陥画像７から一の種類の特徴量Ｕｘおよび２つのカテゴリ８１，８２の典型的な欠陥を示す典型画像８１１，８１２，８２１から当該一の種類の特徴量Ｔｘ１１、Ｔｘ１２、Ｔｘ２１が取得される。次に、特徴量Ｕｘと特徴量Ｔｘ１１、Ｔｘ１２、Ｔｘ２１との３つの特徴量差が求められ、特徴量差が最も小さい典型画像８１１が属するカテゴリ８１に１票が投票される。同様の処理が特徴量の残りの種類についても行われ、カテゴリ８１，８２のうち得票数が多いカテゴリ８１が対象欠陥画像７が属するカテゴリとして決定される。このように、特徴量の種類毎に特徴量差を求めて投票を行うことにより、対象欠陥画像のカテゴリの決定が高速かつ適切に行われる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、分類器の学習に使用される教師データを作成する教師データ作成方法、並びに、教師データの作成を伴う画像分類方法および画像分類装置に関する。
【背景技術】
【０００２】
半導体基板、ガラス基板、プリント基板等の製造では、異物や傷、エッチング不良等の欠陥を検査するために光学顕微鏡や走査電子顕微鏡等を用いて外観検査が行われる。従来より、このような検査工程において検出された欠陥に対して、さらに詳細な解析を行うことによりその欠陥の発生原因を特定し、欠陥に対する対策が行われてきた。
【０００３】
近年では、基板上のパターンの複雑化および微細化に伴い、検出される欠陥の種類および数量が増加する傾向にあり、検査工程で検出された欠陥を自動的に分類する自動分類が提案されている。自動分類により欠陥の解析を迅速かつ効率的に行うことが実現され、発生頻度の高い欠陥の種類に注目して優先的に対策を施すことが可能となる。
【０００４】
自動分類では、欠陥を分類する際にニューラルネットワークや決定木、判別分析等を利用した分類器が用いられる。分類器に自動分類を行わせるには、欠陥画像およびそのカテゴリ（すなわち、欠陥画像の種類）を示す信号を含む教師データを用意して分類器を学習させる必要がある。特許文献１では、オペレータがモニタに表示された教示用欠陥画像を観察し、欠陥のカテゴリの一覧表から該当するものを教示用欠陥画像に付与することにより教師データの作成が行われる。
【特許文献１】特開２０００−５７３４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、自動分類の性能は、分類器を学習させる教師データの質に大きく依存する。質が高い教師データを用意するには、操作者による大量かつ正確な教示作業が求められ、多大な労力が必要となる。特許文献１では、教示用欠陥画像に対するカテゴリの付与をオペレータが行う必要があり、教師データの作成を迅速に行うことができない。なお、操作者による教示作業では、操作者の曖昧な判断によるカテゴリの付与により、誤ったカテゴリが付与された欠陥画像を含む教師データが作成されて自動分類の性能が低下するおそれもある。
【０００６】
本発明は上記課題に鑑みなされたものであり、教師データに利用される欠陥画像のカテゴリの決定を高速に行うことを目的としている。
【課題を解決するための手段】
【０００７】
請求項１に記載の発明は、基板上の欠陥を示す欠陥画像を分類する分類器の学習に使用される教師データを作成する教師データ作成方法であって、前記分類器により欠陥画像が分類される複数のカテゴリのそれぞれにおいて、予め典型的な欠陥を示す少なくとも１つの典型画像が指定されており、前記教師データ作成方法が、ａ）未分類の欠陥画像である対象欠陥画像から一の種類の特徴量を取得する工程と、ｂ）全ての典型画像の前記一の種類の特徴量と前記対象欠陥画像の前記一の種類の特徴量との差である複数の特徴量差を求める工程と、ｃ）前記複数の特徴量差のうち最も値の小さいものに対応する典型画像が属するカテゴリに投票を行う工程と、ｄ）前記対象欠陥画像の特徴量の各種類について前記ａ）ないしｃ）工程を行う工程と、ｅ）前記複数のカテゴリのうち得票数が最も多いカテゴリを前記対象欠陥画像が属するカテゴリとして決定する工程とを備える。
【０００８】
請求項２に記載の発明は、請求項１に記載の教師データ作成方法であって、ｆ）前記ｅ）工程において決定されたカテゴリの典型画像に前記対象欠陥画像を加える工程をさらに備える。
【０００９】
請求項３に記載の発明は、請求項１または２に記載の教師データ作成方法であって、前記ｅ）工程において、得票数が最も多いカテゴリと得票数が２番目に多いカテゴリとの得票数の差が所定値以下である場合に、前記対象欠陥画像が未分類のままとされる。
【００１０】
請求項４に記載の発明は、基板上の欠陥を示す欠陥画像を分類する画像分類方法であって、請求項１ないし３のいずれかに記載の教師データ作成方法により作成された教師データを用いて分類器を学習させる工程と、前記分類器により欠陥画像を前記複数のカテゴリのいずれかに分類する工程とを備える。
【００１１】
請求項５に記載の発明は、基板上の欠陥を示す欠陥画像を分類する画像分類装置であって、欠陥画像を分類する分類器の学習に使用される教師データを作成する教師データ作成部と、欠陥画像を分類する分類器とを備え、前記分類器により欠陥画像が分類される複数のカテゴリのそれぞれにおいて、予め典型的な欠陥を示す少なくとも１つの典型画像が指定されており、前記教師データ作成部が、ａ）未分類の欠陥画像である対象欠陥画像から一の種類の特徴量を取得する工程と、ｂ）全ての典型画像の前記一の種類の特徴量と前記対象欠陥画像の前記一の種類の特徴量との差である複数の特徴量差を求める工程と、ｃ）前記複数の特徴量差のうち最も値の小さいものに対応する典型画像が属するカテゴリに投票を行う工程と、ｄ）前記対象欠陥画像の特徴量の各種類について前記ａ）ないしｃ）工程を行う工程と、ｅ）前記複数のカテゴリのうち得票数が最も多いカテゴリを前記対象欠陥画像が属するカテゴリとして決定する工程とを実行する。
【発明の効果】
【００１２】
本発明によれば、典型画像と対象欠陥画像との種類毎の特徴量の差を互いに関連させることなく複数種類の特徴量に関する相違を求め、さらにカテゴリへの投票を利用することにより、教師データに利用される欠陥画像のカテゴリの決定を高速かつ適切に行うことができる。
【００１３】
請求項２の発明では、未分類の対象欠陥画像をより適切なカテゴリに分類することが可能とされ、請求項３の発明では、教師データの質の低下が防止される。
【発明を実施するための最良の形態】
【００１４】
図１は本発明の一の実施の形態に係る画像分類装置１の概略構成を示す図であり、画像分類装置１により半導体基板９（以下、単に「基板９」という。）上の欠陥を示す欠陥画像の分類が行われる。画像分類装置１は基板９上の検査対象領域を撮像する撮像装置２、撮像装置２からの画像データに基づいて欠陥検査を行って欠陥が検出された場合に欠陥が属すべきカテゴリへと欠陥を自動分類する検査・分類装置４、並びに、画像分類装置１の全体動作を制御するとともに検査・分類装置４にて欠陥の分類に利用される分類器４２１を生成するホストコンピュータ５を有する。基板９上に存在する欠陥の種類は、例えば、欠け、突起、断線、ショート、異物であり、これらが欠陥のカテゴリとされる。また、撮像装置２は基板９の製造ラインに組み込まれ、画像分類装置１はいわゆるインライン型のシステムとなっている。
【００１５】
撮像装置２は、基板９上の検査対象領域を撮像して画像データを取得する撮像部２１、基板９を保持するステージ２２、および、撮像部２１に対してステージ２２を相対的に移動するステージ駆動部２３を有し、撮像部２１は、照明光を出射する照明部２１１、基板９に照明光を導くとともに基板９からの光が入射する光学系２１２、および、光学系２１２により結像された基板９の像を電気信号に変換する撮像デバイス２１３を有する。ステージ駆動部２３はボールねじ、ガイドレール、モータ等により構成され、ホストコンピュータ５がステージ駆動部２３および撮像部２１を制御することにより、基板９上の検査対象領域が撮像される。
【００１６】
検査・分類装置４は、検査対象領域の画像データを処理しつつ欠陥を検出する欠陥検出部４１、および、欠陥画像を分類する欠陥自動分類部４２を有する。欠陥検出部４１は検査対象領域の画像データを高速に処理する専用の電気的回路を有し、撮像された画像と欠陥が存在しない参照画像との比較や画像処理により検査対象領域の欠陥検査を行う。欠陥自動分類部４２は各種演算処理を行うＣＰＵや各種情報を記憶するメモリ等により構成され、ニューラルネットワーク、決定木、判別分析等を利用する分類器４２１を用いて欠陥の分類（すなわち、欠陥画像の分類）を実行する。
【００１７】
図２は画像分類装置１による欠陥画像の分類の流れを示す図である。まず、図１に示す撮像装置２が基板９を撮像することにより検査・分類装置４の欠陥検出部４１が画像データを取得する（ステップＳ１１）。次に、欠陥検出部４１が検査対象領域の欠陥検査を行い、欠陥が検出されると（ステップＳ１２）、欠陥部分の画像（すなわち、欠陥画像）のデータが欠陥自動分類部４２へと送信される。欠陥自動分類部４２は欠陥画像の複数種類の特徴量を算出し（ステップＳ１３）、欠陥画像の特徴量が欠陥自動分類部４２の分類器４２１に入力されて分類結果が出力される。すなわち、分類器４２１により欠陥画像が複数のカテゴリのいずれかに分類される（ステップＳ１４）。画像分類装置１では、欠陥検出部４１にて欠陥が検出される毎に特徴量の算出がリアルタイムにて行われ、多数の欠陥画像の自動分類が高速に行われる。
【００１８】
次に、ホストコンピュータ５による分類器の学習について説明する。図３はホストコンピュータ５の構成を示す図である。ホストコンピュータ５は各種演算処理を行うＣＰＵ５１、基本プログラムを記憶するＲＯＭ５２および各種情報を記憶するＲＡＭ５３をバスラインに接続した一般的なコンピュータシステムの構成となっている。バスラインにはさらに、情報記憶を行う固定ディスク５４、画像等の各種情報の表示を行うディスプレイ５５、操作者からの入力を受け付けるキーボード５６ａおよびマウス５６ｂ（以下、「入力部５６」と総称する。）、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ読み取り可能な記録媒体８から情報の読み取りを行う読取装置５７、並びに、画像分類装置１の他の構成との間で信号を送受信する通信部５８が、適宜、インターフェイス（Ｉ／Ｆ）を介する等して接続される。
【００１９】
ホストコンピュータ５には、事前に読取装置５７を介して記録媒体８からプログラム８０が読み出されて固定ディスク５４に記憶され、さらに、プログラム８０はＲＡＭ５３にコピーされるとともにＣＰＵ５１によりＲＡＭ５３内のプログラムに従って演算処理が実行される。
【００２０】
図４はホストコンピュータ５のＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、固定ディスク５４等により実現される分類器を学習させるための機能構成を示すブロック図であり、検査・分類装置４も示している。ホストコンピュータ５は分類器の学習に使用される教師データを作成する教師データ作成部６１および教師データを用いて分類器を学習させる学習部６２を有する。なお、これらの機能は専用の電気回路により構築されてもよく、部分的に専用の電気回路が利用されてもよい。
【００２１】
教師データは欠陥画像のデータ、欠陥画像の特徴量および欠陥のカテゴリを示す情報である教示信号を含み、欠陥画像の特徴量として、例えば、欠陥の面積、明度平均、周囲長、扁平度、欠陥を楕円に近似した場合の長軸の傾き等が採用される。学習部６２では、教師データから読み出された欠陥画像の特徴量がホストコンピュータ５内の分類器（図示省略）に入力され、分類器の出力が欠陥のカテゴリを示す教示信号と同じとなるように学習が行われ、学習結果、すなわち、学習後の分類器４２１（正確には、分類器４２１の構造や変数の値を示す情報）が欠陥自動分類部４２へと転送される。
【００２２】
図５はホストコンピュータ５の教師データ作成部６１の機能構成を示すブロック図であり、ディスプレイ５５、入力部５６および学習部６２も示している。教師データ作成部６１は、欠陥画像のデータおよび欠陥画像に関する各種情報を記憶する記憶部６１１、欠陥画像の特徴量を算出する特徴量算出部６１２、および、欠陥画像が属すべきカテゴリを決定するカテゴリ決定部６１３を有する。
【００２３】
記憶部６１１は、予め準備された多数の欠陥画像を記憶し、これらの欠陥画像の一部は後述するように操作者により各カテゴリに属する典型的な欠陥を示す欠陥画像（以下、「典型画像」という。）に指定されている。なお、欠陥画像は図１に示す撮像装置２および欠陥検出部４１を利用して取得されてもよいし、別途用意されてもよい。カテゴリ決定部６１３は、未分類の欠陥画像（以下、「未教示画像」という。）のカテゴリを典型画像に基づいて自動的に決定し、特徴量算出部６１２は、典型画像および未教示画像の全種類の特徴量を算出する。
【００２４】
図６は記憶部６１１内に記憶されている情報の構造の一部を示す図である。記憶部６１１では、図５に示す特徴量算出部６１２にて算出される欠陥画像の特徴量がその種類と共に欠陥画像のデータに関連付けられて記憶される。また、欠陥画像に対してカテゴリが決定されると当該カテゴリを示すカテゴリ番号が欠陥画像のデータに関連付けられたカテゴリ変数に記憶され、欠陥画像が典型画像に指定されると欠陥画像のデータに関連付けられた典型画像識別変数に１が記憶される。なお、初期状態ではカテゴリ変数および典型画像識別変数には０が記憶されている。
【００２５】
図７および図８はホストコンピュータ５により教師データが作成されて分類器を学習させる流れを示す図である。まず、多数の欠陥画像のデータが図５に示す教師データ作成部６１の記憶部６１１に準備され、特徴量算出部６１２により全ての欠陥画像の全種類の特徴量が算出される（ステップＳ２１）。算出された特徴量は記憶部６１１に記憶される。次に、欠陥画像のデータに従って欠陥画像がディスプレイ上５５に表示され、操作者が各カテゴリにおいて少なくとも１つの典型画像を指定し、典型画像のカテゴリを示す教示信号が入力部５６を介して教師データ作成部６１に入力される（ステップＳ２２）。これにより、典型画像に指定された欠陥画像のデータの図６に示すカテゴリ変数にカテゴリ番号が記憶されるとともに典型画像識別変数に１が記憶される。
【００２６】
典型画像が指定されると、図５に示すカテゴリ決定部６１３が、１つの未教示画像を対象欠陥画像として決定し（ステップＳ２３）、記憶部６１１から当該対象欠陥画像の全種類の特徴量および全ての典型画像の全種類の特徴量を取得する。さらに、対象欠陥画像および全ての典型画像の特徴量の一の種類が選択される（以下、選択された種類の特徴量を「選択特徴量」という。）（ステップＳ２４）。
【００２７】
そして、全ての典型画像の選択特徴量と対象欠陥画像の選択特徴量との差である複数の特徴量差が求められ（各特徴量差は１つの典型画像の選択特徴量と対象欠陥画像の選択特徴量との差である。）（ステップＳ２５）、複数の特徴量差のうち最も値の小さいものが特定されてこれに対応する典型画像が属するカテゴリに１票が投票される（ステップＳ２６）。すなわち、カテゴリ決定部６１３では、予めカテゴリ毎に投票用の変数が割り当てられており当該変数に１が加算される。なお、変数は初期化の際に０とされている。
【００２８】
図９はカテゴリへの投票の具体例を説明する図であり、特徴量を座標値とする特徴量空間における複数の典型画像の位置および対象欠陥画像の位置を例示している。図９では説明の便宜上、特徴量の種類の数およびカテゴリの数をそれぞれ２としているが、実際には、特徴量空間は多数の特徴量の種類により定められ、多数のカテゴリが設定される。また、図９における左側のカテゴリ８１に２つの典型画像８１１，８１２が指定され、右側のカテゴリ８２に１つの典型画像８２１が指定されているものとする。
【００２９】
図９において横軸上の特徴量が選択特徴量として選択されると（ステップＳ２４）、対象欠陥画像７の特徴量Ｕｘとカテゴリ８１の典型画像８１１の特徴量Ｔｘ１１との特徴量差である絶対値｜Ｕｘ−Ｔｘ１１｜、特徴量Ｕｘとカテゴリ８１の典型画像８１２の特徴量Ｔｘ１２との特徴量差である絶対値｜Ｕｘ−Ｔｘ１２｜、および、特徴量Ｕｘとカテゴリ８２の典型画像８２１の特徴量Ｔｘ２１との特徴量差である絶対値｜Ｕｘ−Ｔｘ２１｜が求められる（ステップＳ２５）。これらの特徴量差のうち｜Ｕｘ−Ｔｘ１１｜が最も小さいため、典型画像８１１が属するカテゴリ８１に１票が投票される（ステップＳ２６）。
【００３０】
１回の投票が完了すると、次に、選択特徴量の種類が変更され（ステップＳ２７，Ｓ２４）、全ての典型画像の選択特徴量と対象欠陥画像の選択特徴量との複数の特徴量差が求められ、最も小さい特徴量差に対応する典型画像のカテゴリに１票が投票される（ステップＳ２５，Ｓ２６）。図９の場合、縦軸が示す特徴量が選択特徴量として選択され（ステップＳ２４）、縦軸上の対象欠陥画像７の特徴量Ｕｙとカテゴリ８１の典型画像８１１，８１２の特徴量Ｔｙ１１，Ｔｙ１２、および、カテゴリ８２の典型画像８２１の特徴量Ｔｙ２１との特徴量差である絶対値｜Ｕｙ−Ｔｙ１１｜、｜Ｕｙ−Ｔｙ１２｜、｜Ｕｙ−Ｔｙ２１｜が求められ、これらのうち最も小さい｜Ｕｙ−Ｔｙ１２｜に対応する典型画像８１２が属するカテゴリ８１に１票が投票される。以上の投票の結果、図１０に示すようにカテゴリ８１の得票数が２となり、カテゴリ８２の得票数が０となる。
【００３１】
特徴量の種類の数がｐである特徴量空間にｑ個のカテゴリが設定されている場合、カテゴリへの投票では、まず、対象欠陥画像の特徴量ベクトルＵ＝（Ｕ１、Ｕ２、…、Ｕｐ）の一の種類の特徴量Ｕｋ（ｋは１〜ｐの任意の整数）とカテゴリＣｉの典型画像ｊの特徴量ベクトルＴｉｊ＝（Ｔｉｊ１、Ｔｉｊ２、…、Ｔｉｊｐ）の一の種類の特徴量Ｔｉｊｋとの特徴量差である絶対値｜Ｕｋ−Ｔｉｊｋ｜が計算される。ただし、ｉは１〜ｑの任意の整数であり、ｊはカテゴリＣｉに含まれる典型画像の総数をｒとして１〜ｒの任意の整数である。そして、複数の特徴量差のうち最も小さい特徴量差に対応する典型画像のカテゴリに１票が投票される（ステップＳ２４〜Ｓ２６）。
【００３２】
さらに、対象欠陥画像の特徴量の全種類について投票が行われたか否かが確認され（ステップＳ２７）、投票が行われていない特徴量の種類が存在する場合には、当該種類についてステップＳ２４〜Ｓ２６が行われる。特徴量の全種類について投票が行われると、カテゴリ毎の得票数を示す投票結果（１つのカテゴリが最大ｐ票を獲得する。）が得られる。
【００３３】
投票結果が取得されると、次に、カテゴリ決定部６１３（図５参照）では投票結果に基づいて対象欠陥画像のカテゴリを決定するか否かが判定される（図８：ステップＳ３１）。得票数が最も多いカテゴリと２番目に多いカテゴリとの得票数の差が所定値、例えば、総投票数の１０％より大きい場合には、複数のカテゴリのうち得票数が最も多いカテゴリが対象欠陥画像が属するカテゴリとして決定される（ステップＳ３２）。これにより、図６に示すように記憶部６１１の対象欠陥画像に割り当てられたカテゴリ変数に得票数の最も多いカテゴリを示すカテゴリ番号が記憶される。以下、上記処理により未教示画像のうちカテゴリが決定されたものを「教示済画像」という。なお、決定されたカテゴリは操作者により確認された上で最終的に確定されることが好ましい。
【００３４】
一方、得票数が最も多いカテゴリと得票数が２番目に多いカテゴリとの得票数の差が所定値以下である場合、対象欠陥画像のカテゴリの決定は行われない（すなわち、対象欠陥画像は未分類のままとされる。）。得票数が最も多いカテゴリが２以上存在する場合も対象欠陥画像は未分類のままとされる。
【００３５】
その後、画像分類装置１では、投票処理が行われていない未教示画像が存在するか否かが確認され（ステップＳ３３）、存在する場合には、図５に示す教師データ作成部６１により、次の対象欠陥画像の決定（ステップＳ２３）および既述のステップＳ２４〜Ｓ２７，Ｓ３１が実行されて次の対象欠陥画像に対してカテゴリの決定が適宜行われる（ステップＳ３２）。
【００３６】
全ての未教示画像について投票処理が行われると、教師データ作成部６１の記憶部６１１内に保存される典型画像のデータおよび教示済画像のデータ、並びに、これらの特徴量およびカテゴリの情報が教師データとして学習部６２に転送され、学習部６２にて教師データを用いて分類器の学習が行われる（ステップＳ３４）。すなわち、分類器（図４参照）を構成する変数の値が決定されたり、構造が決定されて分類器が生成される。
【００３７】
以上、画像分類装置１の構成および動作について説明したが、画像分類装置１では、未教示画像である対象欠陥画像のカテゴリの決定の際に、典型画像と対象欠陥画像との種類毎の特徴量の差を互いに関連させることなく複数種類の特徴量に関する相違を求めることにより、仮に当該相違が特徴量空間における典型画像の位置と対象欠陥画像の位置とを結ぶユークリッド距離（全種類の特徴量差を２乗したものの和の平方根）として求められる場合に比べて計算が簡素化される。これにより、未教示画像の分類（すなわち、属するカテゴリの決定）が高速に行われる。また、特徴量の各種類についてカテゴリへの投票を行うことにより、投票が行われなかったカテゴリにはその種類の特徴量の影響が全く及ばず、特徴量の種類毎に独立して計算が行われることとなるため、ユークリッド距離を求めてカテゴリが決定される場合に比べて、特徴量の種類毎の数値範囲のばらつきや特定の種類の特徴量の影響を防止するために全種類の特徴量差のそれぞれを正規化する処理や、分散分析（いわゆる、ＡＮＯＶＡ（analysis of variance））等による不必要な特徴量の種類を排除する処理が不要となる。これにより、未教示画像の分類を高速かつ適切に行うことが実現される。
【００３８】
画像分類装置１では、操作者により複数のカテゴリのそれぞれにおいて予め指定された典型画像に基づいて未教示画像のカテゴリの決定（すなわち、未教示画像の分類）が自動的に行われることから、操作者による教師データ作成作業の負担が軽減される。
【００３９】
さらに、未教示画像である対象欠陥画像のカテゴリを決定するか否かが判定される際に、得票数が最も多いカテゴリと２番目に多いカテゴリとの得票数の差が所定値以下であると対象欠陥画像が未分類のままとされてこの対象欠陥画像が教師データとして利用されないため、教師データの質の低下が防止される。また、画像分類装置１では、操作者が欠陥画像にカテゴリを付与する場合に比べて、誤ったカテゴリに属する欠陥画像の存在が低減されることから、各カテゴリにおいて複数の教示済画像が典型画像を中心としてばらつきの少ない状態で分布し、これにより、分類器の学習を早く終了させることができる。
【００４０】
図１１は画像分類装置１による未教示画像のカテゴリを決定する他の動作の流れの一部を示す図である。図１１に示す動作では、未教示画像である対象欠陥画像に対してカテゴリが決定された後、操作者により当該対象欠陥画像を典型画像に追加するか否かが確認される。カテゴリの決定における他の処理は図７および図８に示す流れと同様である。
【００４１】
図１１に示すステップＳ３２において対象欠陥画像のカテゴリが決定されると（すなわち、対象欠陥画像が教示済画像とされると）、図５に示す記憶部６１１から教示済画像のデータおよびそのカテゴリを示すカテゴリ番号が読み出されてディスプレイ５５上に表示される。そして、決定されたカテゴリの典型画像に教示済画像を加えるか否かが操作者により判断され（ステップＳ４１）、加える指示が入力部５６を介して操作者により行われた場合には、教示済画像に割り当てられた典型画像識別変数（図６参照）に１が記憶される（ステップＳ４２）。その後、他の未教示画像のカテゴリの決定処理へと移行する（ステップＳ３３）。
【００４２】
なお、教示済画像が典型画像に追加されない場合は典型画像識別変数は０のままとされる。また、既述のように、ステップＳ３１において得票数が最も多いカテゴリと得票数が２番目に多いカテゴリの得票数との差が所定値以下である場合に、対象欠陥画像が未分類のままとされ、ステップＳ４１，Ｓ４２は行われない。
【００４３】
画像分類装置１では、教示済画像（のうち適切なもの）が典型画像に加えられることにより、他の未教示画像をより適切なカテゴリに分類することが可能とされる。また、一旦カテゴリが決定されなかった未教示画像に対して、他の教示済画像が典型画像に加えられた後に再度カテゴリの決定処理が行われてよく、さらに、カテゴリの決定処理は、カテゴリが決定可能な欠陥画像がなくなる、すなわち、全てが教示済画像とされたり、最終的に未分類のままとされる未教示画像が残るまで繰り返し行われてもよい。教示済画像を典型画像に加えることなく全ての未教示画像のカテゴリの決定（または未分類の維持の決定）を行った後、教示済画像を典型画像に加えて未教示画像として残っているものに対してカテゴリの決定が再度行われてもよい。
【００４４】
以上、本発明の実施の形態について説明したが、本発明は上記実施の形態に限定されるものではなく、様々な変更が可能である。例えば、上記実施の形態では、教師データに利用される多数の欠陥画像の特徴量が検査・分類装置４にて算出され、ホストコンピュータ５が検査・分類装置４から特徴量を取得してもよい。
【００４５】
上記実施の形態では、予めカテゴリ決定部６１３が記憶部６１１から全種類の特徴量を取得しておき、ステップＳ２４において選択特徴量が選択されるが、投票毎に記憶部６１１から選択特徴量のみが取得されてもよい。さらに、演算対象となる特徴量の種類が選択された段階で、典型画像や対象欠陥画像の選択特徴量が演算により求められてもよい。このように、カテゴリ決定部６１３では、特徴量の一の種類における投票毎に典型画像および対象欠陥画像から選択特徴量を取得する動作と同等であれば、特徴量の算出や準備はどのように行われてもよい。
【００４６】
さらに、教師データからは欠陥画像のデータが省略されてもよく、この場合、欠陥画像を特定する変数が教師データに設けられる。また、教師データから特徴量が省略され、学習部６２において教師データの欠陥画像のデータに基づいて特徴量が求められてもよい。
【００４７】
上記実施の形態では、半導体基板に代えてガラス基板、プリント配線基板あるいは基板の露光に使用するマスク基板等の検査が行われてもよい。
【図面の簡単な説明】
【００４８】
【図１】画像分類装置の構成を示す図である。
【図２】欠陥画像の分類の流れを示す図である。
【図３】ホストコンピュータの構成を示す図である。
【図４】ホストコンピュータの機能構成を示す図である。
【図５】教師データ作成部の機能構成を示す図である。
【図６】教師データ作成部の記憶部内に記憶される情報の構造を示す図である。
【図７】教師データを作成して分類器を学習させる流れを示す図である。
【図８】教師データを作成して分類器を学習させる流れを示す図である。
【図９】特徴量空間における典型画像の位置および対象欠陥画像の位置を例示する図である。
【図１０】カテゴリへの投票の結果を示す図である。
【図１１】対象欠陥画像のカテゴリを決定する他の動作の流れの一部を示す図である。
【符号の説明】
【００４９】
１ 画像分類装置
７ 対象欠陥画像
９ 基板
６１ 教師データ作成部
８１，８２ （欠陥画像の）カテゴリ
４２１ 分類器
８１１，８１２，８２１ 典型画像
Ｓ１１〜Ｓ１４，Ｓ２１〜Ｓ２７，Ｓ３１〜Ｓ３４，Ｓ４１，Ｓ４２ ステップ
【技術分野】
【０００１】
本発明は、分類器の学習に使用される教師データを作成する教師データ作成方法、並びに、教師データの作成を伴う画像分類方法および画像分類装置に関する。
【背景技術】
【０００２】
半導体基板、ガラス基板、プリント基板等の製造では、異物や傷、エッチング不良等の欠陥を検査するために光学顕微鏡や走査電子顕微鏡等を用いて外観検査が行われる。従来より、このような検査工程において検出された欠陥に対して、さらに詳細な解析を行うことによりその欠陥の発生原因を特定し、欠陥に対する対策が行われてきた。
【０００３】
近年では、基板上のパターンの複雑化および微細化に伴い、検出される欠陥の種類および数量が増加する傾向にあり、検査工程で検出された欠陥を自動的に分類する自動分類が提案されている。自動分類により欠陥の解析を迅速かつ効率的に行うことが実現され、発生頻度の高い欠陥の種類に注目して優先的に対策を施すことが可能となる。
【０００４】
自動分類では、欠陥を分類する際にニューラルネットワークや決定木、判別分析等を利用した分類器が用いられる。分類器に自動分類を行わせるには、欠陥画像およびそのカテゴリ（すなわち、欠陥画像の種類）を示す信号を含む教師データを用意して分類器を学習させる必要がある。特許文献１では、オペレータがモニタに表示された教示用欠陥画像を観察し、欠陥のカテゴリの一覧表から該当するものを教示用欠陥画像に付与することにより教師データの作成が行われる。
【特許文献１】特開２０００−５７３４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、自動分類の性能は、分類器を学習させる教師データの質に大きく依存する。質が高い教師データを用意するには、操作者による大量かつ正確な教示作業が求められ、多大な労力が必要となる。特許文献１では、教示用欠陥画像に対するカテゴリの付与をオペレータが行う必要があり、教師データの作成を迅速に行うことができない。なお、操作者による教示作業では、操作者の曖昧な判断によるカテゴリの付与により、誤ったカテゴリが付与された欠陥画像を含む教師データが作成されて自動分類の性能が低下するおそれもある。
【０００６】
本発明は上記課題に鑑みなされたものであり、教師データに利用される欠陥画像のカテゴリの決定を高速に行うことを目的としている。
【課題を解決するための手段】
【０００７】
請求項１に記載の発明は、基板上の欠陥を示す欠陥画像を分類する分類器の学習に使用される教師データを作成する教師データ作成方法であって、前記分類器により欠陥画像が分類される複数のカテゴリのそれぞれにおいて、予め典型的な欠陥を示す少なくとも１つの典型画像が指定されており、前記教師データ作成方法が、ａ）未分類の欠陥画像である対象欠陥画像から一の種類の特徴量を取得する工程と、ｂ）全ての典型画像の前記一の種類の特徴量と前記対象欠陥画像の前記一の種類の特徴量との差である複数の特徴量差を求める工程と、ｃ）前記複数の特徴量差のうち最も値の小さいものに対応する典型画像が属するカテゴリに投票を行う工程と、ｄ）前記対象欠陥画像の特徴量の各種類について前記ａ）ないしｃ）工程を行う工程と、ｅ）前記複数のカテゴリのうち得票数が最も多いカテゴリを前記対象欠陥画像が属するカテゴリとして決定する工程とを備える。
【０００８】
請求項２に記載の発明は、請求項１に記載の教師データ作成方法であって、ｆ）前記ｅ）工程において決定されたカテゴリの典型画像に前記対象欠陥画像を加える工程をさらに備える。
【０００９】
請求項３に記載の発明は、請求項１または２に記載の教師データ作成方法であって、前記ｅ）工程において、得票数が最も多いカテゴリと得票数が２番目に多いカテゴリとの得票数の差が所定値以下である場合に、前記対象欠陥画像が未分類のままとされる。
【００１０】
請求項４に記載の発明は、基板上の欠陥を示す欠陥画像を分類する画像分類方法であって、請求項１ないし３のいずれかに記載の教師データ作成方法により作成された教師データを用いて分類器を学習させる工程と、前記分類器により欠陥画像を前記複数のカテゴリのいずれかに分類する工程とを備える。
【００１１】
請求項５に記載の発明は、基板上の欠陥を示す欠陥画像を分類する画像分類装置であって、欠陥画像を分類する分類器の学習に使用される教師データを作成する教師データ作成部と、欠陥画像を分類する分類器とを備え、前記分類器により欠陥画像が分類される複数のカテゴリのそれぞれにおいて、予め典型的な欠陥を示す少なくとも１つの典型画像が指定されており、前記教師データ作成部が、ａ）未分類の欠陥画像である対象欠陥画像から一の種類の特徴量を取得する工程と、ｂ）全ての典型画像の前記一の種類の特徴量と前記対象欠陥画像の前記一の種類の特徴量との差である複数の特徴量差を求める工程と、ｃ）前記複数の特徴量差のうち最も値の小さいものに対応する典型画像が属するカテゴリに投票を行う工程と、ｄ）前記対象欠陥画像の特徴量の各種類について前記ａ）ないしｃ）工程を行う工程と、ｅ）前記複数のカテゴリのうち得票数が最も多いカテゴリを前記対象欠陥画像が属するカテゴリとして決定する工程とを実行する。
【発明の効果】
【００１２】
本発明によれば、典型画像と対象欠陥画像との種類毎の特徴量の差を互いに関連させることなく複数種類の特徴量に関する相違を求め、さらにカテゴリへの投票を利用することにより、教師データに利用される欠陥画像のカテゴリの決定を高速かつ適切に行うことができる。
【００１３】
請求項２の発明では、未分類の対象欠陥画像をより適切なカテゴリに分類することが可能とされ、請求項３の発明では、教師データの質の低下が防止される。
【発明を実施するための最良の形態】
【００１４】
図１は本発明の一の実施の形態に係る画像分類装置１の概略構成を示す図であり、画像分類装置１により半導体基板９（以下、単に「基板９」という。）上の欠陥を示す欠陥画像の分類が行われる。画像分類装置１は基板９上の検査対象領域を撮像する撮像装置２、撮像装置２からの画像データに基づいて欠陥検査を行って欠陥が検出された場合に欠陥が属すべきカテゴリへと欠陥を自動分類する検査・分類装置４、並びに、画像分類装置１の全体動作を制御するとともに検査・分類装置４にて欠陥の分類に利用される分類器４２１を生成するホストコンピュータ５を有する。基板９上に存在する欠陥の種類は、例えば、欠け、突起、断線、ショート、異物であり、これらが欠陥のカテゴリとされる。また、撮像装置２は基板９の製造ラインに組み込まれ、画像分類装置１はいわゆるインライン型のシステムとなっている。
【００１５】
撮像装置２は、基板９上の検査対象領域を撮像して画像データを取得する撮像部２１、基板９を保持するステージ２２、および、撮像部２１に対してステージ２２を相対的に移動するステージ駆動部２３を有し、撮像部２１は、照明光を出射する照明部２１１、基板９に照明光を導くとともに基板９からの光が入射する光学系２１２、および、光学系２１２により結像された基板９の像を電気信号に変換する撮像デバイス２１３を有する。ステージ駆動部２３はボールねじ、ガイドレール、モータ等により構成され、ホストコンピュータ５がステージ駆動部２３および撮像部２１を制御することにより、基板９上の検査対象領域が撮像される。
【００１６】
検査・分類装置４は、検査対象領域の画像データを処理しつつ欠陥を検出する欠陥検出部４１、および、欠陥画像を分類する欠陥自動分類部４２を有する。欠陥検出部４１は検査対象領域の画像データを高速に処理する専用の電気的回路を有し、撮像された画像と欠陥が存在しない参照画像との比較や画像処理により検査対象領域の欠陥検査を行う。欠陥自動分類部４２は各種演算処理を行うＣＰＵや各種情報を記憶するメモリ等により構成され、ニューラルネットワーク、決定木、判別分析等を利用する分類器４２１を用いて欠陥の分類（すなわち、欠陥画像の分類）を実行する。
【００１７】
図２は画像分類装置１による欠陥画像の分類の流れを示す図である。まず、図１に示す撮像装置２が基板９を撮像することにより検査・分類装置４の欠陥検出部４１が画像データを取得する（ステップＳ１１）。次に、欠陥検出部４１が検査対象領域の欠陥検査を行い、欠陥が検出されると（ステップＳ１２）、欠陥部分の画像（すなわち、欠陥画像）のデータが欠陥自動分類部４２へと送信される。欠陥自動分類部４２は欠陥画像の複数種類の特徴量を算出し（ステップＳ１３）、欠陥画像の特徴量が欠陥自動分類部４２の分類器４２１に入力されて分類結果が出力される。すなわち、分類器４２１により欠陥画像が複数のカテゴリのいずれかに分類される（ステップＳ１４）。画像分類装置１では、欠陥検出部４１にて欠陥が検出される毎に特徴量の算出がリアルタイムにて行われ、多数の欠陥画像の自動分類が高速に行われる。
【００１８】
次に、ホストコンピュータ５による分類器の学習について説明する。図３はホストコンピュータ５の構成を示す図である。ホストコンピュータ５は各種演算処理を行うＣＰＵ５１、基本プログラムを記憶するＲＯＭ５２および各種情報を記憶するＲＡＭ５３をバスラインに接続した一般的なコンピュータシステムの構成となっている。バスラインにはさらに、情報記憶を行う固定ディスク５４、画像等の各種情報の表示を行うディスプレイ５５、操作者からの入力を受け付けるキーボード５６ａおよびマウス５６ｂ（以下、「入力部５６」と総称する。）、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ読み取り可能な記録媒体８から情報の読み取りを行う読取装置５７、並びに、画像分類装置１の他の構成との間で信号を送受信する通信部５８が、適宜、インターフェイス（Ｉ／Ｆ）を介する等して接続される。
【００１９】
ホストコンピュータ５には、事前に読取装置５７を介して記録媒体８からプログラム８０が読み出されて固定ディスク５４に記憶され、さらに、プログラム８０はＲＡＭ５３にコピーされるとともにＣＰＵ５１によりＲＡＭ５３内のプログラムに従って演算処理が実行される。
【００２０】
図４はホストコンピュータ５のＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、固定ディスク５４等により実現される分類器を学習させるための機能構成を示すブロック図であり、検査・分類装置４も示している。ホストコンピュータ５は分類器の学習に使用される教師データを作成する教師データ作成部６１および教師データを用いて分類器を学習させる学習部６２を有する。なお、これらの機能は専用の電気回路により構築されてもよく、部分的に専用の電気回路が利用されてもよい。
【００２１】
教師データは欠陥画像のデータ、欠陥画像の特徴量および欠陥のカテゴリを示す情報である教示信号を含み、欠陥画像の特徴量として、例えば、欠陥の面積、明度平均、周囲長、扁平度、欠陥を楕円に近似した場合の長軸の傾き等が採用される。学習部６２では、教師データから読み出された欠陥画像の特徴量がホストコンピュータ５内の分類器（図示省略）に入力され、分類器の出力が欠陥のカテゴリを示す教示信号と同じとなるように学習が行われ、学習結果、すなわち、学習後の分類器４２１（正確には、分類器４２１の構造や変数の値を示す情報）が欠陥自動分類部４２へと転送される。
【００２２】
図５はホストコンピュータ５の教師データ作成部６１の機能構成を示すブロック図であり、ディスプレイ５５、入力部５６および学習部６２も示している。教師データ作成部６１は、欠陥画像のデータおよび欠陥画像に関する各種情報を記憶する記憶部６１１、欠陥画像の特徴量を算出する特徴量算出部６１２、および、欠陥画像が属すべきカテゴリを決定するカテゴリ決定部６１３を有する。
【００２３】
記憶部６１１は、予め準備された多数の欠陥画像を記憶し、これらの欠陥画像の一部は後述するように操作者により各カテゴリに属する典型的な欠陥を示す欠陥画像（以下、「典型画像」という。）に指定されている。なお、欠陥画像は図１に示す撮像装置２および欠陥検出部４１を利用して取得されてもよいし、別途用意されてもよい。カテゴリ決定部６１３は、未分類の欠陥画像（以下、「未教示画像」という。）のカテゴリを典型画像に基づいて自動的に決定し、特徴量算出部６１２は、典型画像および未教示画像の全種類の特徴量を算出する。
【００２４】
図６は記憶部６１１内に記憶されている情報の構造の一部を示す図である。記憶部６１１では、図５に示す特徴量算出部６１２にて算出される欠陥画像の特徴量がその種類と共に欠陥画像のデータに関連付けられて記憶される。また、欠陥画像に対してカテゴリが決定されると当該カテゴリを示すカテゴリ番号が欠陥画像のデータに関連付けられたカテゴリ変数に記憶され、欠陥画像が典型画像に指定されると欠陥画像のデータに関連付けられた典型画像識別変数に１が記憶される。なお、初期状態ではカテゴリ変数および典型画像識別変数には０が記憶されている。
【００２５】
図７および図８はホストコンピュータ５により教師データが作成されて分類器を学習させる流れを示す図である。まず、多数の欠陥画像のデータが図５に示す教師データ作成部６１の記憶部６１１に準備され、特徴量算出部６１２により全ての欠陥画像の全種類の特徴量が算出される（ステップＳ２１）。算出された特徴量は記憶部６１１に記憶される。次に、欠陥画像のデータに従って欠陥画像がディスプレイ上５５に表示され、操作者が各カテゴリにおいて少なくとも１つの典型画像を指定し、典型画像のカテゴリを示す教示信号が入力部５６を介して教師データ作成部６１に入力される（ステップＳ２２）。これにより、典型画像に指定された欠陥画像のデータの図６に示すカテゴリ変数にカテゴリ番号が記憶されるとともに典型画像識別変数に１が記憶される。
【００２６】
典型画像が指定されると、図５に示すカテゴリ決定部６１３が、１つの未教示画像を対象欠陥画像として決定し（ステップＳ２３）、記憶部６１１から当該対象欠陥画像の全種類の特徴量および全ての典型画像の全種類の特徴量を取得する。さらに、対象欠陥画像および全ての典型画像の特徴量の一の種類が選択される（以下、選択された種類の特徴量を「選択特徴量」という。）（ステップＳ２４）。
【００２７】
そして、全ての典型画像の選択特徴量と対象欠陥画像の選択特徴量との差である複数の特徴量差が求められ（各特徴量差は１つの典型画像の選択特徴量と対象欠陥画像の選択特徴量との差である。）（ステップＳ２５）、複数の特徴量差のうち最も値の小さいものが特定されてこれに対応する典型画像が属するカテゴリに１票が投票される（ステップＳ２６）。すなわち、カテゴリ決定部６１３では、予めカテゴリ毎に投票用の変数が割り当てられており当該変数に１が加算される。なお、変数は初期化の際に０とされている。
【００２８】
図９はカテゴリへの投票の具体例を説明する図であり、特徴量を座標値とする特徴量空間における複数の典型画像の位置および対象欠陥画像の位置を例示している。図９では説明の便宜上、特徴量の種類の数およびカテゴリの数をそれぞれ２としているが、実際には、特徴量空間は多数の特徴量の種類により定められ、多数のカテゴリが設定される。また、図９における左側のカテゴリ８１に２つの典型画像８１１，８１２が指定され、右側のカテゴリ８２に１つの典型画像８２１が指定されているものとする。
【００２９】
図９において横軸上の特徴量が選択特徴量として選択されると（ステップＳ２４）、対象欠陥画像７の特徴量Ｕｘとカテゴリ８１の典型画像８１１の特徴量Ｔｘ１１との特徴量差である絶対値｜Ｕｘ−Ｔｘ１１｜、特徴量Ｕｘとカテゴリ８１の典型画像８１２の特徴量Ｔｘ１２との特徴量差である絶対値｜Ｕｘ−Ｔｘ１２｜、および、特徴量Ｕｘとカテゴリ８２の典型画像８２１の特徴量Ｔｘ２１との特徴量差である絶対値｜Ｕｘ−Ｔｘ２１｜が求められる（ステップＳ２５）。これらの特徴量差のうち｜Ｕｘ−Ｔｘ１１｜が最も小さいため、典型画像８１１が属するカテゴリ８１に１票が投票される（ステップＳ２６）。
【００３０】
１回の投票が完了すると、次に、選択特徴量の種類が変更され（ステップＳ２７，Ｓ２４）、全ての典型画像の選択特徴量と対象欠陥画像の選択特徴量との複数の特徴量差が求められ、最も小さい特徴量差に対応する典型画像のカテゴリに１票が投票される（ステップＳ２５，Ｓ２６）。図９の場合、縦軸が示す特徴量が選択特徴量として選択され（ステップＳ２４）、縦軸上の対象欠陥画像７の特徴量Ｕｙとカテゴリ８１の典型画像８１１，８１２の特徴量Ｔｙ１１，Ｔｙ１２、および、カテゴリ８２の典型画像８２１の特徴量Ｔｙ２１との特徴量差である絶対値｜Ｕｙ−Ｔｙ１１｜、｜Ｕｙ−Ｔｙ１２｜、｜Ｕｙ−Ｔｙ２１｜が求められ、これらのうち最も小さい｜Ｕｙ−Ｔｙ１２｜に対応する典型画像８１２が属するカテゴリ８１に１票が投票される。以上の投票の結果、図１０に示すようにカテゴリ８１の得票数が２となり、カテゴリ８２の得票数が０となる。
【００３１】
特徴量の種類の数がｐである特徴量空間にｑ個のカテゴリが設定されている場合、カテゴリへの投票では、まず、対象欠陥画像の特徴量ベクトルＵ＝（Ｕ１、Ｕ２、…、Ｕｐ）の一の種類の特徴量Ｕｋ（ｋは１〜ｐの任意の整数）とカテゴリＣｉの典型画像ｊの特徴量ベクトルＴｉｊ＝（Ｔｉｊ１、Ｔｉｊ２、…、Ｔｉｊｐ）の一の種類の特徴量Ｔｉｊｋとの特徴量差である絶対値｜Ｕｋ−Ｔｉｊｋ｜が計算される。ただし、ｉは１〜ｑの任意の整数であり、ｊはカテゴリＣｉに含まれる典型画像の総数をｒとして１〜ｒの任意の整数である。そして、複数の特徴量差のうち最も小さい特徴量差に対応する典型画像のカテゴリに１票が投票される（ステップＳ２４〜Ｓ２６）。
【００３２】
さらに、対象欠陥画像の特徴量の全種類について投票が行われたか否かが確認され（ステップＳ２７）、投票が行われていない特徴量の種類が存在する場合には、当該種類についてステップＳ２４〜Ｓ２６が行われる。特徴量の全種類について投票が行われると、カテゴリ毎の得票数を示す投票結果（１つのカテゴリが最大ｐ票を獲得する。）が得られる。
【００３３】
投票結果が取得されると、次に、カテゴリ決定部６１３（図５参照）では投票結果に基づいて対象欠陥画像のカテゴリを決定するか否かが判定される（図８：ステップＳ３１）。得票数が最も多いカテゴリと２番目に多いカテゴリとの得票数の差が所定値、例えば、総投票数の１０％より大きい場合には、複数のカテゴリのうち得票数が最も多いカテゴリが対象欠陥画像が属するカテゴリとして決定される（ステップＳ３２）。これにより、図６に示すように記憶部６１１の対象欠陥画像に割り当てられたカテゴリ変数に得票数の最も多いカテゴリを示すカテゴリ番号が記憶される。以下、上記処理により未教示画像のうちカテゴリが決定されたものを「教示済画像」という。なお、決定されたカテゴリは操作者により確認された上で最終的に確定されることが好ましい。
【００３４】
一方、得票数が最も多いカテゴリと得票数が２番目に多いカテゴリとの得票数の差が所定値以下である場合、対象欠陥画像のカテゴリの決定は行われない（すなわち、対象欠陥画像は未分類のままとされる。）。得票数が最も多いカテゴリが２以上存在する場合も対象欠陥画像は未分類のままとされる。
【００３５】
その後、画像分類装置１では、投票処理が行われていない未教示画像が存在するか否かが確認され（ステップＳ３３）、存在する場合には、図５に示す教師データ作成部６１により、次の対象欠陥画像の決定（ステップＳ２３）および既述のステップＳ２４〜Ｓ２７，Ｓ３１が実行されて次の対象欠陥画像に対してカテゴリの決定が適宜行われる（ステップＳ３２）。
【００３６】
全ての未教示画像について投票処理が行われると、教師データ作成部６１の記憶部６１１内に保存される典型画像のデータおよび教示済画像のデータ、並びに、これらの特徴量およびカテゴリの情報が教師データとして学習部６２に転送され、学習部６２にて教師データを用いて分類器の学習が行われる（ステップＳ３４）。すなわち、分類器（図４参照）を構成する変数の値が決定されたり、構造が決定されて分類器が生成される。
【００３７】
以上、画像分類装置１の構成および動作について説明したが、画像分類装置１では、未教示画像である対象欠陥画像のカテゴリの決定の際に、典型画像と対象欠陥画像との種類毎の特徴量の差を互いに関連させることなく複数種類の特徴量に関する相違を求めることにより、仮に当該相違が特徴量空間における典型画像の位置と対象欠陥画像の位置とを結ぶユークリッド距離（全種類の特徴量差を２乗したものの和の平方根）として求められる場合に比べて計算が簡素化される。これにより、未教示画像の分類（すなわち、属するカテゴリの決定）が高速に行われる。また、特徴量の各種類についてカテゴリへの投票を行うことにより、投票が行われなかったカテゴリにはその種類の特徴量の影響が全く及ばず、特徴量の種類毎に独立して計算が行われることとなるため、ユークリッド距離を求めてカテゴリが決定される場合に比べて、特徴量の種類毎の数値範囲のばらつきや特定の種類の特徴量の影響を防止するために全種類の特徴量差のそれぞれを正規化する処理や、分散分析（いわゆる、ＡＮＯＶＡ（analysis of variance））等による不必要な特徴量の種類を排除する処理が不要となる。これにより、未教示画像の分類を高速かつ適切に行うことが実現される。
【００３８】
画像分類装置１では、操作者により複数のカテゴリのそれぞれにおいて予め指定された典型画像に基づいて未教示画像のカテゴリの決定（すなわち、未教示画像の分類）が自動的に行われることから、操作者による教師データ作成作業の負担が軽減される。
【００３９】
さらに、未教示画像である対象欠陥画像のカテゴリを決定するか否かが判定される際に、得票数が最も多いカテゴリと２番目に多いカテゴリとの得票数の差が所定値以下であると対象欠陥画像が未分類のままとされてこの対象欠陥画像が教師データとして利用されないため、教師データの質の低下が防止される。また、画像分類装置１では、操作者が欠陥画像にカテゴリを付与する場合に比べて、誤ったカテゴリに属する欠陥画像の存在が低減されることから、各カテゴリにおいて複数の教示済画像が典型画像を中心としてばらつきの少ない状態で分布し、これにより、分類器の学習を早く終了させることができる。
【００４０】
図１１は画像分類装置１による未教示画像のカテゴリを決定する他の動作の流れの一部を示す図である。図１１に示す動作では、未教示画像である対象欠陥画像に対してカテゴリが決定された後、操作者により当該対象欠陥画像を典型画像に追加するか否かが確認される。カテゴリの決定における他の処理は図７および図８に示す流れと同様である。
【００４１】
図１１に示すステップＳ３２において対象欠陥画像のカテゴリが決定されると（すなわち、対象欠陥画像が教示済画像とされると）、図５に示す記憶部６１１から教示済画像のデータおよびそのカテゴリを示すカテゴリ番号が読み出されてディスプレイ５５上に表示される。そして、決定されたカテゴリの典型画像に教示済画像を加えるか否かが操作者により判断され（ステップＳ４１）、加える指示が入力部５６を介して操作者により行われた場合には、教示済画像に割り当てられた典型画像識別変数（図６参照）に１が記憶される（ステップＳ４２）。その後、他の未教示画像のカテゴリの決定処理へと移行する（ステップＳ３３）。
【００４２】
なお、教示済画像が典型画像に追加されない場合は典型画像識別変数は０のままとされる。また、既述のように、ステップＳ３１において得票数が最も多いカテゴリと得票数が２番目に多いカテゴリの得票数との差が所定値以下である場合に、対象欠陥画像が未分類のままとされ、ステップＳ４１，Ｓ４２は行われない。
【００４３】
画像分類装置１では、教示済画像（のうち適切なもの）が典型画像に加えられることにより、他の未教示画像をより適切なカテゴリに分類することが可能とされる。また、一旦カテゴリが決定されなかった未教示画像に対して、他の教示済画像が典型画像に加えられた後に再度カテゴリの決定処理が行われてよく、さらに、カテゴリの決定処理は、カテゴリが決定可能な欠陥画像がなくなる、すなわち、全てが教示済画像とされたり、最終的に未分類のままとされる未教示画像が残るまで繰り返し行われてもよい。教示済画像を典型画像に加えることなく全ての未教示画像のカテゴリの決定（または未分類の維持の決定）を行った後、教示済画像を典型画像に加えて未教示画像として残っているものに対してカテゴリの決定が再度行われてもよい。
【００４４】
以上、本発明の実施の形態について説明したが、本発明は上記実施の形態に限定されるものではなく、様々な変更が可能である。例えば、上記実施の形態では、教師データに利用される多数の欠陥画像の特徴量が検査・分類装置４にて算出され、ホストコンピュータ５が検査・分類装置４から特徴量を取得してもよい。
【００４５】
上記実施の形態では、予めカテゴリ決定部６１３が記憶部６１１から全種類の特徴量を取得しておき、ステップＳ２４において選択特徴量が選択されるが、投票毎に記憶部６１１から選択特徴量のみが取得されてもよい。さらに、演算対象となる特徴量の種類が選択された段階で、典型画像や対象欠陥画像の選択特徴量が演算により求められてもよい。このように、カテゴリ決定部６１３では、特徴量の一の種類における投票毎に典型画像および対象欠陥画像から選択特徴量を取得する動作と同等であれば、特徴量の算出や準備はどのように行われてもよい。
【００４６】
さらに、教師データからは欠陥画像のデータが省略されてもよく、この場合、欠陥画像を特定する変数が教師データに設けられる。また、教師データから特徴量が省略され、学習部６２において教師データの欠陥画像のデータに基づいて特徴量が求められてもよい。
【００４７】
上記実施の形態では、半導体基板に代えてガラス基板、プリント配線基板あるいは基板の露光に使用するマスク基板等の検査が行われてもよい。
【図面の簡単な説明】
【００４８】
【図１】画像分類装置の構成を示す図である。
【図２】欠陥画像の分類の流れを示す図である。
【図３】ホストコンピュータの構成を示す図である。
【図４】ホストコンピュータの機能構成を示す図である。
【図５】教師データ作成部の機能構成を示す図である。
【図６】教師データ作成部の記憶部内に記憶される情報の構造を示す図である。
【図７】教師データを作成して分類器を学習させる流れを示す図である。
【図８】教師データを作成して分類器を学習させる流れを示す図である。
【図９】特徴量空間における典型画像の位置および対象欠陥画像の位置を例示する図である。
【図１０】カテゴリへの投票の結果を示す図である。
【図１１】対象欠陥画像のカテゴリを決定する他の動作の流れの一部を示す図である。
【符号の説明】
【００４９】
１ 画像分類装置
７ 対象欠陥画像
９ 基板
６１ 教師データ作成部
８１，８２ （欠陥画像の）カテゴリ
４２１ 分類器
８１１，８１２，８２１ 典型画像
Ｓ１１〜Ｓ１４，Ｓ２１〜Ｓ２７，Ｓ３１〜Ｓ３４，Ｓ４１，Ｓ４２ ステップ
【特許請求の範囲】
【請求項１】
基板上の欠陥を示す欠陥画像を分類する分類器の学習に使用される教師データを作成する教師データ作成方法であって、
前記分類器により欠陥画像が分類される複数のカテゴリのそれぞれにおいて、予め典型的な欠陥を示す少なくとも１つの典型画像が指定されており、
前記教師データ作成方法が、
ａ）未分類の欠陥画像である対象欠陥画像から一の種類の特徴量を取得する工程と、
ｂ）全ての典型画像の前記一の種類の特徴量と前記対象欠陥画像の前記一の種類の特徴量との差である複数の特徴量差を求める工程と、
ｃ）前記複数の特徴量差のうち最も値の小さいものに対応する典型画像が属するカテゴリに投票を行う工程と、
ｄ）前記対象欠陥画像の特徴量の各種類について前記ａ）ないしｃ）工程を行う工程と、
ｅ）前記複数のカテゴリのうち得票数が最も多いカテゴリを前記対象欠陥画像が属するカテゴリとして決定する工程と、
を備えることを特徴とする教師データ作成方法。
【請求項２】
請求項１に記載の教師データ作成方法であって、
ｆ）前記ｅ）工程において決定されたカテゴリの典型画像に前記対象欠陥画像を加える工程をさらに備えることを特徴とする教師データ作成方法。
【請求項３】
請求項１または２に記載の教師データ作成方法であって、
前記ｅ）工程において、得票数が最も多いカテゴリと得票数が２番目に多いカテゴリとの得票数の差が所定値以下である場合に、前記対象欠陥画像が未分類のままとされることを特徴とする教師データ作成方法。
【請求項４】
基板上の欠陥を示す欠陥画像を分類する画像分類方法であって、
請求項１ないし３のいずれかに記載の教師データ作成方法により作成された教師データを用いて分類器を学習させる工程と、
前記分類器により欠陥画像を前記複数のカテゴリのいずれかに分類する工程と、
を備えることを特徴とする画像分類方法。
【請求項５】
基板上の欠陥を示す欠陥画像を分類する画像分類装置であって、
欠陥画像を分類する分類器の学習に使用される教師データを作成する教師データ作成部と、
欠陥画像を分類する分類器と、
を備え、
前記分類器により欠陥画像が分類される複数のカテゴリのそれぞれにおいて、予め典型的な欠陥を示す少なくとも１つの典型画像が指定されており、
前記教師データ作成部が、
ａ）未分類の欠陥画像である対象欠陥画像から一の種類の特徴量を取得する工程と、
ｂ）全ての典型画像の前記一の種類の特徴量と前記対象欠陥画像の前記一の種類の特徴量との差である複数の特徴量差を求める工程と、
ｃ）前記複数の特徴量差のうち最も値の小さいものに対応する典型画像が属するカテゴリに投票を行う工程と、
ｄ）前記対象欠陥画像の特徴量の各種類について前記ａ）ないしｃ）工程を行う工程と、
ｅ）前記複数のカテゴリのうち得票数が最も多いカテゴリを前記対象欠陥画像が属するカテゴリとして決定する工程と、
を実行することを特徴とする画像分類装置。
【請求項１】
基板上の欠陥を示す欠陥画像を分類する分類器の学習に使用される教師データを作成する教師データ作成方法であって、
前記分類器により欠陥画像が分類される複数のカテゴリのそれぞれにおいて、予め典型的な欠陥を示す少なくとも１つの典型画像が指定されており、
前記教師データ作成方法が、
ａ）未分類の欠陥画像である対象欠陥画像から一の種類の特徴量を取得する工程と、
ｂ）全ての典型画像の前記一の種類の特徴量と前記対象欠陥画像の前記一の種類の特徴量との差である複数の特徴量差を求める工程と、
ｃ）前記複数の特徴量差のうち最も値の小さいものに対応する典型画像が属するカテゴリに投票を行う工程と、
ｄ）前記対象欠陥画像の特徴量の各種類について前記ａ）ないしｃ）工程を行う工程と、
ｅ）前記複数のカテゴリのうち得票数が最も多いカテゴリを前記対象欠陥画像が属するカテゴリとして決定する工程と、
を備えることを特徴とする教師データ作成方法。
【請求項２】
請求項１に記載の教師データ作成方法であって、
ｆ）前記ｅ）工程において決定されたカテゴリの典型画像に前記対象欠陥画像を加える工程をさらに備えることを特徴とする教師データ作成方法。
【請求項３】
請求項１または２に記載の教師データ作成方法であって、
前記ｅ）工程において、得票数が最も多いカテゴリと得票数が２番目に多いカテゴリとの得票数の差が所定値以下である場合に、前記対象欠陥画像が未分類のままとされることを特徴とする教師データ作成方法。
【請求項４】
基板上の欠陥を示す欠陥画像を分類する画像分類方法であって、
請求項１ないし３のいずれかに記載の教師データ作成方法により作成された教師データを用いて分類器を学習させる工程と、
前記分類器により欠陥画像を前記複数のカテゴリのいずれかに分類する工程と、
を備えることを特徴とする画像分類方法。
【請求項５】
基板上の欠陥を示す欠陥画像を分類する画像分類装置であって、
欠陥画像を分類する分類器の学習に使用される教師データを作成する教師データ作成部と、
欠陥画像を分類する分類器と、
を備え、
前記分類器により欠陥画像が分類される複数のカテゴリのそれぞれにおいて、予め典型的な欠陥を示す少なくとも１つの典型画像が指定されており、
前記教師データ作成部が、
ａ）未分類の欠陥画像である対象欠陥画像から一の種類の特徴量を取得する工程と、
ｂ）全ての典型画像の前記一の種類の特徴量と前記対象欠陥画像の前記一の種類の特徴量との差である複数の特徴量差を求める工程と、
ｃ）前記複数の特徴量差のうち最も値の小さいものに対応する典型画像が属するカテゴリに投票を行う工程と、
ｄ）前記対象欠陥画像の特徴量の各種類について前記ａ）ないしｃ）工程を行う工程と、
ｅ）前記複数のカテゴリのうち得票数が最も多いカテゴリを前記対象欠陥画像が属するカテゴリとして決定する工程と、
を実行することを特徴とする画像分類装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１０−７１８２６（Ｐ２０１０−７１８２６Ａ）
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願番号】特願２００８−２４０１４６（Ｐ２００８−２４０１４６）
【出願日】平成２０年９月１９日（２００８．９．１９）
【出願人】（０００２０７５５１）大日本スクリーン製造株式会社 (2,640)
【Ｆターム（参考）】
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願日】平成２０年９月１９日（２００８．９．１９）
【出願人】（０００２０７５５１）大日本スクリーン製造株式会社 (2,640)
【Ｆターム（参考）】
[ Back to top ]