分類装置
【課題】少ない教師サンプルを用いて抽出程度の変化に対する分類性能のロバスト性を確保すること。
【解決手段】画像より欠陥領域を抽出する欠陥領域抽出手段101と、前記欠陥領域が抽出されるべき正解カテゴリを入力する操作手段104と、正解カテゴリが入力された領域に対し、新たな抽出パラメータを設定する抽出パラメータ設定手段108と、前記新たな抽出パラメータを基に欠陥領域を再抽出する欠陥領域抽出手段101と、再抽出結果を基に前記欠陥領域に対して抽出程度が異なる複数の教師データを作成する教師データ作成手段105と、前記教師データを基に分類を行う分類手段107と、を備える。
【解決手段】画像より欠陥領域を抽出する欠陥領域抽出手段101と、前記欠陥領域が抽出されるべき正解カテゴリを入力する操作手段104と、正解カテゴリが入力された領域に対し、新たな抽出パラメータを設定する抽出パラメータ設定手段108と、前記新たな抽出パラメータを基に欠陥領域を再抽出する欠陥領域抽出手段101と、再抽出結果を基に前記欠陥領域に対して抽出程度が異なる複数の教師データを作成する教師データ作成手段105と、前記教師データを基に分類を行う分類手段107と、を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、分類装置に関するものである。
【背景技術】
【0002】
従来より種々の分類装置が知られている。例えば特開平8−21803号公報には、画像内より分類対象となる欠陥領域を抽出し、その領域の面積、周囲長、フェレ径、円径度、重心座標等の特徴量を求め、予め、これら特徴量の入力パターンに対して所定の欠陥種を出力するように学習させたニューラルネットワークを用いて欠陥を分類する装置の構成が開示されている。
【0003】
また、特開平11−344450号公報には、欠陥画像の色情報、形状、サイズ等を基に統計分類を行う分類装置の構成や、教示用データ(教師データ)の作成作業を支援する構成等が示されている。
【特許文献1】特開平8−21803号公報
【特許文献2】特開平11−344450号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
上記した分類装置において、分類対象の領域の大きさ(面積、フェレ径、周囲長等)や形状(円径度、フェレ径比等)に関する特徴量を用いて分類を行う場合、対象領域の抽出が適切でない場合には算出される特徴量の値も適切でなくなり、正確な分類結果は得られない。教師データに関しても同様であり、適切な抽出の後に特徴量を算出して作成しなければ、以後の分類過程において性能の低下を招く要因となってしまう。
【0005】
例えば、図21(A)に示す分類対象領域に対して適切な抽出が行われた場合(図21(B))と、不適切な抽出が行われた場合(図21(C))とでは、算出される特徴量の値は大きく異なり、このような差を含んだ教師データ群を基に分類を行っても正確な分類はなされない。
【0006】
また、一方で、抽出の程度の変化に対する分類性能のロバスト性確保は重要である。多数の教師データが収集される場合には様々な抽出程度のデータが存在するため、抽出程度の変化に対するロバスト性も確保されやすい。しかしながら、教師データが少ない場合には困難である。このような課題に対し有効な解決策を示した分類装置は提案されていない。
【0007】
本発明はこのような課題に着目してなされたものであり、その目的とするところは、少ない教師サンプルを用いて抽出程度の変化に対する分類性能のロバスト性を確保することができる分類装置を提供することにある。
【課題を解決するための手段】
【0008】
上記の目的を達成するために、本発明の一態様に係る分類装置は、画像より領域を抽出する領域抽出手段と、前記領域が抽出されるべき正解カテゴリを入力する操作手段と、正解カテゴリが入力された領域に対し、新たな抽出パラメータを設定する抽出パラメータ設定手段と、前記新たな抽出パラメータを基に領域を再抽出する領域再抽出手段と、再抽出結果を基に前記領域に対して抽出程度が異なる複数の教師データを作成する教師データ作成手段と、前記教師データを基に分類を行う分類手段と、を備える。
【0009】
また、この分類装置において、前記教師データ作成手段は、前記新たな抽出パラメータが設定される前の抽出パラメータを基に抽出された領域と、前記新たな抽出パラメータを基に抽出された領域の大きさ、形状のうち少なくとも一つの変化量を基に、再抽出領域の結果を用いた教師データを作成するか否かを判断するようにしてもよい。
【発明の効果】
【0010】
本発明によれば、少ない教師サンプルを用いて抽出程度の変化に対する分類性能のロバスト性を確保することが可能になる。
【発明を実施するための最良の形態】
【0011】
以下、図面を参照して本発明の実施形態を詳細に説明する。ここでは本発明の実施形態として、半導体ウェハを対象とした欠陥分類装置について説明する。しかしながら、本発明は、画像内の分類対象(例えば細胞)を抽出してその領域の特徴を基に分類を行う他の分類装置にも適用可能である。
【0012】
図1は、本発明の一実施形態に係る欠陥分類装置の構成を示す図であり、検査画像より分類対象となる欠陥領域を抽出する欠陥領域抽出手段101と、抽出結果を表示する表示手段102と、抽出された領域に対する特徴量を算出する特徴量算出手段103と、抽出領域を選択して正解カテゴリを入力するための操作手段104と、教師データを作成する教師データ作成手段105と、教師データを蓄積する教師データ蓄積手段106と、抽出領域を分類する分類手段107と、抽出の程度を変更するための抽出パラメータ設定手段108とから構成され、操作手段104により正解カテゴリを入力された領域に対し、抽出パラメータ設定手段108により抽出の程度を変更しながら、抽出の程度が異なる複数の教師データを作成するものである。
【0013】
なお、検査画像の取得に関する構成に関しては、本発明では特に限定しないため図示しない。また、取得した画像データの保持や各処理に用いられるメモリに関しても特に図示しない。
【0014】
本欠陥分類装置の処理には、教師データ登録過程と分類過程の2つの処理の流れがある。まず、図2及び図3を参照して、教師データ登録過程の処理の流れを説明する。最初に、ここでは、図示されない撮像系を用いて、教師データ作成用の欠陥(教師サンプル)の画像を取得する(ステップS11)。次に、欠陥領域抽出手段101は、取得した検査画像から欠陥領域を抽出する(ステップS12)。
【0015】
欠陥領域抽出の方法としてここでは2通りの方法を示す。第1の方法では、検査画像133(図4の(A))に対して良品レベルの輝度範囲となる閾値を設定し、この閾値を逸脱する輝度を持つ画素の領域を欠陥抽出画像140として抽出する(図4の(B))。ここで、良品レベルの輝度範囲を示す閾値は、予め設定しておいても良いし、画像内の輝度分布を基に適応的に決定しても良い。また、画像内の位置に応じて変化させても良いし、画像内で共通であっても良い(東京大学出版会:画像解析ハンドブック:高木幹夫、下田陽久、監修:502P、2値化、を参照)。
【0016】
第2の方法では、図5の(B)に示すような良品ウェハ画像134(または良品となる一定区画の画像)を保持しておき、この画像と、図5の(A)に示すような検査画像133(または処理対象画像内の対応区画)を位置合わせし、重なり合う画素間の輝度差を求めて差分画像135(図5の(C))を作成し、この差分画像135を用いて上記第1の方法と同様の閾値処理により欠陥領域を抽出する。なお、領域の抽出方法は、分類の対象に応じて変更されるものであり、本発明の内容を限定するものではない。
【0017】
また、半導体ウェハ等では、下地パターンやダイシングラインなどの影響により、領域抽出時に同一の欠陥が分割されて抽出される場合がある。よって必要に応じて、更にモルフォロジー処理((参考):コロナ社:モルフォロジー:小畑秀文著)などを用いて領域を連結する処理を行っても良い。
【0018】
図6の(A),(B)は、モルフォロジー処理(closing処理)を用いた領域連結処理の一例を示している。図6の(A)に示される連続解像不良150やムラ151は領域連結処理によりそれぞれ連結欠陥領域150−1,151−1(図6(B))となる。
【0019】
欠陥領域が抽出された後は、領域の抽出形状が視覚的に速やかに識別可能となるように、表示手段102を用いて表示する(ステップS13)。表示の方法としては、抽出領域を検査画像に重ねて表示したり、抽出した領域の輪郭を検査画像に重ねて表示する等が考えられる。
【0020】
図8は、図7に示す検査画像160に対する抽出結果を、抽出領域形状の重ね合わせにより表示した様子を示す図である。図7の検査画像160に存在する欠陥1〜6の抽出結果はそれぞれ領域1〜6の形状として示されている。また、図9は、図7に示す検査画像160に対する抽出結果を、抽出領域の外形線の重ね合わせにより表示した様子を示す図である。外形線の形状により抽出結果が示されている。なお、表示の際には、重なり部分の詳細が容易に確認できるよう、簡単な操作で、もとの検査画像と切り替えて表示できるようにする。また形状の詳細を容易に確認できるよう表示スケールも可変とする。
【0021】
ここで、ユーザーは操作手段104を操作して、例えばポインタにより指示することにより抽出結果が良好な領域を選択して、その領域の正解カテゴリを入力する(ステップS14)。図10は、領域の選択と正解カテゴリの入力の様子を示している。つまり、ポインタ170により領域1が選択されるとともに、正解カテゴリとして欠陥種Aが入力される様子や、ポインタ170により領域5が選択されるとともに、正解カテゴリとして欠陥種Bが入力される様子を示している。
【0022】
次に、特徴量算出手段103において、正解カテゴリが入力された領域に対する特徴量を算出する(ステップS15)。特徴量に関しては、一般的に領域単体での大きさ、形状、位置、濃度情報に関するものに加え、幾つかの領域による配置構成に関するもの等がある。マクロ検査における特徴量に関しては、本発明人による特開2003−168114号公報に開示されているが、特徴量の算出方法は分類の対象に応じて変更されるものであり、本発明の内容を限定するものではない。
【0023】
特徴量が算出された後は、教師データ作成手段105において教師データを作成する(ステップS16)。ここでの教師データとは、特徴量算出手段103で算出された特徴量情報と、操作手段104を用いて入力された対象領域の正解カテゴリの情報をセットにしたものであり、図11は教師データ(複数)の一例を示している。
【0024】
ステップS16で教師データの作成が行われた後、抽出パラメータ設定手段108において、欠陥領域の抽出のパラメータを、元のパラメータより過剰抽出側に変化させて設定する(ステップS41)。
【0025】
その後、設定されたパラメータに従い、欠陥領域抽出手段101において、対象領域付近を再抽出する(ステップS42)。再抽出する範囲は、対象領域の外接矩形座標やフェレ径を元に決定する方法や、露光区画を考慮して決定する方法などがある。
【0026】
図12は、フェレ径を用いた再抽出範囲決定の様子を示す図である。ここでは、抽出領域200の外接矩形201を求め、そのX方向の長さ(フェレ径X)と、Y方向の長さ(フェレ径Y)を各々2倍の長さとし、外接矩形と中心が同じ矩形を再抽出範囲202と決定している。
【0027】
図13は、露光区画を考慮した再抽出範囲決定の様子を示す図である。この場合は、ます目状の露光区画210において、抽出領域200が存在する露光区画の周囲1区画の範囲を再抽出範囲211と決定している。
【0028】
抽出後は、特徴量算出手段103において、再抽出した領域の特徴量を算出する(ステップS43)。これは図2のステップS15の処理と同様である。特徴量が算出された後は、教師データ作成手段105において、その特徴量を用いて、領域の再抽出の結果が妥当かを判断する(ステップS44)。
【0029】
判断の方法としては抽出領域の大きさや形状を示す特徴量を利用する方法がある。例えば、抽出領域の形状が著しく変化する際には、面積や周囲長、フェレ径比の値もそれに応じて変化する。よって抽出パラメータ変更時の抽出領域の面積、周囲長、フェレ径比の変化量を確認し、この値が閾値以内であれば妥当であると判断する。あるいは再抽出状況を表示してユーザーに判断させても良い。
【0030】
抽出結果が妥当である場合(ステップS44の判断がYES)には、算出した特徴量を用いて教師データを作成する(ステップS45)。これは先に説明したステップS16での処理と同様である。教師データの作成後は、再度ステップS41に戻り、更に抽出パラメータを変更して以後の処理を繰り返す。
【0031】
繰り返しの結果、抽出結果が妥当でなくなった場合(ステップS44の判断がNO)、今度は抽出のパラメータを、元のパラメータより不足抽出側に変化させて設定する(ステップS46)。これ以降のステップS47〜S50は、それぞれステップS42〜S45と同様の処理である。
【0032】
以上の手順により1つの教師サンプルを用いて複数の教師データを作成した後は、それら教師データを、教師データ蓄積手段106に蓄積し(ステップS17)、教師データ登録過程を終了する。
【0033】
図14は、抽出パラメータを、過剰抽出側、不足抽出側に変化させた際の抽出領域形状の変化を示す図である。抽出パラメータを過剰抽出側に変化させた場合、再抽出範囲220内の領域aは、b→c→dのように変化する。また、抽出パラメータを不足抽出側に変化させた場合、再抽出範囲220内の領域aは、e→f→gのように変化する。ここで、d、g以外は抽出が妥当であるとすると、教師サンプルの欠陥1つに対して、a、b、c、e、fの5つの抽出状況の異なる教師データを得ることになる。
【0034】
以上の処理を必要に応じて繰り返すことにより、教師データ登録過程が終了する。
【0035】
なお、本説明では正解カテゴリの入力の後に特徴量の算出を行っているが、先に全ての領域の特徴量算出を行い、後に正解カテゴリが入力された領域のみの特徴量情報を用いて教師データを作成しても良い。また、抽出パラメータの変化量は、事前に静的に設定しても良いし、パラメータ変化により生じる抽出領域の大きさ、形状などの変化量を基に動的に設定しても良い。
【0036】
次に、図15を参照して、分類過程の処理の流れを説明する。分類過程の処理のうち、画像の取得(ステップS21)、欠陥領域の抽出(ステップS22)、欠陥領域に対する特徴量の算出(ステップS23)は、撮像対象が検査用の被検体となるのみで、それぞれ前記した教師データ登録過程のステップS11、S12、S15と同様の処理である。但し、特徴量の算出は全ての抽出領域に対して行う。
【0037】
ステップS23で各欠陥領域の特徴量を算出した後は、分類手段107において、算出した特徴量(分類対象領域データ)と事前に登録されている教師データの特徴量空間内における距離を基に分類を行う(ステップS24)。
【0038】
図16は、教師データを用いて分類を行う方法の1つであるk近傍法による分類の原理を説明するための図である。図16の○、△、□は、それぞれ欠陥種A、欠陥種B、欠陥種Cの教師データの特徴量空間内での位置を示している。これに対しPは分類対象の領域の特徴量空間内での位置である。
【0039】
k近傍法は、対象領域Pに最も近いk個(例では5個(事前設定)の教師データの中で最も多い欠陥種を対象領域の欠陥種とする方法である。例ではキズ3個>解像不良1個>ムラ1個で、キズが最も多いので対象領域=キズと判別する。この方法の場合、特徴空間(N次元)内での2点(xi:教師データ、xj:分類対象)間の距離計算が必要となるが、距離計算法として下記に挙げるもの等がある。
【数1】
【0040】
【数2】
【0041】
【数3】
【0042】
【数4】
【0043】
また、k近傍法以外の方法として、図17に示すように、各欠陥種毎の教師データ分布の代表点(例えば、分布全体の重心や分布をクラスタ分けした際のクラスタ重心など)との距離に基づいて分類する方法がある。この場合、代表点における特徴量l(エル)(1≦l(エル)≦N)の値μlを下記の式により算出し、上記の距離計算を行い、最も距離が近い欠陥種に分類する。
【数5】
【0044】
なお、上記のk近傍法、代表点距離比較法ともに、特徴量数(次元数)が増えるほど計算負荷が大きくなるため、事前に、教師データを主成分分析などして分類に必要な特徴量の算出法を決定し、これに基づく特徴量削減処理を行ってから距離計算を行っても良い。
【0045】
各欠陥領域を分類した後は、分類結果の情報を出力する(ステップS25)。
【0046】
図18は、図1で説明した欠陥分類装置の変形例を示す図である。この変形例は、基本的に図1の構成と同様であるが、図1の表示手段102に表示された画像内の任意の範囲に対して、欠陥領域の抽出の程度をユーザーがインタラクティブに変更可能となっている。
【0047】
図19は、本変形例に係る欠陥分類装置の処理の流れを説明するためのフローチャートである。図19は、図2での処理に追加される処理とその前後の処理に該当する部分のみを図示している。抽出領域形状が表示(ステップS13)された後、ユーザーは抽出の程度を確認し、再抽出が必要か否かを判断する(ステップS31)。
【0048】
再抽出が必要な場合には、操作手段104を用いて、再抽出が必要な範囲と、抽出のためのパラメータ(2値化のための閾値など)を設定する(ステップS32)。当該範囲とパラメータが設定された後は、欠陥領域抽出手段101において、設定内容に基づいた欠陥領域の再抽出が行われる(ステップS33)。欠陥領域の再抽出後は、ステップS13に戻って、抽出領域形状を表示し、再度、ステップS31の判断を行う。
【0049】
以上の流れによりインタラクティブに部分的な範囲の抽出の程度を最適化する。図20は、抽出の程度調整を行う画面の例を示しており、検査画像160に存在する欠陥1〜6のうち、欠陥4が選択された後、スライドバー170を左右にスライドさせてその抽出の程度が調整、最適化される様子が示されている。
【0050】
調整の結果、再抽出の必要がなくなった場合には、抽出が適切な領域に対する正解カテゴリの入力を行い(ステップS14)、以後は先に示した流れにより教師データ登録過程を終了する。
【0051】
以上、本発明の一実施形態によれば、1つの教師サンプルを、許容範囲内の複数の抽出パラメータにより抽出し、各々の抽出状況における特徴量を算出して複数の教師データを作成するため、少ない教師サンプルを用いて抽出程度の変化に対する分類性能のロバスト性を確保することが可能である。
【図面の簡単な説明】
【0052】
【図1】本発明の一実施形態に係る欠陥分類装置の構成を示す図である。
【図2】教師データ登録過程の処理の流れを説明するためのフローチャート(その1)である。
【図3】教師データ登録過程の処理の流れを説明するためのフローチャート(その2)である。
【図4】欠陥領域抽出の第1の方法について説明するための図である。
【図5】欠陥領域抽出の第2の方法について説明するための図である。
【図6】モルフォロジー処理(closing処理)を用いた領域連結処理の一例を説明するための図である。
【図7】処理対象画像の一例を示す図である。
【図8】図6に示す処理対象画像に対する抽出結果を領域重ね合わせにより表示した様子を示す図である。
【図9】図7に示す処理対象画像に対する抽出結果を輪郭重ね合わせにより表示した様子を示す図である。
【図10】領域の選択と正解カテゴリの入力の様子を示す図である。
【図11】教師データ(複数)の一例を示す図である。
【図12】フェレ径を用いた再抽出範囲決定の様子を示す図である。
【図13】露光区画を考慮した再抽出範囲決定の様子を示す図である。
【図14】抽出パラメータを、過剰抽出側、不足抽出側に変化させた際の抽出領域形状の変化を示す図である。
【図15】分類過程の処理の流れを説明するための図である。
【図16】教師データを用いて分類を行う方法の1つであるk近傍法による分類の原理を説明するための図である。
【図17】各欠陥種毎の教師データ分布の代表点との距離に基づく分類方法を説明するための図である。
【図18】図1で説明した本欠陥分類装置の変形例を示す図である。
【図19】本変形例に係る欠陥分類装置の処理の流れを説明するためのフローチャートである。
【図20】抽出の程度調整を行う画面の例を示す図である。
【図21】従来の分類方法の欠点を説明するための図である。
【符号の説明】
【0053】
101 欠陥領域抽出手段
102 表示手段
103 特徴量算出手段
104 操作手段
105 教師データ作成手段
106 教師データ蓄積手段
107 分類手段
108 抽出パラメータ設定手段
【技術分野】
【0001】
本発明は、分類装置に関するものである。
【背景技術】
【0002】
従来より種々の分類装置が知られている。例えば特開平8−21803号公報には、画像内より分類対象となる欠陥領域を抽出し、その領域の面積、周囲長、フェレ径、円径度、重心座標等の特徴量を求め、予め、これら特徴量の入力パターンに対して所定の欠陥種を出力するように学習させたニューラルネットワークを用いて欠陥を分類する装置の構成が開示されている。
【0003】
また、特開平11−344450号公報には、欠陥画像の色情報、形状、サイズ等を基に統計分類を行う分類装置の構成や、教示用データ(教師データ)の作成作業を支援する構成等が示されている。
【特許文献1】特開平8−21803号公報
【特許文献2】特開平11−344450号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
上記した分類装置において、分類対象の領域の大きさ(面積、フェレ径、周囲長等)や形状(円径度、フェレ径比等)に関する特徴量を用いて分類を行う場合、対象領域の抽出が適切でない場合には算出される特徴量の値も適切でなくなり、正確な分類結果は得られない。教師データに関しても同様であり、適切な抽出の後に特徴量を算出して作成しなければ、以後の分類過程において性能の低下を招く要因となってしまう。
【0005】
例えば、図21(A)に示す分類対象領域に対して適切な抽出が行われた場合(図21(B))と、不適切な抽出が行われた場合(図21(C))とでは、算出される特徴量の値は大きく異なり、このような差を含んだ教師データ群を基に分類を行っても正確な分類はなされない。
【0006】
また、一方で、抽出の程度の変化に対する分類性能のロバスト性確保は重要である。多数の教師データが収集される場合には様々な抽出程度のデータが存在するため、抽出程度の変化に対するロバスト性も確保されやすい。しかしながら、教師データが少ない場合には困難である。このような課題に対し有効な解決策を示した分類装置は提案されていない。
【0007】
本発明はこのような課題に着目してなされたものであり、その目的とするところは、少ない教師サンプルを用いて抽出程度の変化に対する分類性能のロバスト性を確保することができる分類装置を提供することにある。
【課題を解決するための手段】
【0008】
上記の目的を達成するために、本発明の一態様に係る分類装置は、画像より領域を抽出する領域抽出手段と、前記領域が抽出されるべき正解カテゴリを入力する操作手段と、正解カテゴリが入力された領域に対し、新たな抽出パラメータを設定する抽出パラメータ設定手段と、前記新たな抽出パラメータを基に領域を再抽出する領域再抽出手段と、再抽出結果を基に前記領域に対して抽出程度が異なる複数の教師データを作成する教師データ作成手段と、前記教師データを基に分類を行う分類手段と、を備える。
【0009】
また、この分類装置において、前記教師データ作成手段は、前記新たな抽出パラメータが設定される前の抽出パラメータを基に抽出された領域と、前記新たな抽出パラメータを基に抽出された領域の大きさ、形状のうち少なくとも一つの変化量を基に、再抽出領域の結果を用いた教師データを作成するか否かを判断するようにしてもよい。
【発明の効果】
【0010】
本発明によれば、少ない教師サンプルを用いて抽出程度の変化に対する分類性能のロバスト性を確保することが可能になる。
【発明を実施するための最良の形態】
【0011】
以下、図面を参照して本発明の実施形態を詳細に説明する。ここでは本発明の実施形態として、半導体ウェハを対象とした欠陥分類装置について説明する。しかしながら、本発明は、画像内の分類対象(例えば細胞)を抽出してその領域の特徴を基に分類を行う他の分類装置にも適用可能である。
【0012】
図1は、本発明の一実施形態に係る欠陥分類装置の構成を示す図であり、検査画像より分類対象となる欠陥領域を抽出する欠陥領域抽出手段101と、抽出結果を表示する表示手段102と、抽出された領域に対する特徴量を算出する特徴量算出手段103と、抽出領域を選択して正解カテゴリを入力するための操作手段104と、教師データを作成する教師データ作成手段105と、教師データを蓄積する教師データ蓄積手段106と、抽出領域を分類する分類手段107と、抽出の程度を変更するための抽出パラメータ設定手段108とから構成され、操作手段104により正解カテゴリを入力された領域に対し、抽出パラメータ設定手段108により抽出の程度を変更しながら、抽出の程度が異なる複数の教師データを作成するものである。
【0013】
なお、検査画像の取得に関する構成に関しては、本発明では特に限定しないため図示しない。また、取得した画像データの保持や各処理に用いられるメモリに関しても特に図示しない。
【0014】
本欠陥分類装置の処理には、教師データ登録過程と分類過程の2つの処理の流れがある。まず、図2及び図3を参照して、教師データ登録過程の処理の流れを説明する。最初に、ここでは、図示されない撮像系を用いて、教師データ作成用の欠陥(教師サンプル)の画像を取得する(ステップS11)。次に、欠陥領域抽出手段101は、取得した検査画像から欠陥領域を抽出する(ステップS12)。
【0015】
欠陥領域抽出の方法としてここでは2通りの方法を示す。第1の方法では、検査画像133(図4の(A))に対して良品レベルの輝度範囲となる閾値を設定し、この閾値を逸脱する輝度を持つ画素の領域を欠陥抽出画像140として抽出する(図4の(B))。ここで、良品レベルの輝度範囲を示す閾値は、予め設定しておいても良いし、画像内の輝度分布を基に適応的に決定しても良い。また、画像内の位置に応じて変化させても良いし、画像内で共通であっても良い(東京大学出版会:画像解析ハンドブック:高木幹夫、下田陽久、監修:502P、2値化、を参照)。
【0016】
第2の方法では、図5の(B)に示すような良品ウェハ画像134(または良品となる一定区画の画像)を保持しておき、この画像と、図5の(A)に示すような検査画像133(または処理対象画像内の対応区画)を位置合わせし、重なり合う画素間の輝度差を求めて差分画像135(図5の(C))を作成し、この差分画像135を用いて上記第1の方法と同様の閾値処理により欠陥領域を抽出する。なお、領域の抽出方法は、分類の対象に応じて変更されるものであり、本発明の内容を限定するものではない。
【0017】
また、半導体ウェハ等では、下地パターンやダイシングラインなどの影響により、領域抽出時に同一の欠陥が分割されて抽出される場合がある。よって必要に応じて、更にモルフォロジー処理((参考):コロナ社:モルフォロジー:小畑秀文著)などを用いて領域を連結する処理を行っても良い。
【0018】
図6の(A),(B)は、モルフォロジー処理(closing処理)を用いた領域連結処理の一例を示している。図6の(A)に示される連続解像不良150やムラ151は領域連結処理によりそれぞれ連結欠陥領域150−1,151−1(図6(B))となる。
【0019】
欠陥領域が抽出された後は、領域の抽出形状が視覚的に速やかに識別可能となるように、表示手段102を用いて表示する(ステップS13)。表示の方法としては、抽出領域を検査画像に重ねて表示したり、抽出した領域の輪郭を検査画像に重ねて表示する等が考えられる。
【0020】
図8は、図7に示す検査画像160に対する抽出結果を、抽出領域形状の重ね合わせにより表示した様子を示す図である。図7の検査画像160に存在する欠陥1〜6の抽出結果はそれぞれ領域1〜6の形状として示されている。また、図9は、図7に示す検査画像160に対する抽出結果を、抽出領域の外形線の重ね合わせにより表示した様子を示す図である。外形線の形状により抽出結果が示されている。なお、表示の際には、重なり部分の詳細が容易に確認できるよう、簡単な操作で、もとの検査画像と切り替えて表示できるようにする。また形状の詳細を容易に確認できるよう表示スケールも可変とする。
【0021】
ここで、ユーザーは操作手段104を操作して、例えばポインタにより指示することにより抽出結果が良好な領域を選択して、その領域の正解カテゴリを入力する(ステップS14)。図10は、領域の選択と正解カテゴリの入力の様子を示している。つまり、ポインタ170により領域1が選択されるとともに、正解カテゴリとして欠陥種Aが入力される様子や、ポインタ170により領域5が選択されるとともに、正解カテゴリとして欠陥種Bが入力される様子を示している。
【0022】
次に、特徴量算出手段103において、正解カテゴリが入力された領域に対する特徴量を算出する(ステップS15)。特徴量に関しては、一般的に領域単体での大きさ、形状、位置、濃度情報に関するものに加え、幾つかの領域による配置構成に関するもの等がある。マクロ検査における特徴量に関しては、本発明人による特開2003−168114号公報に開示されているが、特徴量の算出方法は分類の対象に応じて変更されるものであり、本発明の内容を限定するものではない。
【0023】
特徴量が算出された後は、教師データ作成手段105において教師データを作成する(ステップS16)。ここでの教師データとは、特徴量算出手段103で算出された特徴量情報と、操作手段104を用いて入力された対象領域の正解カテゴリの情報をセットにしたものであり、図11は教師データ(複数)の一例を示している。
【0024】
ステップS16で教師データの作成が行われた後、抽出パラメータ設定手段108において、欠陥領域の抽出のパラメータを、元のパラメータより過剰抽出側に変化させて設定する(ステップS41)。
【0025】
その後、設定されたパラメータに従い、欠陥領域抽出手段101において、対象領域付近を再抽出する(ステップS42)。再抽出する範囲は、対象領域の外接矩形座標やフェレ径を元に決定する方法や、露光区画を考慮して決定する方法などがある。
【0026】
図12は、フェレ径を用いた再抽出範囲決定の様子を示す図である。ここでは、抽出領域200の外接矩形201を求め、そのX方向の長さ(フェレ径X)と、Y方向の長さ(フェレ径Y)を各々2倍の長さとし、外接矩形と中心が同じ矩形を再抽出範囲202と決定している。
【0027】
図13は、露光区画を考慮した再抽出範囲決定の様子を示す図である。この場合は、ます目状の露光区画210において、抽出領域200が存在する露光区画の周囲1区画の範囲を再抽出範囲211と決定している。
【0028】
抽出後は、特徴量算出手段103において、再抽出した領域の特徴量を算出する(ステップS43)。これは図2のステップS15の処理と同様である。特徴量が算出された後は、教師データ作成手段105において、その特徴量を用いて、領域の再抽出の結果が妥当かを判断する(ステップS44)。
【0029】
判断の方法としては抽出領域の大きさや形状を示す特徴量を利用する方法がある。例えば、抽出領域の形状が著しく変化する際には、面積や周囲長、フェレ径比の値もそれに応じて変化する。よって抽出パラメータ変更時の抽出領域の面積、周囲長、フェレ径比の変化量を確認し、この値が閾値以内であれば妥当であると判断する。あるいは再抽出状況を表示してユーザーに判断させても良い。
【0030】
抽出結果が妥当である場合(ステップS44の判断がYES)には、算出した特徴量を用いて教師データを作成する(ステップS45)。これは先に説明したステップS16での処理と同様である。教師データの作成後は、再度ステップS41に戻り、更に抽出パラメータを変更して以後の処理を繰り返す。
【0031】
繰り返しの結果、抽出結果が妥当でなくなった場合(ステップS44の判断がNO)、今度は抽出のパラメータを、元のパラメータより不足抽出側に変化させて設定する(ステップS46)。これ以降のステップS47〜S50は、それぞれステップS42〜S45と同様の処理である。
【0032】
以上の手順により1つの教師サンプルを用いて複数の教師データを作成した後は、それら教師データを、教師データ蓄積手段106に蓄積し(ステップS17)、教師データ登録過程を終了する。
【0033】
図14は、抽出パラメータを、過剰抽出側、不足抽出側に変化させた際の抽出領域形状の変化を示す図である。抽出パラメータを過剰抽出側に変化させた場合、再抽出範囲220内の領域aは、b→c→dのように変化する。また、抽出パラメータを不足抽出側に変化させた場合、再抽出範囲220内の領域aは、e→f→gのように変化する。ここで、d、g以外は抽出が妥当であるとすると、教師サンプルの欠陥1つに対して、a、b、c、e、fの5つの抽出状況の異なる教師データを得ることになる。
【0034】
以上の処理を必要に応じて繰り返すことにより、教師データ登録過程が終了する。
【0035】
なお、本説明では正解カテゴリの入力の後に特徴量の算出を行っているが、先に全ての領域の特徴量算出を行い、後に正解カテゴリが入力された領域のみの特徴量情報を用いて教師データを作成しても良い。また、抽出パラメータの変化量は、事前に静的に設定しても良いし、パラメータ変化により生じる抽出領域の大きさ、形状などの変化量を基に動的に設定しても良い。
【0036】
次に、図15を参照して、分類過程の処理の流れを説明する。分類過程の処理のうち、画像の取得(ステップS21)、欠陥領域の抽出(ステップS22)、欠陥領域に対する特徴量の算出(ステップS23)は、撮像対象が検査用の被検体となるのみで、それぞれ前記した教師データ登録過程のステップS11、S12、S15と同様の処理である。但し、特徴量の算出は全ての抽出領域に対して行う。
【0037】
ステップS23で各欠陥領域の特徴量を算出した後は、分類手段107において、算出した特徴量(分類対象領域データ)と事前に登録されている教師データの特徴量空間内における距離を基に分類を行う(ステップS24)。
【0038】
図16は、教師データを用いて分類を行う方法の1つであるk近傍法による分類の原理を説明するための図である。図16の○、△、□は、それぞれ欠陥種A、欠陥種B、欠陥種Cの教師データの特徴量空間内での位置を示している。これに対しPは分類対象の領域の特徴量空間内での位置である。
【0039】
k近傍法は、対象領域Pに最も近いk個(例では5個(事前設定)の教師データの中で最も多い欠陥種を対象領域の欠陥種とする方法である。例ではキズ3個>解像不良1個>ムラ1個で、キズが最も多いので対象領域=キズと判別する。この方法の場合、特徴空間(N次元)内での2点(xi:教師データ、xj:分類対象)間の距離計算が必要となるが、距離計算法として下記に挙げるもの等がある。
【数1】
【0040】
【数2】
【0041】
【数3】
【0042】
【数4】
【0043】
また、k近傍法以外の方法として、図17に示すように、各欠陥種毎の教師データ分布の代表点(例えば、分布全体の重心や分布をクラスタ分けした際のクラスタ重心など)との距離に基づいて分類する方法がある。この場合、代表点における特徴量l(エル)(1≦l(エル)≦N)の値μlを下記の式により算出し、上記の距離計算を行い、最も距離が近い欠陥種に分類する。
【数5】
【0044】
なお、上記のk近傍法、代表点距離比較法ともに、特徴量数(次元数)が増えるほど計算負荷が大きくなるため、事前に、教師データを主成分分析などして分類に必要な特徴量の算出法を決定し、これに基づく特徴量削減処理を行ってから距離計算を行っても良い。
【0045】
各欠陥領域を分類した後は、分類結果の情報を出力する(ステップS25)。
【0046】
図18は、図1で説明した欠陥分類装置の変形例を示す図である。この変形例は、基本的に図1の構成と同様であるが、図1の表示手段102に表示された画像内の任意の範囲に対して、欠陥領域の抽出の程度をユーザーがインタラクティブに変更可能となっている。
【0047】
図19は、本変形例に係る欠陥分類装置の処理の流れを説明するためのフローチャートである。図19は、図2での処理に追加される処理とその前後の処理に該当する部分のみを図示している。抽出領域形状が表示(ステップS13)された後、ユーザーは抽出の程度を確認し、再抽出が必要か否かを判断する(ステップS31)。
【0048】
再抽出が必要な場合には、操作手段104を用いて、再抽出が必要な範囲と、抽出のためのパラメータ(2値化のための閾値など)を設定する(ステップS32)。当該範囲とパラメータが設定された後は、欠陥領域抽出手段101において、設定内容に基づいた欠陥領域の再抽出が行われる(ステップS33)。欠陥領域の再抽出後は、ステップS13に戻って、抽出領域形状を表示し、再度、ステップS31の判断を行う。
【0049】
以上の流れによりインタラクティブに部分的な範囲の抽出の程度を最適化する。図20は、抽出の程度調整を行う画面の例を示しており、検査画像160に存在する欠陥1〜6のうち、欠陥4が選択された後、スライドバー170を左右にスライドさせてその抽出の程度が調整、最適化される様子が示されている。
【0050】
調整の結果、再抽出の必要がなくなった場合には、抽出が適切な領域に対する正解カテゴリの入力を行い(ステップS14)、以後は先に示した流れにより教師データ登録過程を終了する。
【0051】
以上、本発明の一実施形態によれば、1つの教師サンプルを、許容範囲内の複数の抽出パラメータにより抽出し、各々の抽出状況における特徴量を算出して複数の教師データを作成するため、少ない教師サンプルを用いて抽出程度の変化に対する分類性能のロバスト性を確保することが可能である。
【図面の簡単な説明】
【0052】
【図1】本発明の一実施形態に係る欠陥分類装置の構成を示す図である。
【図2】教師データ登録過程の処理の流れを説明するためのフローチャート(その1)である。
【図3】教師データ登録過程の処理の流れを説明するためのフローチャート(その2)である。
【図4】欠陥領域抽出の第1の方法について説明するための図である。
【図5】欠陥領域抽出の第2の方法について説明するための図である。
【図6】モルフォロジー処理(closing処理)を用いた領域連結処理の一例を説明するための図である。
【図7】処理対象画像の一例を示す図である。
【図8】図6に示す処理対象画像に対する抽出結果を領域重ね合わせにより表示した様子を示す図である。
【図9】図7に示す処理対象画像に対する抽出結果を輪郭重ね合わせにより表示した様子を示す図である。
【図10】領域の選択と正解カテゴリの入力の様子を示す図である。
【図11】教師データ(複数)の一例を示す図である。
【図12】フェレ径を用いた再抽出範囲決定の様子を示す図である。
【図13】露光区画を考慮した再抽出範囲決定の様子を示す図である。
【図14】抽出パラメータを、過剰抽出側、不足抽出側に変化させた際の抽出領域形状の変化を示す図である。
【図15】分類過程の処理の流れを説明するための図である。
【図16】教師データを用いて分類を行う方法の1つであるk近傍法による分類の原理を説明するための図である。
【図17】各欠陥種毎の教師データ分布の代表点との距離に基づく分類方法を説明するための図である。
【図18】図1で説明した本欠陥分類装置の変形例を示す図である。
【図19】本変形例に係る欠陥分類装置の処理の流れを説明するためのフローチャートである。
【図20】抽出の程度調整を行う画面の例を示す図である。
【図21】従来の分類方法の欠点を説明するための図である。
【符号の説明】
【0053】
101 欠陥領域抽出手段
102 表示手段
103 特徴量算出手段
104 操作手段
105 教師データ作成手段
106 教師データ蓄積手段
107 分類手段
108 抽出パラメータ設定手段
【特許請求の範囲】
【請求項1】
画像より領域を抽出する領域抽出手段と、
前記領域が抽出されるべき正解カテゴリを入力する操作手段と、
正解カテゴリが入力された領域に対し、新たな抽出パラメータを設定する抽出パラメータ設定手段と、
前記新たな抽出パラメータを基に領域を再抽出する領域再抽出手段と、
再抽出結果を基に前記領域に対して抽出程度が異なる複数の教師データを作成する教師データ作成手段と、
前記教師データを基に分類を行う分類手段と、
を備えることを特徴とする分類装置。
【請求項2】
前記教師データ作成手段は、前記新たな抽出パラメータが設定される前の抽出パラメータを基に抽出された領域と、前記新たな抽出パラメータを基に抽出された領域の大きさ、形状のうち少なくとも一つの変化量を基に、再抽出領域の結果を用いた教師データを作成するか否かを判断することを特徴とする請求項1記載の分類装置。
【請求項1】
画像より領域を抽出する領域抽出手段と、
前記領域が抽出されるべき正解カテゴリを入力する操作手段と、
正解カテゴリが入力された領域に対し、新たな抽出パラメータを設定する抽出パラメータ設定手段と、
前記新たな抽出パラメータを基に領域を再抽出する領域再抽出手段と、
再抽出結果を基に前記領域に対して抽出程度が異なる複数の教師データを作成する教師データ作成手段と、
前記教師データを基に分類を行う分類手段と、
を備えることを特徴とする分類装置。
【請求項2】
前記教師データ作成手段は、前記新たな抽出パラメータが設定される前の抽出パラメータを基に抽出された領域と、前記新たな抽出パラメータを基に抽出された領域の大きさ、形状のうち少なくとも一つの変化量を基に、再抽出領域の結果を用いた教師データを作成するか否かを判断することを特徴とする請求項1記載の分類装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【公開番号】特開2009−32273(P2009−32273A)
【公開日】平成21年2月12日(2009.2.12)
【国際特許分類】
【出願番号】特願2008−222226(P2008−222226)
【出願日】平成20年8月29日(2008.8.29)
【分割の表示】特願2004−351585(P2004−351585)の分割
【原出願日】平成16年12月3日(2004.12.3)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
【公開日】平成21年2月12日(2009.2.12)
【国際特許分類】
【出願日】平成20年8月29日(2008.8.29)
【分割の表示】特願2004−351585(P2004−351585)の分割
【原出願日】平成16年12月3日(2004.12.3)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
[ Back to top ]