画像検索装置、画像検索システム、画像検索方法、および画像検索方法を実行するためのプログラム
【課題】特に半導体欠陥レビュー装置において、検索基準となる画像に対する類似画像を、簡単かつ高速に検索し、類似度順に出力する。
【解決手段】画像に付帯する情報、例えば、取得日時、取得条件、画像以外の情報を解析した結果、ユーザによるコメントなどを、テキスト情報として画像と対応させて保存する機能を有し、これら付帯情報のキーワード検索により類似画像候補を限定した後、画像の特徴量に基づき検索基準画像に対する類似度を算出し、類似度順に検索結果を出力する。
【解決手段】画像に付帯する情報、例えば、取得日時、取得条件、画像以外の情報を解析した結果、ユーザによるコメントなどを、テキスト情報として画像と対応させて保存する機能を有し、これら付帯情報のキーワード検索により類似画像候補を限定した後、画像の特徴量に基づき検索基準画像に対する類似度を算出し、類似度順に検索結果を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データベースから類似画像を高速に検索する方法、及び装置に関するものである。特に、例えば半導体欠陥レビュー装置やレビュー機能つき検査装置のように、大量の画像データから類似画像を検索して出力することが望まれる観察装置に適用可能なものである。
【背景技術】
【０００２】
半導体製造において高い歩留を確保するためには、製造工程で発生する欠陥を早期に発見して、対策を施すことが重要である。近年、半導体の微細化にともない歩留に影響を与える欠陥も多様化しており、対策検討に必要とされる情報も増加している。
【０００３】
半導体欠陥レビュー装置はこのような多様な情報を取得するための装置であり、ウェーハ上の欠陥分布（以下ウェーハマップ）、各種電子顕微鏡画像（以下ＳＥＭ画像）、光学顕微鏡画像（以下ＯＭ画像）、ＥＤＸスペクトル画像（以下ＥＤＸ結果）、欠陥分類結果（以下ＡＤＣ結果。本来ＡＤＣは欠陥自動分類の意味であるが、ここではマニュアルでの分類結果も含めてＡＤＣ結果と表現する）、欠陥サイズ分布（以下サイズ分布）などを出力することができる。更にＳＥＭ画像には、上方検出器画像（以下Ｔｏｐ画像）、左方検出器画像（以下Ｌｅｆｔ画像）、右方検出器画像（以下Ｒｉｇｈｔ画像）、傾斜画像（以下Ｔｉｌｔ画像）などがある。他にも、対策検討に必要とされる情報として、各種ＳＥＭ画像の倍率や光学条件などを記載した付帯情報や、データ解析後に行った対策検討結果などの情報を記した追加情報などがある。
【０００４】
半導体欠陥レビュー装置を使用した半導体製造プロセス管理において、欠陥数の増加や特定欠陥の発生など、対策を要する問題が発生した場合には、過去の類似事例が対策検討の重要な資料となる。つまり、類似の欠陥が過去存在すればその欠陥に対するのと同様な対策によって現在発生している欠陥に有効に対処しうる可能性が高いのである。過去の類似事例検索のひとつに、類似画像検索がある。一般的な類似画像検索では、画像の各種特徴量を算出し、特徴量分布から類似度を計算するが、演算処理に時間がかかるという問題がある。また、演算により算出する類似度と、ユーザの感覚的な類似度とに乖離があるという問題もある。
【０００５】
特許文献１には特徴量を単純化することで演算処理時間を短縮する方法が開示されている。また、特許文献２には特徴量をテキスト化することで演算処理時間を短縮する方法、および特徴量のテキスト化をユーザが修正できるようにすることで演算により算出する類似度とユーザの感覚とのギャップを埋める方法が開示されている。
【０００６】
【特許文献１】特開平１１−９６３６８号公報
【特許文献２】特開２００２−３１８８１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１には、特徴量、特に外形形状を単純化することで演算処理時間を短縮する方法が開示されているものの、半導体欠陥レビュー装置で扱うＳＥＭ画像では処理時間短縮の効果は限定的である。なぜなら、ＳＥＭ画像においては、外形形状が多数ある特徴量の一つに過ぎず、多数の特徴量の組合せにより画像が特徴付けられるからである。
【０００８】
また、特許文献２では、予め特徴量をテキスト情報に変換しておくことで、類似度算出の演算処理時間を短縮する方法が開示されているが、複数の特徴量の分布により画像の特徴が決定付けられる場合など、複雑な事例ではテキスト情報への変換が困難であり、特徴量の組合せとテキスト情報との対応を熟知したユーザによる調整が必要となる。さらに、特徴量から変換されたテキスト情報をユーザが変更できるようにすることで、演算により算出する類似度とユーザの感覚とのギャップを埋める方法が開示されているが、複数の特徴量とテキスト情報との対応を熟知しているユーザでなければ使いこなせない。特に、半導体欠陥レビュー装置のように、多数のユーザが使用する場合には、統一基準で簡単に使えることが必要であり、効果は限定的である。
【０００９】
本発明はこのような問題点に鑑みてなされたものであり、基準画像に対する類似画像を容易に、かつ高速に検索する機能を実現するものである。
【課題を解決するための手段】
【００１０】
上記問題点を解決するために、本発明の実施態様は、基準画像に対して関連のある画像を検索する画像検索装置であって、サンプル画像と当該画像を取得した条件を示す付帯情報を有するサンプル画像情報を複数記憶する記憶手段と、付帯情報が検索条件として入力され、この入力付帯情報に合致したサンプル画像を前記記憶手段から取得する第１の検索手段と、前記第１の検索手段による検索結果を提示する結果提示手段と、を備えることを特徴とする。
【００１１】
画像に付帯する情報、例えば、取得日時、取得条件、画像以外の情報を解析した結果、ユーザによるコメントなどを、テキスト情報として画像と対応させて保存する機能を有し、これら付帯情報のキーワード検索により類似画像候補を限定した後、画像の特徴量に基づき検索基準画像に対する類似度を算出し、類似度順に検索結果を出力する。
【００１２】
さらに、前記第１の検索手段による検索結果に対して、画像特徴量分布に基づく類似度検索を実行し、所定の類似度を有するサンプル画像を取得する第２の検索手段を備え、前記結果提示手段は、前記第２の検索手段による検索結果を提示する。
【００１３】
ここで、前記付帯情報は、サンプル取得日時、サンプルに関連するデバイス名称及びサンプルに関連するプロセス名称を含んでいる。
【００１４】
サンプル画像情報は、さらに、該サンプル画像情報に含まれるサンプル画像から抽出された欠陥に対する対策内容及びその対策を施した場合の結果を示す対策結果を含む追加情報を有し、前記第１の検索手段は、検索条件として入力された前記付帯情報及び／又は前記追加情報に合致したサンプル画像を前記記憶手段から取得する。
【００１５】
さらなる本発明の特徴は、以下本発明を実施するための最良の形態および添付図面によって明らかになるものである。
【発明の効果】
【００１６】
本発明によれば、画像を解析して得られる情報ではなく当該画像を取得した条件を示す付帯情報（人の主観が入り込まない情報）を用いて建託対象たるサンプル画像を絞り込んで検索基準に対する類似画像を検索できるので、簡単かつ高速に類似画像の検索ができ、作業効率を向上させることができる。
【発明を実施するための最良の形態】
【００１７】
以下、添付図面を参照した本発明による実施形態について詳細に説明する。
図１は、本発明の一実施形態である半導体欠陥レビュー装置の構成を示す図である。図１において、半導体欠陥レビュー装置１は、電子銃２０１、レンズ２０２、偏向器２０３、対物レンズ２０４、試料２０５、ステージ２０６、二次粒子検出器２０９、電子光学系制御部２１０、Ａ／Ｄ変換部２１１、ステージ制御部２１２、全体制御部２１３、画像処理部２１４、ディスプレイ２１５、キーボード２１６、検索用のサンプルデータや処理プログラムを記憶している記憶装置２１７、マウス２１８等で構成されている。
【００１８】
電子銃２０１から発射された電子ビーム２０７はレンズ２０２で集束され、偏向器２０３で偏向された後、対物レンズ２０４で集束されて試料２０５に照射される。電子ビーム２０７が試料２０５に照射されると、試料２０５からは、その試料の形状や材質に応じて二次電子や反射電子等の二次粒子２０８が発生する。発生した二次粒子２０８は、二次粒子検出器２０９で検出される。検出された二次粒子２０８はＡ／Ｄ変換部２１１でアナログ信号からデジタル信号に変換されて、ＳＥＭ画像が形成される。形成されたＳＥＭ画像に対しては、画像処理部２１４において、欠陥検出などの画像処理が実行される。
【００１９】
なお、レンズ２０２、偏向器２０３、対物レンズ２０４の制御は、電子光学系制御部２１０で行われる。試料の位置制御は、ステージ制御部２１２で制御されたステージ２０６で実行される。全体制御部２１３は、キーボード２１６、マウス２１８、記憶装置２１７からの入力を解釈し、電子光学系制御部２１０、ステージ制御部２１２、画像処理部２１４等を制御して、必要に応じてディスプレイ２１５、記憶装置２１７に処理内容を出力する。記憶装置２１７は、送られたＳＥＭ画像をそれが取得されたときの電子光学条件や当該半導体欠陥レビュー装置の認識番号ＩＤ等の付帯情報とともにサンプル画像情報として記憶する。
【００２０】
図２は、複数の半導体欠陥レビュー装置と、本実施形態による画像検索機能のネットワーク構成例を示す図である。図２Ａでは、各半導体欠陥レビュー装置３０１、３０２、３０３がネットワーク３０４で接続されている。各半導体欠陥レビュー装置には画像検索機能が搭載されている。半導体製造ラインに少数の半導体欠陥レビュー装置しか導入されない場合には、図２Ｂにあるような画像管理サーバを導入する必要が無く、初期投資を抑えることができる。
【００２１】
図２Ｂは、画像検索機能を半導体欠陥レビュー装置単体には搭載せずに、ネットワーク３０４に接続した画像管理サーバ３０５で集中管理する例である。多数の半導体欠陥レビュー装置が導入されることが想定される場合には、画像検索機能を集中管理できる利点がある。また、画像ビューワ３０６、３０７を導入すれば、半導体欠陥レビュー装置や画像管理サーバの設置場所から離れた場所からでも、画像の確認、類似画像検索、あるいは過去検索結果の確認が可能となる。各半導体欠陥レビュー装置で取得されたＳＥＭ画像と付帯情報等のサンプル画像情報は、各半導体欠陥レビュー装置の図１に示した記憶装置２１７に記憶させておいてもよいし、画像管理サーバ３０５に設けた図示しない記憶装置に記憶させてもよい。
【００２２】
図２Ｃは、各半導体欠陥レビュー装置に画像検索機能を搭載し、更に画像の一括管理が可能な画像管理サーバ、装置設置場所以外から画像検索が可能な画像ビューワも導入した例である。
【００２３】
図３は、類似画像検索処理の概要を説明するためのフローチャートである。なお、このフローチャートにおける各ステップの制御主体は、特に断らない限り、図１における全体制御部２１３、または図２（Ｂ）の画像管理サーバ３０５であり、このフローチャートに対応するプログラムは記憶装置２１７または、画像管理サーバ３０５の図示しない記憶装置に格納されている。
【００２４】
図３において、まず、検索基準となる画像（例えば、欠陥を有する部位の画像）を選択し（Ｓ４０１）、検索条件を設定する（Ｓ４０２）。この検索条件の設定については後に詳述する。なお、検索条件は保存することができ、次回以降は保存された条件を読み込むことで、検索条件の設定を簡単にすることができる。
【００２５】
次に、検索条件に基づき、テキスト情報を検索する（Ｓ４０３）。特徴量分布に基づく詳細検索も実行する場合には（Ｓ４０４）、Ｓ４０３のテキスト検索により限定された類似画像候補に対してのみ、特徴量分布に基づき類似度検索を実行する（Ｓ４０５）。特徴量分布に基づく類似度検索の手法としては、各画像の特徴量ベクトルを算出し、特徴量ベクトル空間における距離を類似度として評価する方法や、ニューラルネットワークを用いて類似度を評価する方法などがある。本実施形態では、欠陥自動分類（ＡＤＣ：Ａｕｔｏｍａｔｉｃ Ｄｅｆｅｃｔ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）を実行済みの場合、特徴量は既に算出されているため、特徴量ベクトルの算出処理は不要である。ＡＤＣアルゴリズムはユーザの分類定義に合わせて最適化されているため、ＡＤＣアルゴリズムを類似度判定処理に流用することで、演算結果とユーザの感覚とのギャップを最小化することができる。検索結果は、類似度の高いものから順に画像を並べて表示する（Ｓ４０６）。なお、類似度を見るのはあくまでも画像処理を行い、特徴量を解析して行われる。テキスト検索は類似度そのものを見るものではなく、類似度による検索の対象を絞り込むために行われるものである。
【００２６】
続いて、類似画像検索処理についてより具体的に説明する。図４は、類似画像検索の概念をより具体的に説明するための図である。
【００２７】
図４において、Ｍ個のサンプル中１欠陥分のデータ（１サンプルデータ）は、画像５０１、付帯情報５０２、追加情報５０３から構成され、これらが互いに関連付けられて、記憶装置に保存される。付帯情報５０２は、画像取得時に画像に付属する情報として保存された情報で、画像取得日時、画像データのデバイス名称、画像データのプロセス名称、画像データのロット番号、画像データのスロット番号、画像データのウェーハ番号、ＳＥＭ画像取得条件（倍率やモード等）、光学式顕微鏡画像取得条件（倍率等）などで構成される。取得日時で検索できるようにするのは、半導体装置では技術が日進月歩しているためあまりに古い情報を検索しても意味がないからである。また、デバイス名称、プロセス名称で検索できるようにするのは、半導体装置では様々な製品を製造しているので、これらの名称によりどの製品のどの工程かを絞り込めるようにするためである。ここで、付帯情報は演算処理等の変換処理やユーザの知識に基づく変換を介さないため、ユーザのスキルに依存しない共通の情報である。つまり、付帯情報とは人の感性や主観が入り込む余地のない情報であるといえる。このため、付帯情報によるキーワード検索では、ユーザのスキルによらず、安定した検索結果を得ることができる。
【００２８】
追加情報５０３は、画像から抽出された欠陥についての、分類結果（ＡＤＣ結果）、元素分析結果（ＥＤＸ結果）、ユーザが登録した欠陥発生に対する対策内容、対策結果、メモ情報、他の装置の出力結果などで構成される。ユーザが、欠陥を含む画像の特徴を解析し、欠陥の発生要因を分析し、対策を実行した場合、その対策の内容やその対策を施した場合の結果の内容を追加情報として記憶装置に記憶させておくことにより、後日、同様な欠陥が発生したときに、本発明の実施例による検索システムを利用すれば、対策の内容とその結果がすぐに参照できるので、欠陥発生に対して迅速な対応が可能となる。追加情報は、付帯情報とは異なり、人の感情や主観が入り込む余地のある情報であるといえる。このように対策内容で検索できるようにしたのは、例えばある対策をしたらどのような結果であったかを知りたいときがあるからであり、また、対策結果で検索できるようにしたのは効果のあったものを知りたいときがあるからである。
【００２９】
図４では、Ｍ個のデータセットを対象に、Ｓｔｅｐ１のキーワード検索５０４を実行し、キーワードが一致するＮ個のデータセットを抽出している。ここで抽出されたＮ個のデータセットに対して、Ｓｔｅｐ２の画像特徴量検索５０６を実施すると、Ｎ個の画像を類似度が高い順に並べ替えて表示する。
【００３０】
次は、類似画像検索の条件設定について詳細に説明する（図３のステップＳ４０２の処理に対応する）。図５は、類似画像検索の条件設定、および検索結果を表示するＧＵＩの一例を示す図である。
【００３１】
１０１で検索基準となる画像を選択する。１０２には選択した画像のテキスト情報が表示される。半導体欠陥レビュー装置の場合、テキスト情報には画像の取得日時、デバイス名称、プロセス名称、ロット番号、スロット番号、ウェーハ番号、ＳＥＭ条件、ＯＭ条件などを記載した付帯情報、他の装置などで解析した欠陥分布のクラスタ情報、ＥＤＸ結果やＡＤＣ結果、ユーザが追加したメモ情報などを記載した追加情報などがある。ここで、付帯情報は、画像を解析して得られる情報ではなく、画像を取得したときの情報であって、主観的要素が入らない情報である。これらの情報の中で、分類カテゴリ情報は、演算により算出する類似度とユーザの感覚とのギャップを埋める情報として有効である。分類カテゴリ情報はＡＤＣによる分類結果を必要に応じてユーザが修正したものであるが、分類カテゴリの定義は生産ライン共通の定義であるため、ユーザ間でのギャップは無い。また、ＡＤＣでは、この共通の分類定義に対して分類正解率が高くなるように、パラメータを最適化しているため、演算により算出する類似度とユーザの感覚とのギャップも小さくなるように最適化されている。
【００３２】
１０３〜１０７では、検索条件を設定する。１０３でテキスト情報の項目を選択し、１０４で項目に対する検索キーを設定し、１０５で検索キーを論理式（ＡＮＤ／ＯＲ）で記述する。１０６では１０３〜１０５で設定した内容を、論理式（＊／＋）で記述する。検索条件の初期値は、検索基準画像の情報に基づき表示する。これにより、ユーザは１０６で使用する検索条件を選択するだけで、基本的な検索が簡単に実行できる。検索条件を細かく設定する場合も、初期値をベースに必要な部分だけ変更することができるので、検索条件の設定作業を効率良く短時間で実行できる。１０７で詳細検索を無効に設定した場合は、１０６で設定した条件に基づいてテキスト情報の検索を実行し（１０８）、１０９にそのテキスト情報による検索の結果を表示する。１０７で詳細検索を有効に設定した場合には、１０６で設定した条件に基づいてテキスト情報の検索を実行して類似画像候補を限定した後、限定した類似画像候補に対して、特徴量分布に基づく類似度検索を実行する（１０８）。この場合、１０９にはテキスト検索＋特徴量検索による結果が表示されることになる。
【００３３】
１０９には類似度順に検索結果を表示する。演算処理に時間がかかる類似度評価は、テキスト情報の検索により評価対象画像を限定した後に実行するため、全画像を対象に類似度評価するより、大幅に演算処理時間を短縮できる。また、１０７で詳細検索を無効にしてテキスト情報の検索を実行し（１０８）、検索結果を確認した後に、詳細検索が必要と判断した場合のみ、１１０の詳細検索を有効に設定し、１１１で特徴量分布に基づく類似度検索を実行することも可能である。この場合、テキスト情報の検索は実行済みであり、検索結果に表示されている画像に対して、特徴量分布に基づく類似度検索を実行すればよいので、１０７で詳細検索を有効にし、１０８を使用して詳細検索を実行することにより、検索時間を短縮することができる。検索条件は１１２で保存することができる。保存した検索条件は１１３で読み込むことができるので、同様の検索条件を読み込んで、変更部分のみを更新することで、検索条件の設定時間を短縮することができる。同様に、検索結果は１１４で保存、１１５で読み込むことができるので、一度検索した結果は、再検索する必要は無く、容易かつ短時間で参照可能である。また、検索結果の各画像は、１１６で詳細表示することができる。詳細表示には拡大画像、付帯情報、追加情報、検索条件、検索結果サムネイルが含まれる。詳細表示のボタンを押す代わりに、マウス等のポインティングデバイスにより画像をダブルクリックした場合にも、詳細表示画面を起動してもよい。
【００３４】
図６は検索結果の詳細表示画面の一例である。図５において、画像を選択して詳細ボタンを押す（１１６）、あるいは画像をダブルクリックして起動すると、検索結果のサムネイル６０１が表示される。マウスクリック、あるいは選択ボタン６０２により選択画像を変更できる。選択画像は強調表示（画像が枠で囲まれている）６０３、および拡大表示６０４される。複数のモードで画像取得している場合には、拡大画像の表示を切り換えることができる（６０５）。拡大画像の付帯情報６０６、および追加情報６０７のうち、検索条件に一致しているものは強調表示（太字で表示される）６０８される。また、検索基準画像６０９と検索条件６１０も確認することができる。
【００３５】
なお、実施形態の機能を実現するソフトウェアのプログラムコードによっても本発明は実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ（登録商標）ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。
【００３６】
また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。
【００３７】
また、実施の形態の機能を実現するソフトウェアのプログラムコードがネットワークを介して配信されることにより、システム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ-ＲＷ、ＣＤ-Ｒ等の記憶媒体に格納され、そのシステム又は装置のコンピュータ(又はＣＰＵやＭＰＵ)が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行することによっても、達成されるようにしてもよい。
【図面の簡単な説明】
【００３８】
【図１】ＳＥＭ式の欠陥レビュー装置の基本的構成を示すブロック図である。
【図２】図２Ａは、各欠陥レビュー装置に画像検索機能を付加した場合の、欠陥レビューシステムのネットワーク接続例である。図２Ｂは、複数の欠陥レビュー装置に対して、画像情報を一括管理する画像管理サーバと画像ビューワを導入した場合の、欠陥レビューシステムのネットワーク接続例である。図２Ｃは、各欠陥レビュー装置に画像検索機能を付加すると共に、画像管理サーバと画像ビューワを導入した場合の、欠陥レビューシステムのネットワーク接続例である。
【図３】類似画像検索処理の概要を説明するためのフローチャートである。
【図４】類似画像検索の具体的概念を説明するための図である。
【図５】本発明の実施形態による、類似画像検索ＧＵＩの表示例である。
【図６】類似画像の詳細情報を表示するＧＵＩの一例である。
【符号の説明】
【００３９】
１０１…基準画像、１０２…基準画像のテキスト情報、１０３、１０４、１０５、１０６、１０７…検索条件、１０９…検索結果、２０１…電子銃、２０２…レンズ、２０３…偏向器、２０４…対物レンズ、２０５…試料、２０６…ステージ、２０７…電子ビーム、２０８…二次粒子、２０９…二次粒子検出器、２１０…電子光学系制御部、２１１…Ａ／Ｄ変換部、２１２…ステージ制御部、２１３…全体制御部、２１４…画像処理部、２１５…ディスプレイ、２１６…キーボード、２１７…記憶装置、２１８…マウス、３０１、３０２、３０３…画像検索機能付欠陥レビュー装置、３０４…ネットワーク、３０５…画像管理サーバ、３０６、３０７…画像ビューワ。
【技術分野】
【０００１】
本発明は、データベースから類似画像を高速に検索する方法、及び装置に関するものである。特に、例えば半導体欠陥レビュー装置やレビュー機能つき検査装置のように、大量の画像データから類似画像を検索して出力することが望まれる観察装置に適用可能なものである。
【背景技術】
【０００２】
半導体製造において高い歩留を確保するためには、製造工程で発生する欠陥を早期に発見して、対策を施すことが重要である。近年、半導体の微細化にともない歩留に影響を与える欠陥も多様化しており、対策検討に必要とされる情報も増加している。
【０００３】
半導体欠陥レビュー装置はこのような多様な情報を取得するための装置であり、ウェーハ上の欠陥分布（以下ウェーハマップ）、各種電子顕微鏡画像（以下ＳＥＭ画像）、光学顕微鏡画像（以下ＯＭ画像）、ＥＤＸスペクトル画像（以下ＥＤＸ結果）、欠陥分類結果（以下ＡＤＣ結果。本来ＡＤＣは欠陥自動分類の意味であるが、ここではマニュアルでの分類結果も含めてＡＤＣ結果と表現する）、欠陥サイズ分布（以下サイズ分布）などを出力することができる。更にＳＥＭ画像には、上方検出器画像（以下Ｔｏｐ画像）、左方検出器画像（以下Ｌｅｆｔ画像）、右方検出器画像（以下Ｒｉｇｈｔ画像）、傾斜画像（以下Ｔｉｌｔ画像）などがある。他にも、対策検討に必要とされる情報として、各種ＳＥＭ画像の倍率や光学条件などを記載した付帯情報や、データ解析後に行った対策検討結果などの情報を記した追加情報などがある。
【０００４】
半導体欠陥レビュー装置を使用した半導体製造プロセス管理において、欠陥数の増加や特定欠陥の発生など、対策を要する問題が発生した場合には、過去の類似事例が対策検討の重要な資料となる。つまり、類似の欠陥が過去存在すればその欠陥に対するのと同様な対策によって現在発生している欠陥に有効に対処しうる可能性が高いのである。過去の類似事例検索のひとつに、類似画像検索がある。一般的な類似画像検索では、画像の各種特徴量を算出し、特徴量分布から類似度を計算するが、演算処理に時間がかかるという問題がある。また、演算により算出する類似度と、ユーザの感覚的な類似度とに乖離があるという問題もある。
【０００５】
特許文献１には特徴量を単純化することで演算処理時間を短縮する方法が開示されている。また、特許文献２には特徴量をテキスト化することで演算処理時間を短縮する方法、および特徴量のテキスト化をユーザが修正できるようにすることで演算により算出する類似度とユーザの感覚とのギャップを埋める方法が開示されている。
【０００６】
【特許文献１】特開平１１−９６３６８号公報
【特許文献２】特開２００２−３１８８１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１には、特徴量、特に外形形状を単純化することで演算処理時間を短縮する方法が開示されているものの、半導体欠陥レビュー装置で扱うＳＥＭ画像では処理時間短縮の効果は限定的である。なぜなら、ＳＥＭ画像においては、外形形状が多数ある特徴量の一つに過ぎず、多数の特徴量の組合せにより画像が特徴付けられるからである。
【０００８】
また、特許文献２では、予め特徴量をテキスト情報に変換しておくことで、類似度算出の演算処理時間を短縮する方法が開示されているが、複数の特徴量の分布により画像の特徴が決定付けられる場合など、複雑な事例ではテキスト情報への変換が困難であり、特徴量の組合せとテキスト情報との対応を熟知したユーザによる調整が必要となる。さらに、特徴量から変換されたテキスト情報をユーザが変更できるようにすることで、演算により算出する類似度とユーザの感覚とのギャップを埋める方法が開示されているが、複数の特徴量とテキスト情報との対応を熟知しているユーザでなければ使いこなせない。特に、半導体欠陥レビュー装置のように、多数のユーザが使用する場合には、統一基準で簡単に使えることが必要であり、効果は限定的である。
【０００９】
本発明はこのような問題点に鑑みてなされたものであり、基準画像に対する類似画像を容易に、かつ高速に検索する機能を実現するものである。
【課題を解決するための手段】
【００１０】
上記問題点を解決するために、本発明の実施態様は、基準画像に対して関連のある画像を検索する画像検索装置であって、サンプル画像と当該画像を取得した条件を示す付帯情報を有するサンプル画像情報を複数記憶する記憶手段と、付帯情報が検索条件として入力され、この入力付帯情報に合致したサンプル画像を前記記憶手段から取得する第１の検索手段と、前記第１の検索手段による検索結果を提示する結果提示手段と、を備えることを特徴とする。
【００１１】
画像に付帯する情報、例えば、取得日時、取得条件、画像以外の情報を解析した結果、ユーザによるコメントなどを、テキスト情報として画像と対応させて保存する機能を有し、これら付帯情報のキーワード検索により類似画像候補を限定した後、画像の特徴量に基づき検索基準画像に対する類似度を算出し、類似度順に検索結果を出力する。
【００１２】
さらに、前記第１の検索手段による検索結果に対して、画像特徴量分布に基づく類似度検索を実行し、所定の類似度を有するサンプル画像を取得する第２の検索手段を備え、前記結果提示手段は、前記第２の検索手段による検索結果を提示する。
【００１３】
ここで、前記付帯情報は、サンプル取得日時、サンプルに関連するデバイス名称及びサンプルに関連するプロセス名称を含んでいる。
【００１４】
サンプル画像情報は、さらに、該サンプル画像情報に含まれるサンプル画像から抽出された欠陥に対する対策内容及びその対策を施した場合の結果を示す対策結果を含む追加情報を有し、前記第１の検索手段は、検索条件として入力された前記付帯情報及び／又は前記追加情報に合致したサンプル画像を前記記憶手段から取得する。
【００１５】
さらなる本発明の特徴は、以下本発明を実施するための最良の形態および添付図面によって明らかになるものである。
【発明の効果】
【００１６】
本発明によれば、画像を解析して得られる情報ではなく当該画像を取得した条件を示す付帯情報（人の主観が入り込まない情報）を用いて建託対象たるサンプル画像を絞り込んで検索基準に対する類似画像を検索できるので、簡単かつ高速に類似画像の検索ができ、作業効率を向上させることができる。
【発明を実施するための最良の形態】
【００１７】
以下、添付図面を参照した本発明による実施形態について詳細に説明する。
図１は、本発明の一実施形態である半導体欠陥レビュー装置の構成を示す図である。図１において、半導体欠陥レビュー装置１は、電子銃２０１、レンズ２０２、偏向器２０３、対物レンズ２０４、試料２０５、ステージ２０６、二次粒子検出器２０９、電子光学系制御部２１０、Ａ／Ｄ変換部２１１、ステージ制御部２１２、全体制御部２１３、画像処理部２１４、ディスプレイ２１５、キーボード２１６、検索用のサンプルデータや処理プログラムを記憶している記憶装置２１７、マウス２１８等で構成されている。
【００１８】
電子銃２０１から発射された電子ビーム２０７はレンズ２０２で集束され、偏向器２０３で偏向された後、対物レンズ２０４で集束されて試料２０５に照射される。電子ビーム２０７が試料２０５に照射されると、試料２０５からは、その試料の形状や材質に応じて二次電子や反射電子等の二次粒子２０８が発生する。発生した二次粒子２０８は、二次粒子検出器２０９で検出される。検出された二次粒子２０８はＡ／Ｄ変換部２１１でアナログ信号からデジタル信号に変換されて、ＳＥＭ画像が形成される。形成されたＳＥＭ画像に対しては、画像処理部２１４において、欠陥検出などの画像処理が実行される。
【００１９】
なお、レンズ２０２、偏向器２０３、対物レンズ２０４の制御は、電子光学系制御部２１０で行われる。試料の位置制御は、ステージ制御部２１２で制御されたステージ２０６で実行される。全体制御部２１３は、キーボード２１６、マウス２１８、記憶装置２１７からの入力を解釈し、電子光学系制御部２１０、ステージ制御部２１２、画像処理部２１４等を制御して、必要に応じてディスプレイ２１５、記憶装置２１７に処理内容を出力する。記憶装置２１７は、送られたＳＥＭ画像をそれが取得されたときの電子光学条件や当該半導体欠陥レビュー装置の認識番号ＩＤ等の付帯情報とともにサンプル画像情報として記憶する。
【００２０】
図２は、複数の半導体欠陥レビュー装置と、本実施形態による画像検索機能のネットワーク構成例を示す図である。図２Ａでは、各半導体欠陥レビュー装置３０１、３０２、３０３がネットワーク３０４で接続されている。各半導体欠陥レビュー装置には画像検索機能が搭載されている。半導体製造ラインに少数の半導体欠陥レビュー装置しか導入されない場合には、図２Ｂにあるような画像管理サーバを導入する必要が無く、初期投資を抑えることができる。
【００２１】
図２Ｂは、画像検索機能を半導体欠陥レビュー装置単体には搭載せずに、ネットワーク３０４に接続した画像管理サーバ３０５で集中管理する例である。多数の半導体欠陥レビュー装置が導入されることが想定される場合には、画像検索機能を集中管理できる利点がある。また、画像ビューワ３０６、３０７を導入すれば、半導体欠陥レビュー装置や画像管理サーバの設置場所から離れた場所からでも、画像の確認、類似画像検索、あるいは過去検索結果の確認が可能となる。各半導体欠陥レビュー装置で取得されたＳＥＭ画像と付帯情報等のサンプル画像情報は、各半導体欠陥レビュー装置の図１に示した記憶装置２１７に記憶させておいてもよいし、画像管理サーバ３０５に設けた図示しない記憶装置に記憶させてもよい。
【００２２】
図２Ｃは、各半導体欠陥レビュー装置に画像検索機能を搭載し、更に画像の一括管理が可能な画像管理サーバ、装置設置場所以外から画像検索が可能な画像ビューワも導入した例である。
【００２３】
図３は、類似画像検索処理の概要を説明するためのフローチャートである。なお、このフローチャートにおける各ステップの制御主体は、特に断らない限り、図１における全体制御部２１３、または図２（Ｂ）の画像管理サーバ３０５であり、このフローチャートに対応するプログラムは記憶装置２１７または、画像管理サーバ３０５の図示しない記憶装置に格納されている。
【００２４】
図３において、まず、検索基準となる画像（例えば、欠陥を有する部位の画像）を選択し（Ｓ４０１）、検索条件を設定する（Ｓ４０２）。この検索条件の設定については後に詳述する。なお、検索条件は保存することができ、次回以降は保存された条件を読み込むことで、検索条件の設定を簡単にすることができる。
【００２５】
次に、検索条件に基づき、テキスト情報を検索する（Ｓ４０３）。特徴量分布に基づく詳細検索も実行する場合には（Ｓ４０４）、Ｓ４０３のテキスト検索により限定された類似画像候補に対してのみ、特徴量分布に基づき類似度検索を実行する（Ｓ４０５）。特徴量分布に基づく類似度検索の手法としては、各画像の特徴量ベクトルを算出し、特徴量ベクトル空間における距離を類似度として評価する方法や、ニューラルネットワークを用いて類似度を評価する方法などがある。本実施形態では、欠陥自動分類（ＡＤＣ：Ａｕｔｏｍａｔｉｃ Ｄｅｆｅｃｔ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）を実行済みの場合、特徴量は既に算出されているため、特徴量ベクトルの算出処理は不要である。ＡＤＣアルゴリズムはユーザの分類定義に合わせて最適化されているため、ＡＤＣアルゴリズムを類似度判定処理に流用することで、演算結果とユーザの感覚とのギャップを最小化することができる。検索結果は、類似度の高いものから順に画像を並べて表示する（Ｓ４０６）。なお、類似度を見るのはあくまでも画像処理を行い、特徴量を解析して行われる。テキスト検索は類似度そのものを見るものではなく、類似度による検索の対象を絞り込むために行われるものである。
【００２６】
続いて、類似画像検索処理についてより具体的に説明する。図４は、類似画像検索の概念をより具体的に説明するための図である。
【００２７】
図４において、Ｍ個のサンプル中１欠陥分のデータ（１サンプルデータ）は、画像５０１、付帯情報５０２、追加情報５０３から構成され、これらが互いに関連付けられて、記憶装置に保存される。付帯情報５０２は、画像取得時に画像に付属する情報として保存された情報で、画像取得日時、画像データのデバイス名称、画像データのプロセス名称、画像データのロット番号、画像データのスロット番号、画像データのウェーハ番号、ＳＥＭ画像取得条件（倍率やモード等）、光学式顕微鏡画像取得条件（倍率等）などで構成される。取得日時で検索できるようにするのは、半導体装置では技術が日進月歩しているためあまりに古い情報を検索しても意味がないからである。また、デバイス名称、プロセス名称で検索できるようにするのは、半導体装置では様々な製品を製造しているので、これらの名称によりどの製品のどの工程かを絞り込めるようにするためである。ここで、付帯情報は演算処理等の変換処理やユーザの知識に基づく変換を介さないため、ユーザのスキルに依存しない共通の情報である。つまり、付帯情報とは人の感性や主観が入り込む余地のない情報であるといえる。このため、付帯情報によるキーワード検索では、ユーザのスキルによらず、安定した検索結果を得ることができる。
【００２８】
追加情報５０３は、画像から抽出された欠陥についての、分類結果（ＡＤＣ結果）、元素分析結果（ＥＤＸ結果）、ユーザが登録した欠陥発生に対する対策内容、対策結果、メモ情報、他の装置の出力結果などで構成される。ユーザが、欠陥を含む画像の特徴を解析し、欠陥の発生要因を分析し、対策を実行した場合、その対策の内容やその対策を施した場合の結果の内容を追加情報として記憶装置に記憶させておくことにより、後日、同様な欠陥が発生したときに、本発明の実施例による検索システムを利用すれば、対策の内容とその結果がすぐに参照できるので、欠陥発生に対して迅速な対応が可能となる。追加情報は、付帯情報とは異なり、人の感情や主観が入り込む余地のある情報であるといえる。このように対策内容で検索できるようにしたのは、例えばある対策をしたらどのような結果であったかを知りたいときがあるからであり、また、対策結果で検索できるようにしたのは効果のあったものを知りたいときがあるからである。
【００２９】
図４では、Ｍ個のデータセットを対象に、Ｓｔｅｐ１のキーワード検索５０４を実行し、キーワードが一致するＮ個のデータセットを抽出している。ここで抽出されたＮ個のデータセットに対して、Ｓｔｅｐ２の画像特徴量検索５０６を実施すると、Ｎ個の画像を類似度が高い順に並べ替えて表示する。
【００３０】
次は、類似画像検索の条件設定について詳細に説明する（図３のステップＳ４０２の処理に対応する）。図５は、類似画像検索の条件設定、および検索結果を表示するＧＵＩの一例を示す図である。
【００３１】
１０１で検索基準となる画像を選択する。１０２には選択した画像のテキスト情報が表示される。半導体欠陥レビュー装置の場合、テキスト情報には画像の取得日時、デバイス名称、プロセス名称、ロット番号、スロット番号、ウェーハ番号、ＳＥＭ条件、ＯＭ条件などを記載した付帯情報、他の装置などで解析した欠陥分布のクラスタ情報、ＥＤＸ結果やＡＤＣ結果、ユーザが追加したメモ情報などを記載した追加情報などがある。ここで、付帯情報は、画像を解析して得られる情報ではなく、画像を取得したときの情報であって、主観的要素が入らない情報である。これらの情報の中で、分類カテゴリ情報は、演算により算出する類似度とユーザの感覚とのギャップを埋める情報として有効である。分類カテゴリ情報はＡＤＣによる分類結果を必要に応じてユーザが修正したものであるが、分類カテゴリの定義は生産ライン共通の定義であるため、ユーザ間でのギャップは無い。また、ＡＤＣでは、この共通の分類定義に対して分類正解率が高くなるように、パラメータを最適化しているため、演算により算出する類似度とユーザの感覚とのギャップも小さくなるように最適化されている。
【００３２】
１０３〜１０７では、検索条件を設定する。１０３でテキスト情報の項目を選択し、１０４で項目に対する検索キーを設定し、１０５で検索キーを論理式（ＡＮＤ／ＯＲ）で記述する。１０６では１０３〜１０５で設定した内容を、論理式（＊／＋）で記述する。検索条件の初期値は、検索基準画像の情報に基づき表示する。これにより、ユーザは１０６で使用する検索条件を選択するだけで、基本的な検索が簡単に実行できる。検索条件を細かく設定する場合も、初期値をベースに必要な部分だけ変更することができるので、検索条件の設定作業を効率良く短時間で実行できる。１０７で詳細検索を無効に設定した場合は、１０６で設定した条件に基づいてテキスト情報の検索を実行し（１０８）、１０９にそのテキスト情報による検索の結果を表示する。１０７で詳細検索を有効に設定した場合には、１０６で設定した条件に基づいてテキスト情報の検索を実行して類似画像候補を限定した後、限定した類似画像候補に対して、特徴量分布に基づく類似度検索を実行する（１０８）。この場合、１０９にはテキスト検索＋特徴量検索による結果が表示されることになる。
【００３３】
１０９には類似度順に検索結果を表示する。演算処理に時間がかかる類似度評価は、テキスト情報の検索により評価対象画像を限定した後に実行するため、全画像を対象に類似度評価するより、大幅に演算処理時間を短縮できる。また、１０７で詳細検索を無効にしてテキスト情報の検索を実行し（１０８）、検索結果を確認した後に、詳細検索が必要と判断した場合のみ、１１０の詳細検索を有効に設定し、１１１で特徴量分布に基づく類似度検索を実行することも可能である。この場合、テキスト情報の検索は実行済みであり、検索結果に表示されている画像に対して、特徴量分布に基づく類似度検索を実行すればよいので、１０７で詳細検索を有効にし、１０８を使用して詳細検索を実行することにより、検索時間を短縮することができる。検索条件は１１２で保存することができる。保存した検索条件は１１３で読み込むことができるので、同様の検索条件を読み込んで、変更部分のみを更新することで、検索条件の設定時間を短縮することができる。同様に、検索結果は１１４で保存、１１５で読み込むことができるので、一度検索した結果は、再検索する必要は無く、容易かつ短時間で参照可能である。また、検索結果の各画像は、１１６で詳細表示することができる。詳細表示には拡大画像、付帯情報、追加情報、検索条件、検索結果サムネイルが含まれる。詳細表示のボタンを押す代わりに、マウス等のポインティングデバイスにより画像をダブルクリックした場合にも、詳細表示画面を起動してもよい。
【００３４】
図６は検索結果の詳細表示画面の一例である。図５において、画像を選択して詳細ボタンを押す（１１６）、あるいは画像をダブルクリックして起動すると、検索結果のサムネイル６０１が表示される。マウスクリック、あるいは選択ボタン６０２により選択画像を変更できる。選択画像は強調表示（画像が枠で囲まれている）６０３、および拡大表示６０４される。複数のモードで画像取得している場合には、拡大画像の表示を切り換えることができる（６０５）。拡大画像の付帯情報６０６、および追加情報６０７のうち、検索条件に一致しているものは強調表示（太字で表示される）６０８される。また、検索基準画像６０９と検索条件６１０も確認することができる。
【００３５】
なお、実施形態の機能を実現するソフトウェアのプログラムコードによっても本発明は実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ（登録商標）ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。
【００３６】
また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。
【００３７】
また、実施の形態の機能を実現するソフトウェアのプログラムコードがネットワークを介して配信されることにより、システム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ-ＲＷ、ＣＤ-Ｒ等の記憶媒体に格納され、そのシステム又は装置のコンピュータ(又はＣＰＵやＭＰＵ)が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行することによっても、達成されるようにしてもよい。
【図面の簡単な説明】
【００３８】
【図１】ＳＥＭ式の欠陥レビュー装置の基本的構成を示すブロック図である。
【図２】図２Ａは、各欠陥レビュー装置に画像検索機能を付加した場合の、欠陥レビューシステムのネットワーク接続例である。図２Ｂは、複数の欠陥レビュー装置に対して、画像情報を一括管理する画像管理サーバと画像ビューワを導入した場合の、欠陥レビューシステムのネットワーク接続例である。図２Ｃは、各欠陥レビュー装置に画像検索機能を付加すると共に、画像管理サーバと画像ビューワを導入した場合の、欠陥レビューシステムのネットワーク接続例である。
【図３】類似画像検索処理の概要を説明するためのフローチャートである。
【図４】類似画像検索の具体的概念を説明するための図である。
【図５】本発明の実施形態による、類似画像検索ＧＵＩの表示例である。
【図６】類似画像の詳細情報を表示するＧＵＩの一例である。
【符号の説明】
【００３９】
１０１…基準画像、１０２…基準画像のテキスト情報、１０３、１０４、１０５、１０６、１０７…検索条件、１０９…検索結果、２０１…電子銃、２０２…レンズ、２０３…偏向器、２０４…対物レンズ、２０５…試料、２０６…ステージ、２０７…電子ビーム、２０８…二次粒子、２０９…二次粒子検出器、２１０…電子光学系制御部、２１１…Ａ／Ｄ変換部、２１２…ステージ制御部、２１３…全体制御部、２１４…画像処理部、２１５…ディスプレイ、２１６…キーボード、２１７…記憶装置、２１８…マウス、３０１、３０２、３０３…画像検索機能付欠陥レビュー装置、３０４…ネットワーク、３０５…画像管理サーバ、３０６、３０７…画像ビューワ。
【特許請求の範囲】
【請求項１】
基準画像に対して関連のある画像を検索する画像検索装置であって、
複数のサンプル画像と、当該画像を取得した条件を示す付帯情報とを有するサンプル画像情報を記憶する記憶手段と、
前記付帯情報が検索条件として入力され、この入力された付帯情報に合致したサンプル画像を前記記憶手段から取得する第１の検索手段と、
前記第１の検索手段による検索結果を提示する結果提示手段と、
を備えることを特徴とする画像検索装置。
【請求項２】
さらに、前記第１の検索手段による検索の結果、取得されたサンプル画像について、画像特徴量分布に基づく類似度検索を実行し、所定の類似度を有するサンプル画像を取得する第２の検索手段を備え、
前記結果提示手段は、前記第２の検索手段による検索結果を提示することを特徴とする請求項１に記載の画像検索装置。
【請求項３】
前記付帯情報は、サンプル取得日時、サンプルに関連するデバイス名称及びサンプルに関連するプロセス名称を含むことを特徴とする請求項１に記載の画像検索装置。
【請求項４】
前記サンプル画像情報は、さらに、該サンプル画像情報に含まれるサンプル画像から抽出された欠陥に対する対策内容及びその対策を施した場合の結果を示す対策結果を含む追加情報を有し、
前記第１の検索手段は、検索条件として入力された前記付帯情報及び／又は前記追加情報に合致したサンプル画像を前記記憶手段から取得することを特徴とする請求項１に記載の画像検索装置。
【請求項５】
さらに、前記検索条件として入力された前記付帯情報又は前記追加情報を履歴として保存する検索条件保存手段と、
前記履歴としての付帯情報又は追加情報を前記検索条件保存手段から読み出す読み出し手段と、を備え、
前記第１の検索手段は、前記読み出された付帯情報及び／又は追加情報に合致したサンプル画像を前記記憶手段から取得することを特徴とする請求項４に記載の画像検索装置。
【請求項６】
前記結果提示手段は、前記基準画像、前記基準画像の付帯情報及び追加情報、前記検索条件、及び検索結果のうち複数の情報を組み合わせて表示部に表示することを特徴とする請求項４に記載の画像検索装置。
【請求項７】
複数の画像検索装置を、ネットワークを介して接続した画像検索システムであって、第１の画像検索装置に含まれるサンプルに対して第２の画像検索装置から画像検索を実行し、該検索結果を前記第２の画像検索装置上に出力することを特徴とし、
前記画像検索装置は、基準画像に対して関連のある画像を検索する画像検索装置であって、
複数のサンプル画像と、当該画像を取得した条件を示す付帯情報とを有するサンプル画像情報を記憶する記憶手段と、
前記付帯情報が検索条件として入力され、この入力された付帯情報に合致したサンプル画像を前記記憶手段から取得する第１の検索手段と、
前記第１の検索手段による検索結果を提示する結果提示手段と、
を備えることを特徴とする画像検索システム。
【請求項８】
基準画像に対して関連のある画像を検索する画像検索方法であって、
付帯情報が検索条件として入力され、この入力付帯情報に合致したサンプル画像を記憶手段から取得する第１の検索工程と、
前記第１の検索工程における検索結果を提示する結果提示工程と、を備え、
前記記憶手段は、サンプル画像と当該画像を取得した条件を示す付帯情報とを有するサンプル画像情報を複数記憶することを特徴とする画像検索方法。
【請求項９】
さらに、前記第１の検索工程における検索結果に対して、画像特徴量分布に基づく類似度検索を実行し、所定の類似度を有するサンプル画像を取得する第２の検索工程を備え、
前記結果提示工程では、前記第２の検索工程における検索結果を提示することを特徴とする請求項８に記載の画像検索方法。
【請求項１０】
前記付帯情報は、サンプル取得日時、サンプルに関連するデバイス名称及びサンプルに関連するプロセス名称を含むことを特徴とする請求項８に記載の画像検索方法。
【請求項１１】
前記サンプル画像情報は、さらに、該サンプル画像情報に含まれるサンプル画像から抽出された欠陥に対する対策内容及びその対策を施した場合の結果を示す対策結果を含む追加情報を有し、
前記第１の検索工程では、検索条件として入力された前記付帯情報及び／又は前記追加情報に合致したサンプル画像が前記記憶手段から取得されることを特徴とする請求項８に記載の画像検索方法。
【請求項１２】
さらに、前記検索条件として入力された前記付帯情報又は前記追加情報を履歴として保存する検索条件保存手段をセットする工程と、
前記履歴としての付帯情報又は追加情報を前記検索条件保存手段から読み出す読み出し工程と、を備え、
前記第１の検索工程では、前記読み出された付帯情報及び／又は追加情報に合致したサンプル画像が前記記憶手段から取得されることを特徴とする請求項１１に記載の画像検索方法。
【請求項１３】
前記結果提示工程では、前記基準画像、前記基準画像の付帯情報及び追加情報、前記検索条件、及び検索結果のうち、複数が組み合わせられて表示部に表示されることを特徴とする請求項１１に記載の画像検索方法。
【請求項１４】
基準画像に対して関連のある画像を検索する画像検索方法を実行するためのプログラムであって、
付帯情報が検索条件として入力され、この入力付帯情報に合致したサンプル画像を記憶手段から取得する第１の検索工程を実行するためのプログラムコードと、
前記第１の検索工程における検索結果を提示する結果提示工程を実行するためのプログラムコードと、を備え、
前記記憶手段は、サンプル画像と、当該画像を取得した条件を示す付帯情報とを有するサンプル画像情報を複数記憶することを特徴とする画像検索方法を実行するためのプログラム。
【請求項１５】
さらに、前記第１の検索工程における検索結果に対して、画像特徴量分布に基づく類似度検索を実行し、所定の類似度を有するサンプル画像を取得する第２の検索工程を実行するためのプログラムコードを備え、
前記結果提示工程では、前記第２の検索工程における検索結果を提示することを特徴とする請求項１４に記載の画像検索方法を実行するためのプログラム。
【請求項１６】
前記付帯情報は、サンプル取得日時、サンプルに関連するデバイス名称及びサンプルに関連するプロセス名称を含むことを特徴とする請求項１４に記載の画像検索方法を実行するためのプログラム。
【請求項１７】
前記サンプル画像情報は、該サンプル画像情報に含まれるサンプル画像から抽出された欠陥に対する対策内容及びその対策を施した場合の結果を示す対策結果を含む追加情報を有し、
前記第１の検索工程では、検索条件として入力された前記付帯情報及び／又は前記追加情報に合致したサンプル画像が前記記憶手段から取得されることを特徴とする請求項１４に記載の画像検索方法を実行するためのプログラム。
【請求項１８】
さらに、前記検索条件として入力された前記付帯情報又は前記追加情報を履歴として保存する検索条件保存手段をセットする工程を実行するためのプログラムコードと、
前記履歴としての付帯情報又は追加情報を前記検索条件保存手段から読み出す読み出し工程を実行するためのプログラムコードと、を備え、
前記第１の検索工程では、前記読み出された付帯情報及び／又は追加情報に合致したサンプル画像が前記記憶手段から取得されることを特徴とする請求項１７に記載の画像検索方法を実行するためのプログラム。
【請求項１９】
前記結果提示工程では、前記基準画像、前記基準画像の付帯情報及び追加情報、前記検索条件、及び検索結果のうち、複数が組み合わせられて表示部に表示されることを特徴とする請求項１７に記載の画像検索方法を実行するためのプログラム。
【請求項１】
基準画像に対して関連のある画像を検索する画像検索装置であって、
複数のサンプル画像と、当該画像を取得した条件を示す付帯情報とを有するサンプル画像情報を記憶する記憶手段と、
前記付帯情報が検索条件として入力され、この入力された付帯情報に合致したサンプル画像を前記記憶手段から取得する第１の検索手段と、
前記第１の検索手段による検索結果を提示する結果提示手段と、
を備えることを特徴とする画像検索装置。
【請求項２】
さらに、前記第１の検索手段による検索の結果、取得されたサンプル画像について、画像特徴量分布に基づく類似度検索を実行し、所定の類似度を有するサンプル画像を取得する第２の検索手段を備え、
前記結果提示手段は、前記第２の検索手段による検索結果を提示することを特徴とする請求項１に記載の画像検索装置。
【請求項３】
前記付帯情報は、サンプル取得日時、サンプルに関連するデバイス名称及びサンプルに関連するプロセス名称を含むことを特徴とする請求項１に記載の画像検索装置。
【請求項４】
前記サンプル画像情報は、さらに、該サンプル画像情報に含まれるサンプル画像から抽出された欠陥に対する対策内容及びその対策を施した場合の結果を示す対策結果を含む追加情報を有し、
前記第１の検索手段は、検索条件として入力された前記付帯情報及び／又は前記追加情報に合致したサンプル画像を前記記憶手段から取得することを特徴とする請求項１に記載の画像検索装置。
【請求項５】
さらに、前記検索条件として入力された前記付帯情報又は前記追加情報を履歴として保存する検索条件保存手段と、
前記履歴としての付帯情報又は追加情報を前記検索条件保存手段から読み出す読み出し手段と、を備え、
前記第１の検索手段は、前記読み出された付帯情報及び／又は追加情報に合致したサンプル画像を前記記憶手段から取得することを特徴とする請求項４に記載の画像検索装置。
【請求項６】
前記結果提示手段は、前記基準画像、前記基準画像の付帯情報及び追加情報、前記検索条件、及び検索結果のうち複数の情報を組み合わせて表示部に表示することを特徴とする請求項４に記載の画像検索装置。
【請求項７】
複数の画像検索装置を、ネットワークを介して接続した画像検索システムであって、第１の画像検索装置に含まれるサンプルに対して第２の画像検索装置から画像検索を実行し、該検索結果を前記第２の画像検索装置上に出力することを特徴とし、
前記画像検索装置は、基準画像に対して関連のある画像を検索する画像検索装置であって、
複数のサンプル画像と、当該画像を取得した条件を示す付帯情報とを有するサンプル画像情報を記憶する記憶手段と、
前記付帯情報が検索条件として入力され、この入力された付帯情報に合致したサンプル画像を前記記憶手段から取得する第１の検索手段と、
前記第１の検索手段による検索結果を提示する結果提示手段と、
を備えることを特徴とする画像検索システム。
【請求項８】
基準画像に対して関連のある画像を検索する画像検索方法であって、
付帯情報が検索条件として入力され、この入力付帯情報に合致したサンプル画像を記憶手段から取得する第１の検索工程と、
前記第１の検索工程における検索結果を提示する結果提示工程と、を備え、
前記記憶手段は、サンプル画像と当該画像を取得した条件を示す付帯情報とを有するサンプル画像情報を複数記憶することを特徴とする画像検索方法。
【請求項９】
さらに、前記第１の検索工程における検索結果に対して、画像特徴量分布に基づく類似度検索を実行し、所定の類似度を有するサンプル画像を取得する第２の検索工程を備え、
前記結果提示工程では、前記第２の検索工程における検索結果を提示することを特徴とする請求項８に記載の画像検索方法。
【請求項１０】
前記付帯情報は、サンプル取得日時、サンプルに関連するデバイス名称及びサンプルに関連するプロセス名称を含むことを特徴とする請求項８に記載の画像検索方法。
【請求項１１】
前記サンプル画像情報は、さらに、該サンプル画像情報に含まれるサンプル画像から抽出された欠陥に対する対策内容及びその対策を施した場合の結果を示す対策結果を含む追加情報を有し、
前記第１の検索工程では、検索条件として入力された前記付帯情報及び／又は前記追加情報に合致したサンプル画像が前記記憶手段から取得されることを特徴とする請求項８に記載の画像検索方法。
【請求項１２】
さらに、前記検索条件として入力された前記付帯情報又は前記追加情報を履歴として保存する検索条件保存手段をセットする工程と、
前記履歴としての付帯情報又は追加情報を前記検索条件保存手段から読み出す読み出し工程と、を備え、
前記第１の検索工程では、前記読み出された付帯情報及び／又は追加情報に合致したサンプル画像が前記記憶手段から取得されることを特徴とする請求項１１に記載の画像検索方法。
【請求項１３】
前記結果提示工程では、前記基準画像、前記基準画像の付帯情報及び追加情報、前記検索条件、及び検索結果のうち、複数が組み合わせられて表示部に表示されることを特徴とする請求項１１に記載の画像検索方法。
【請求項１４】
基準画像に対して関連のある画像を検索する画像検索方法を実行するためのプログラムであって、
付帯情報が検索条件として入力され、この入力付帯情報に合致したサンプル画像を記憶手段から取得する第１の検索工程を実行するためのプログラムコードと、
前記第１の検索工程における検索結果を提示する結果提示工程を実行するためのプログラムコードと、を備え、
前記記憶手段は、サンプル画像と、当該画像を取得した条件を示す付帯情報とを有するサンプル画像情報を複数記憶することを特徴とする画像検索方法を実行するためのプログラム。
【請求項１５】
さらに、前記第１の検索工程における検索結果に対して、画像特徴量分布に基づく類似度検索を実行し、所定の類似度を有するサンプル画像を取得する第２の検索工程を実行するためのプログラムコードを備え、
前記結果提示工程では、前記第２の検索工程における検索結果を提示することを特徴とする請求項１４に記載の画像検索方法を実行するためのプログラム。
【請求項１６】
前記付帯情報は、サンプル取得日時、サンプルに関連するデバイス名称及びサンプルに関連するプロセス名称を含むことを特徴とする請求項１４に記載の画像検索方法を実行するためのプログラム。
【請求項１７】
前記サンプル画像情報は、該サンプル画像情報に含まれるサンプル画像から抽出された欠陥に対する対策内容及びその対策を施した場合の結果を示す対策結果を含む追加情報を有し、
前記第１の検索工程では、検索条件として入力された前記付帯情報及び／又は前記追加情報に合致したサンプル画像が前記記憶手段から取得されることを特徴とする請求項１４に記載の画像検索方法を実行するためのプログラム。
【請求項１８】
さらに、前記検索条件として入力された前記付帯情報又は前記追加情報を履歴として保存する検索条件保存手段をセットする工程を実行するためのプログラムコードと、
前記履歴としての付帯情報又は追加情報を前記検索条件保存手段から読み出す読み出し工程を実行するためのプログラムコードと、を備え、
前記第１の検索工程では、前記読み出された付帯情報及び／又は追加情報に合致したサンプル画像が前記記憶手段から取得されることを特徴とする請求項１７に記載の画像検索方法を実行するためのプログラム。
【請求項１９】
前記結果提示工程では、前記基準画像、前記基準画像の付帯情報及び追加情報、前記検索条件、及び検索結果のうち、複数が組み合わせられて表示部に表示されることを特徴とする請求項１７に記載の画像検索方法を実行するためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００８−４０８１（Ｐ２００８−４０８１Ａ）
【公開日】平成２０年１月１０日（２００８．１．１０）
【国際特許分類】
【出願番号】特願２００７−１３１４０６（Ｐ２００７−１３１４０６）
【出願日】平成１９年５月１７日（２００７．５．１７）
【出願人】（５０１３８７８３９）株式会社日立ハイテクノロジーズ (4,325)
【Ｆターム（参考）】
【公開日】平成２０年１月１０日（２００８．１．１０）
【国際特許分類】
【出願日】平成１９年５月１７日（２００７．５．１７）
【出願人】（５０１３８７８３９）株式会社日立ハイテクノロジーズ (4,325)
【Ｆターム（参考）】
[ Back to top ]