欠陥検出方法、欠陥検出装置、学習方法、プログラム、及び記録媒体
【課題】実質的に同程度の時間及び正確さで、異なる画像の欠陥検出を実行する。
【解決手段】本発明に係る欠陥検出方法は、工業用部品に関する入力画像を受け取るステップと、上記入力画像に関するモデルタイプを受け取るステップと、上記モデルタイプに対応するモデル画像を取得するステップと、上記モデル画像と上記入力画像との間の画像間変換を推定するステップと、上記推定された画像間変換に基づいて上記モデル画像及び上記入力画像を共通座標系に変換することによって位置合わせされた入力画像と位置合わせされたモデル画像とを取得するステップと、上記入力画像及び上記モデル画像に関する複数の画像差分ベクトルを形成するステップと、上記入力画像に関するラベルされた分類マップを生成する統計分類モデルを、上記複数の画像差分ベクトルに対して適用するステップと、を含んでいる。
【解決手段】本発明に係る欠陥検出方法は、工業用部品に関する入力画像を受け取るステップと、上記入力画像に関するモデルタイプを受け取るステップと、上記モデルタイプに対応するモデル画像を取得するステップと、上記モデル画像と上記入力画像との間の画像間変換を推定するステップと、上記推定された画像間変換に基づいて上記モデル画像及び上記入力画像を共通座標系に変換することによって位置合わせされた入力画像と位置合わせされたモデル画像とを取得するステップと、上記入力画像及び上記モデル画像に関する複数の画像差分ベクトルを形成するステップと、上記入力画像に関するラベルされた分類マップを生成する統計分類モデルを、上記複数の画像差分ベクトルに対して適用するステップと、を含んでいる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、欠陥の検出に関するものである。より具体的には、本発明は、工業製品における欠陥領域の、画像に基づく自動検出に関するものである。
【背景技術】
【０００２】
欠陥検出における従来の方法の一つは、人間の検査によるものである。このような方法においては、１つ又は複数の欠陥領域を特定するために、作業者が工業製品の各画像を検査し、欠陥を手動で分類する必要がある。この人間の処理は、作業者の有する技術及び専門知識に深く依存する。加えて、異なる画像の処理に要する時間は大きく異なる。これにより、大量生産パイプラインについての問題を引き起こし得る。さらに、作業能力は、作業者間で大幅に異なり、かつ、時間が経過するにつれて作業者の疲労によりすぐに低下してしまう。
【０００３】
特許文献１には、検査画像中の通常領域について基準画像データと検査画像データとを比較検査し、検査画像中の特別領域について通常領域と異なる検査方法にて検査する技術が開示されている。
【０００４】
また、非特許文献１、及び、非特許文献２には、従来よく知られた、特徴点の検出、及び、各特徴点の形状記述子の抽出に関する方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−３４６６２７号公報（２０００年１２月１５日公開）
【非特許文献】
【０００６】
【非特許文献１】C.Schmid、R.Mohr、C.Bauckhage、“Evaluation of Interest Point Detectors”、International Journal of Computer Vision、２０００年６月、３７（２）号、１５１−１７２ページ、
【非特許文献２】P.Moreels、P.Perona、“Evaluation of Interest Point Detectors”、International Journal of Computer Vision、２００７年７月、７３（３）号、２６３−２８４ページ
【発明の概要】
【発明が解決しようとする課題】
【０００７】
欠陥検出における従来の他の方法は、例えば、画像周波数領域における位相相関、及び、画像空間領域における正規化相互相関など、画像テンプレートマッチングを含む。しかしながら、これらの方法は、画質ノイズ、コントラスト変化、及び、他の一般的な画像劣化や不整合に敏感である。さらに重要なことに、これらの方法では、カメラの動きや異なる操作設定によってモデル画像が幾何学的に変換されるような状況を取り扱うことができない。
【０００８】
実質的に同程度の時間で、かつ、実質的に同程度の正確さで、異なる画像の欠陥検出を実行することのできる、ロバストで自動的な方法、システム、及び、装置が望まれている。また、先の入力に基づいて学習を行い、性能を自動的に向上させることのできる、方法、システム、及び装置も望まれている。
【課題を解決するための手段】
【０００９】
本発明の実施形態は、一般的に、欠陥の検出に関するものである。より具体的には、本発明の実施形態は、工業製品の欠陥領域を画像に基づき自動検出することに関する。
【００１０】
本発明の実施形態の第１の側面に基づけば、オンライン分類段階より前にオフライン学習段階が実行される。
【００１１】
本発明の実施形態の第２の側面に基づけば、オンライン段階及びオフライン段階の双方は、ロバストな画像マッチングを含む。この画像マッチングにおいては、入力画像と対応モデル画像との間の幾何学変換が推定される。推定された幾何学変換は、入力画像及び対応モデル画像を、共通の座標系に変換するために用いられ、その結果、入力画像と対応モデル画像との位置合わせが行われる。画像の差分計測は、位置合わせされた入力画像及び位置合わせされた対応モデル画像から算出される。
【００１２】
本発明の実施形態の第３の側面に基づけば、ロバストな画像マッチングは、入力画像の特徴点と対応モデル画像の特徴点との間の特徴点マッチングが、現在推定されている幾何学変換に基づいて更新されるような反復処理を含んでいる。今度は、幾何学変換推定は、更新された特徴点マッチングに基づいて更新される。
【００１３】
本発明の実施形態の第４の側面に基づけば、画素に基づく差分計測が、位置合わせされた入力画像及び位置合わせされた対応モデル画像から算出される。
【００１４】
本発明の実施形態の第５の側面に基づけば、窓関数に基づく差分計測が、位置合わせされた入力画像及び位置合わせされた対応モデル画像から算出される。ここで、窓関数とは、指定された局所領域を窓とし、当該窓以外の領域では値が０となる関数である。したがって、窓関数に基づく差分計測とは、指定された局所領域内に含まれる画素のみに基づく差分計測であると表現することもできる。
【００１５】
本発明に係る欠陥検出方法は、工業用部品における欠陥を検出する欠陥検出方法であって、（ａ）工業用部品に関する入力画像を受け取るステップと、（ｂ）上記入力画像に関するモデルタイプを受け取るステップと、（ｃ）上記モデルタイプに対応するモデル画像を取得するステップと、（ｄ）上記モデル画像と上記入力画像との間の画像間変換を推定するステップであって、（ｄ−１）上記入力画像における第１の特徴点セットを検出するサブステップ、（ｄ−２）上記モデル画像における第２の特徴点セットを検出するサブステップ、（ｄ−３）現在の幾何学変換推定を決定するサブステップ、（ｄ−４）最大反復条件が満たされるまで、（１）上記現在の幾何学変換推定に基づいた上記第１の特徴点セットと上記第２の特徴点のセットとの間の特徴点マッチングのセット、及び、（２）更新された上記特徴点マッチングのセットに基づいた上記現在の幾何学変換推定、を反復更新するサブステップ、並びに、（ｄ−５）上記反復更新された現在の幾何学変換推定を上記推定された画像間変換に割り当てるサブステップ、を含むステップと、（ｅ）上記推定された画像間変換に基づいて、上記モデル画像及び上記入力画像を共通座標系に変換することによって、位置合わせされた入力画像と位置合わせされたモデル画像とを取得するステップと、（ｆ）上記入力画像及び上記モデル画像に関する複数の画像差分ベクトルを形成するステップと、（ｇ）上記入力画像に関するラベルされた分類マップを生成する統計分類モデルを、上記複数の画像差分ベクトルに対して適用するステップと、を含んでいることを特徴としている。
【００１６】
上記の欠陥検出方法によれば、上記モデル画像と上記入力画像との間の画像間変換が推定され、推定された画像間変換に基づいて、上記モデル画像及び上記入力画像を共通座標系に変換することによって、位置合わせされた入力画像と位置合わせされたモデル画像とが取得される。また、上記入力画像及び上記モデル画像に関する複数の画像差分ベクトルが形成され、上記入力画像に関するラベルされた分類マップを生成する統計分類モデルが、上記複数の画像差分ベクトルに対して適用される。
【００１７】
したがって、上記の欠陥検出方法によれば、上記推定された画像間変換に基づいて位置合わせされた上記入力画像および上記モデル画像に基づいて、欠陥検出を行うので、上記モデル画像に対する位置合わせがされていない入力画像が入力される場合であっても、工業用部品における欠陥を効果的に検出することができる。
【００１８】
また、上記の欠陥検出方法によれば、上記モデル画像と上記入力画像との間の画像間変換を推定するステップには、（ｄ−１）上記入力画像における第１の特徴点セットを検出するサブステップ、（ｄ−２）上記モデル画像における第２の特徴点セットを検出するサブステップ、（ｄ−３）現在の幾何学変換推定を決定するサブステップ、（ｄ−４）最大反復条件が満たされるまで、（１）上記現在の幾何学変換推定に基づいた上記第１の特徴点セットと上記第２の特徴点のセットとの間の特徴点マッチングのセット、及び、（２）更新された上記特徴点マッチングのセットに基づいた上記現在の幾何学変換推定、を反復更新するサブステップ、並びに、（ｄ−５）上記反復更新された現在の幾何学変換推定を上記推定された画像間変換に割り当てるサブステップが含まれる。
【００１９】
したがって、上記の欠陥検出方法によれば、上記幾何学変換を用いて上記画像間変換を推定するので、工業用部品における欠陥を効果的に検出することができる。
【００２０】
なお、上記画像間変換の例としては、２Ｄ平行移動（translation）、回転、サイズ変化（scaling）、アファイン変換、および、射影変換（homography）等が挙げられる。また、上記幾何学的変換とは、入力画像またはモデル画像の一方の画像内のある一つの画素を、他方の画像の新しい位置に写像する１対１変換である。
【００２１】
また、本発明に係る学習方法は、工業用部品の欠陥を検出するための欠陥検出システムの学習方法であって、（ａ）工業用部品に関する入力画像を受け取るステップと、（ｂ）上記入力画像に関するモデルタイプを受け取るステップと、（ｃ）上記モデルタイプに対応するモデル画像を取得するステップと、（ｄ）上記入力画像に関する真の欠陥マスクを受け取るステップと、（ｅ）上記モデル画像と上記入力画像との間の画像間変換を推定するステップであって、（ｅ−１）上記入力画像における第１の特徴点セットを検出するサブステップ、（ｅ−２）上記モデル画像における第２の特徴点セットを検出するサブステップ、（ｅ−３）現在の幾何学変換推定を決定するサブステップ、（ｅ−４）最大反復条件が満たされるまで、（１）上記現在の幾何学変換推定に基づいた上記第１の特徴点セットと上記第２の特徴点のセットとの間の特徴点マッチングのセット、及び、（２）更新された上記特徴点マッチングのセットに基づいた上記現在の幾何学変換推定、を反復推定するサブステップ、並びに、（ｅ−５）上記反復更新された現在の幾何学変換推定を上記推定された画像間変換に割り当てるサブステップ、を含むステップと、（ｆ）上記推定された画像間変換に基づいて、上記モデル画像及び上記入力画像を共通座標系に変換することによって、位置合わせされた入力画像と位置合わせされたモデル画像を取得するステップと、（ｇ）上記入力画像及び上記モデル画像に関する複数の画像差分ベクトルを形成するステップと、（ｈ）上記複数の画像差分ベクトル及び真の欠陥マスクを用いて、統計分類モデルを学習させるステップと、を含んでいることを特徴としている。
【００２２】
上記の学習方法によれば、先の入力画像に基づいて学習を行い、欠陥検出性能を自動的に向上させることができる。
【００２３】
本発明における、上述および他の目的、特徴、並びに、利点は、添付した図面とともに、下記に示す本発明の詳細な説明を参照することによって、より容易に理解されるだろう。
【発明の効果】
【００２４】
本発明に係る欠陥検出方法によれば、工業用部品における欠陥を効果的に検出することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施形態に係る、統計分類モデルのオフライン学習を示すフローチャートである。
【図２】本発明の実施形態に係る、入力画像と対応モデル画像のロバストマッチングを示すフローチャートである。
【図３】本発明の実施形態に係る、特徴点マッチングを示すフローチャートである。
【図４】本発明の実施形態に係る、現在の幾何学変換推定に基づく特徴点マッチングの更新を示すフローチャートである。
【図５】本発明の実施形態に係る、画像差分の計算を示すフローチャートである。
【図６】本発明の実施形態に係る、画像差分ベクトルの形成を示すフローチャートである。
【図７】本発明の実施形態に係る、統計分類モデルの学習を示すフローチャートである。
【図８】本発明の実施形態に係る、オンライン欠陥検出を示すフローチャートである。
【発明を実施するための形態】
【００２６】
本発明に係る実施形態は、図面を参照することによって最も明らかとなるだろう。なお、図面においては、同様の部材には同様の符号を付して示している。また、上述の図面は、この詳細な説明の一部として明示的に取り入れられる。
【００２７】
一般的に記載され、また、図面に示されている本発明の構成は、様々な異なる構成に変更および設計可能であることは、容易に理解できるだろう。すなわち、本発明の方法およびシステムに係る実施形態について下記に示すより詳細な説明は、本発明の範囲を限定するものではなく、本発明についての現在における好ましい実施形態を示しているに過ぎない。
【００２８】
本発明に係る実施形態の要素は、ハードウェア、ファームウェア、および／またはソフトウェアにおいて実現される。本明細書において開示する実施形態では、主として、これらの形態のうち１つのみについて説明するが、当業者が任意の形態においてこれらの要素を実現し得ることは明らかであり、このようにして実現されたものも本発明の範囲に含まれる。
【００２９】
本発明に係る実施形態は、一般に、欠陥の検出に関する。より具体的には、本発明に係る実施形態は、例えば、電子回路、液晶ディスプレイ（ＬＣＤ）パネル、及び他の工業製品などの、工業製品における欠陥領域を、画像に基づいて自動検出することに関する。
【００３０】
本発明のいくつかの実施形態によれば、工業製品が欠陥領域を含んでいるかどうかを検査するために、また、工業製品が欠陥領域を含んでいる場合には、欠陥領域を特定し欠陥を分類するために、１つ以上のデジタルカメラから工業製品のデジタル画像が取得される。
【００３１】
本発明のいくつかの実施形態は、図１に関連して記載されたオフライン学習段階を含んでいる。これらの実施形態において、モデル画像データベースは、一人または複数の作業者によって構築・更新される。モデル画像データベースは、異なるモデル画像と、各モデル画像についての関連情報とを含んでいる。例えば、関連情報とは、モデルタイプ、要素のラベル画像、及び、他のモデル画像情報などである。新しいモデル画像がモデル画像データベースに追加される度に、作業者は新しく追加されたモデル画像に関する情報を入力する。モデル画像データベースは、従来知られたデータベースの実装に従って、例えばＳＱＬｉｔｅ及び他の従来の関係型データベースソフトウェアなどの、モデルタイプ毎に索引を付けられる従来の関係型データベースソフトウェアによって実装される。オフライン学習段階において、入力画像及び入力画像のモデルタイプ情報が取得される（１００）。対応モデル画像がモデル画像データベースから検出され（１０２）、入力画像の真の欠陥マスクが取得される（１０４）。入力画像の真の欠陥マスクは、作業者に対し、各画素について、入力画像の各画素に欠陥があるのか否かを特定するラベルを供給するように問い合わせることによって取得される。本発明のいくつかの実施形態において、「１」のラベルは欠陥があることを示し、「−１」のラベルは欠陥がないことを示す。別の実施形態においては、他のラベル値を用いてもよい。ロバストマッチングは、入力画像と対応モデル画像との間で実行され（１０６）、画像差分ベクトルのセットが、全ての画像画素に対して形成される（１０８）。画像差分ベクトル及び真の欠陥マスクが、入力画像について格納される（１１０）。全ての入力画像が処理されたか否かが判定される（１１２）。未処理の入力画像が存在する場合（１１３）、次の入力画像及び次の入力画像のモデルタイプ情報が取得され（１００）、新しく取得された入力画像についての処理が行われる。全ての入力画像が処理された場合（１１５）、全ての入力画像について格納された画像差分ベクトル及び真の欠陥マスクが、本発明の実施形態に従ったオンライン欠陥検出で用いられる統計的分類モデルの学習のために用いられる（１１６）。
【００３２】
入力画像と対応モデル画像とのロバストマッチングの実行（１０６）は、入力画像と対応モデル画像との間の二次元（２Ｄ）幾何学変換の推定を含んでいる。二次元幾何学変換は、画像間変換、又は、変換とも呼ばれる。２Ｄ幾何学変換は、入力画像または対応モデル画像の一方の画像内のある一つの画素を、他方の画像の新しい位置に写像する１対１変換である。２Ｄ幾何学変換が推定された後、入力画像及び対応モデル画像は共通の２Ｄ座標系に写像される。いくつかの実施形態において、対応モデル画像が、入力画像の座標系に写像される。他の実施形態において、入力画像が、対応モデル画像の座標系に写像される。さらに他の実施形態においては、入力画像及び対応モデル画像の双方が、新しい座標系に写像される。
【００３３】
本発明の実施形態に係る、画像間変換の推定は、図２を参照することによって理解されるであろう。なお、画像間変換は、画像の位置あわせとも呼ばれる。これらの実施形態では、Ｔ１２と表される変換行列は、例えば、入力画像又は対応モデル画像である第１画像における
【００３４】
【数１】
【００３５】
と表される第１の点を、例えば、対応モデル画像又は入力画像である第２画像における
【００３６】
【数２】
【００３７】
と表される第１の点に、次式で表されるように割り当てる。
【００３８】
【数３】
【００３９】
ここで、Ｔ１２は、２Ｄ平行移動（translation）、回転、サイズ変化（scaling）、アファイン変換、射影変換（homography）及び他の画像間変換に関する３×３の行列で表される。本発明の実施形態によれば、多くの特徴点が、入力画像及び対応モデル画像から検出される（２００）。検出された各特徴点について、形状記述子が抽出される（２０２）。特徴点の検出（２００）及び各特徴点についての形状記述子の抽出（２０２）のための方法やシステムが多くあるということを、この分野の技術に関する知識を持った者であれば認識するであろう。典型的な方法は、例えば、Ｃ．Ｓｃｈｍｉｄ、Ｒ．Ｍｏｈｒ、及びＣ．Ｂａｕｃｋｈａｇｅによる“Ｅｖａｌｕａｔｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ Ｐｏｉｎｔ Ｄｅｔｅｃｔｏｒｓ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，３７（２）：１５１−１７２、２０００年６月、並びに、Ｐ．Ｍｏｒｅｅｌｓ、及びＰ．Ｐｅｒｏｎａによる“Ｅｖａｌｕａｔｉｏｎ ｏｆ Ｆｅａｒｕｒｅｓ Ｄｅｔｅｃｔｏｒｓ ａｎｄ Ｄｅｓｃｒｉｐｔｏｒｓ ｂａｓｅｄ ｏｎ ３Ｄ Ｏｂｊｅｃｔｓ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，７３（３）：２６３−２８４、２００７年７月、に記載されている。上記文献を参照することによって、それらの全体が本明細書に組み込まれるものとする。
【００４０】
図２に関連して示される本発明のいくつかの実施形態において、作業者は、幾何学変換推定を、２Ｄ平行移動に初期化するか否かを指示する（２０４）。作業者の指示は、平行移動指示（translation indicator）とも呼ばれる。平行移動指示が初期並行移動を算出することを示している場合（２０５）、初期画像平行移動は、例えば、位相相関及び他のテンプレートマッチング方法など、技術的に知られたテンプレートマッチング方法によって算出される。本発明のいくつかの実施形態において、初期画像平行移動は、モデル画像全体及び入力画像全体を用いて推定される。他の実施形態において、テンプレートマッチングは、モデル画像及び入力画像において選択された対象領域（ＲＯＩ：region of interest）を用いて行われる。いくつかの実施形態において、ＲＯＩは、矩形状又は他の形状の領域であり、モデル画像において、テンプレートマッチングを容易にする特有の特徴を含んでいる領域である。幾何学変換推定は、初期画像平行移動にて推定される。平行移動指示が初期平行移動を算出することを示していない場合（２０７）、初期幾何学変換推定は、マッチングされた特徴点から算出される。特徴点マッチングは、入力画像において検出された特徴点と、対応モデル画像において検出された特徴点との間の全数検査により決定される（２０８）。
【００４１】
図２及び図３に関連して示される本発明のいくつかの実施形態において、特徴点マッチングは、入力画像又は対応モデル画像の何れか一方である第１画像から検出された特徴点群から、当該第１画像における処理されていない特徴点を選択（３００）することにより、検出される（２０８）。処理されていない特徴点は、マッチングのための次の特徴点として用いられ、ｐ１と表される。第１画像から検出された特徴点群は、Ｐ１と表される。上記入力画像又は対応モデル画像の他の一方である第２画像から検出された特徴点群から、ｐ１と最もマッチ（適合）する上位Ｋ２個の点であるＫ２ベストマッチング特徴点が決定される（３０２）。第２画像から検出された特徴点群から選ばれた上記Ｋ２ベストマッチング特徴点は、Ｍ２と表され、第２画像から検出された特徴点群は、Ｐ２と表される。ｐ２と表される、処理されていない特徴点は、Ｍ２から選択され（３０４）、第１画像から検出された特徴点群から、ｐ２と最もマッチする上位Ｋ１個の点であるＫ１ベストマッチング特徴点が決定される（３０６）。上記Ｋ１ベストマッチング特徴点であるＭ１は、ｐ１がＭ１のセットに含まれるか否かを判定するために検証される（３０８）。ｐ１がＭ１に含まれる場合（３０９）、特徴点ペア{ｐ１、ｐ２}は、特徴点マッチングのセットに加えられ（３１０）、Ｍ２にまだ処理されていない点がないかが確認される（３１２）。ｐ１がＭ１に含まれていない場合（３１１）、Ｍ２にまだ処理されていない点がないかが確認される（３１２）。Ｍ２に処理されていない点がある場合（３１３）、Ｋ２ベストマッチング特徴点であるＭ２から、次の特徴点が選択される（３０４）。Ｍ２に処理されていない点がない場合（３１５）、Ｐ１に含まれる全ての点が処理されたか否かを判定する（３１６）。Ｐ１に処理されていない点がある場合（３１７）、Ｐ１に含まれる次の特徴点が選択され（３００）、マッチング処理が繰り返される。Ｐ１に処理されていない点がない場合（３１９）、特徴点マッチングの特徴点セットを後処理に利用可能にし（３２０）、例えば、特徴点マッチングに基づく初期変換の算出などの後処理を行う（２１０）。本発明のいくつかの実施形態において、Ｋ１及びＫ２は同一の値を用いる。
【００４２】
初期幾何学変換推定が算出された後（２０６、２１０）、特徴点マッチングは、現在の幾何学変換推定、最初は初期幾何学変換推定、によりガイドされて更新される（２１２）。特徴点マッチングの更新（２１２）にガイドされた現在の幾何学変換推定は、第１画像における第１の点ｐ１を示す図４を参照することによって理解されるであろう。まず、ｐ１は、現在の幾何学変換の推定に従って、第２画像の座標系における新しい位置ｐ１’に写像される（４００）。Ｒ１と表される局所領域は、第２画像中の新しい位置ｐ１’の周辺領域として決定される（４０２）。局所領域Ｒ１の中にある特徴点群から、次の処理されていない特徴点ｐ２が選択され（４０４）、ｐ１とｐ２との間の位置の差分及び記述子の値が算出され（４０８）、ｐ２がｐ１とのマッチングの上位Ｋ個以内に入る場合、算出された差分（４０８）に従って、Ｋ要素配列にｐ２が格納される（４１０）。Ｒ１における全ての特徴点が処理されたか否かが判定される（４１２）。処理されていない特徴点がある場合（４１３）、次の処理されていない特徴点が選択され（４０４）、処理される。Ｒ１における全ての特徴点が処理されていた場合（４１５）、ｐ１のための特徴点マッチングの特徴点セットが後処理に利用可能にされる（４１６）。幾何学変換推定は、更新された現在の特徴点マッチングに基づいて更新される（２１４）。現在の幾何学変換推定によってガイドされた特徴点マッチングの回数と、許可された反復の最大数とが、比較され（２１６）、２つの値の間の条件が一致する場合（２１７）、入力画像及び対応モデル画像は、推定された幾何学変換に基づく共通の座標系に変換され（２１８）、その結果として位置合わせされた入力画像及び位置合わせされた対応モデル画像が生成される。２つの値の間の条件が一致しない場合（２１９）、更新処理が再び繰り返される。
【００４３】
再び図１を参照すれば、画像差分ベクトルは、位置合わせされた画像の各画素位置について形成される（１０８）。図５に関連して示される本発明のいくつかの実施形態において、画像差分ベクトルの形成は、比較マスク画像の生成を含んでいる（５００）。比較マスク画像は、位置合わせされた入力画像と位置合わせされた対応モデル画像との間の各画素位置における画素値の差分を算出することによって生成される（５００）。いくつかの実施形態において、差分値の絶対値が、閾値と比較される。差分値の絶対値が閾値よりも小さい場合、マスク値は０に設定され、差分値の絶対値が閾値以上である場合、マスク値は０以外の値に設定される。いくつかの実施形態において、マスク値は、差分値の絶対値が０である場合にのみ、０に設定される。
【００４４】
比較マスク画像における次の処理されていない０でない画素が選択され（５０２）、位置合わせされた入力画像及び位置合わせされた対応モデル画像から、対応する画素値が抽出される（５０４）。画素に基づく差分計測が、画素値から算出される（５０６）。本発明のいくつかの実施形態において、差分値の絶対値は次式によって算出される。
【００４５】
【数４】
【００４６】
ここで、Ｉ（ｘ、ｙ）及びＭ（ｘ、ｙ）は、それぞれ、位置合わせされた入力画像及び位置合わせされた対応モデル画像の画素位置（ｘ、ｙ）における画素値を表している。本発明のいくつかの実施形態において、相対差分値は次式によって算出される。
【００４７】
【数５】
【００４８】
いくつかの実施形態において、位置合わせされた入力画像の強度値（画素値）と位置合わせされた対応モデル画像の強度値（画素値）との間の線形一次元（１Ｄ）変換は、次式により決定される。
【００４９】
【数６】
【００５０】
ここで、ａ及びｂは変換パラメータである。本発明のいくつかの実施形態において、補正された差分値の絶対値、及び、補正された相対差分値は、次の２式
【００５１】
【数７】
【００５２】
及び
【００５３】
【数８】
【００５４】
によってそれぞれ計算される。
【００５５】
画素値は、選択された画素位置周辺の局所領域から抽出され（５０８）、窓関数に基づく差分計測が算出される（５１０）。いくつかの実施形態において、矩形状の窓を用いた窓関数に基づく差分値は、次式によって計算される。
【００５６】
【数９】
【００５７】
ここで、Ｗは局所領域を表している。いくつかの実施形態において、正規化相互相関値は、次式で計算される。
【００５８】
【数１０】
【００５９】
ここで、
【００６０】
【数１１】
【００６１】
及び
【００６２】
【数１２】
【００６３】
は、それぞれ、局所領域Ｗの中の位置合わせされた入力画像の画素値の平均値、及び、局所領域Ｗの中の位置合わせされた対応モデル画像の画素値の平均値を表している。
【００６４】
全ての０でないマスク画素が処理されたか否かが判定される（５１２）。処理されていない０でないマスク画素が存在する場合（５１３）、次の０でないマスク画素が選択され（５０２）、処理される。全ての０でないマスク画素が処理されていた場合（５１５）、画像エッジ重みマップがモデル画像から算出される（５１６）。画像エッジ重みマップは、モデル画像のエッジ画素からの画素数（距離）に基づいて、画素重み付け値を決定する。エッジ画素はよく知られた一般的なエッジ抽出フィルタ処理により抽出する。例えばSobelフィルタにより抽出する。エッジ画素からの距離は例えば最も近いエッジ画素からの距離とする。エッジ画素により近い画素位置は、エッジ画素からより遠い画素位置よりも、より小さい重み付け値を持つ。いくつかの実施形態において、重み付け値は、０から１までの範囲の値である。ここで、エッジ位置と一致した画素位置には、０の重み付け値が与えられ、エッジから最も遠い画素位置には、１の重み付け値が与えられる。差分計測は画像エッジ重みマップに従って調整され（５１８）、調整された差分値は、後処理に利用可能にされる（５２０）。いくつかの実施形態において、差分値は、調整されていない差分値に対応する重み付け値を乗算することによって調整される。
【００６５】
画像差分ベクトルは、図６に示すように、各画素位置において形成される。画素位置周辺の局所領域が決定される（６００）。いくつかの実施形態において、局所領域は、画素位置を中心とする矩形状の領域である。
処理されていない差分マップが選択され（６０２）、局所領域内の画素位置から、差分マップに関する差分値が検索される（６０４）。差分値の２Ｄ配列（２次元配列）が、差分値の１Ｄ（１次元）ベクトルに変換される（６０６）。現在の処理された差分マップに関する値の１Ｄベクトルは、画素位置に関する画像差分ベクトルに追加される。全ての差分マップが処理されたか否かが判定される（６１０）。処理されていない差分マップが存在する場合（６１１）、次の処理されていない差分マップが選択される（６０２）。全ての差分マップが処理されている場合（６１３）、画素位置に関する画像差分ベクトルは、後処理に利用可能にされる（６１４）。
【００６６】
図１において、全ての入力画像が処理された後（１１５）、各入力画像について、入力画像の各画素位置に関する画像差分ベクトルと、真の欠陥マスクとが格納されている。統計分類モデルは、各入力画像について格納されている画像差分ベクトルと真の欠陥マスクとを用いて学習される（１１６）。学習処理については、図７を参照して説明する。
【００６７】
統計分類モデルは、入力として、入力画像に関する画像差分ベクトルを取り、入力画像の各画素位置における出力ラベルを生成する。ラベルされた出力は、例えば、「欠陥」及び「無欠陥」など、各画素の分類を示すラベルされた分類マップとして参照される。統計分類モデルに関する実施形態の典型例は、サポートベクターマシン、ブースティング分類手法、及び、技術的に知られた他の分類モデルなどを含んでいる。
【００６８】
学習データは、学習部分集合と検証部分集合との、２つの部分集合に分割される（７００）。学習パラメータの検証されていないセットが、学習可能なパラメータのセットから選択される（７０２）。統計分類モデルが、選択された学習パラメータを用いて学習部分集合を用いて学習される（７０４）。学習された統計分類モデルが、検証部分集合を用いて検証される（７０６）。検証は、検証部分集合における入力画像に関する画像差分ベクトルを、入力画像の各画素位置が「欠陥」または「無欠陥」とラベル付けされるような、ラベル付けされた出力を生成する統計分類モデルに入力することを含む。検証部分集合における全ての入力画像が処理されると、現在学習された分類モデルの性能スコアが、真の欠陥マスクを用いて算出される（７０８）。本発明のいくつかの実施形態において、分類モデルに関する性能スコアは、正検出率（true positive rate）及び誤検出率（false positive rate）に基づき、次式に従って決定される。
【００６９】
【数１３】
【００７０】
ここで、ＴＰ及びＦＴは、それぞれ、正検出率及び誤検出率を示しており、αは、欠陥検出システムの性能要求に関する設計パラメータを示している。これらの実施形態において、より高いスコアは、よりよい分類モデル性能を示している。
【００７１】
現在検証された分類モデルの性能スコアは、現在の最もよい分類モデルの性能スコアと比較される（７１０）。現在検証された分類モデルの性能スコアの方が、現在の最もよい分類モデルの性能スコアよりもよい性能スコアである場合（７１１）、現在の最もよい分類モデルは、現在検証された分類モデルに更新され（７１２）、検証すべきパラメータセットが残っているか否かが判定される（７１４）。現在検証された分類モデルの性能スコアの方が、現在の最もよい分類モデルの性能スコアよりもよい性能スコアでない場合（７１３）、検証すべきパラメータセットが残っているか否かが判定される（７１４）。検証すべきパラメータセットが残っている場合（７１５）、次の検証されていないパラメータのセットが選択される（７０２）。検証すべきパラメータセットが残っていない場合（７１７）、学習は完了し（７１８）、現在の最もよい分類モデルはオンライン欠陥検出処理に用いられる。
【００７２】
本発明のいくつかの実施形態におけるオンライン欠陥検出は、図８を参照することによって理解されるであろう。入力画像及び入力画像のモデルタイプ情報が取得される（８００）。対応するモデル画像がモデル画像データベースから検出される（８０２）。モデル画像データベースは、従来知られたデータベースの実装に従って、例えばＳＱＬｉｔｅ及び他の従来の関係型データベースソフトウェアなどの、モデルタイプ毎に索引を付けられる従来の関係型データベースソフトウェアによって実装される。入力画像と対応モデル画像との間のロバストマッチングが実行され（８０４）、全ての画像画素について、画像差分ベクトルのセットが形成される（８０６）。ロバストマッチング及び画像差分ベクトルの形成は、上述のオフライン学習段階と同様の処理で実行される。画像差分ベクトルは、以前に学習された統計分類モデルへの入力として用いられ（８０８）、統計分類モデルによって返される検出された欠陥領域は、１つ又は複数の後処理段階によって、整えられる（８１０）。典型的な後処理段階としては、モフォロジー処理の膨張処理（morphological dilation）、色領域の拡張、連結分析、及び、他の技術的に知られた領域改良等を用いた後処理を挙げることができる。
【００７３】
図におけるフローチャート及びダイアグラムは、特定の順序での処理を示しているが、処理の順序は、図に示されたものと異なっていてもよいことが理解されるであろう。例えば、ブロックの処理順序は、図示された順序に比べて変化してもよい。そのうえ、さらなる例として、図において連続して示された２つまたはそれ以上のブロックは、同時に実行されてもよく、または、一部が同時に実行されてもよい。本明細書に記載の様々な論理関数を実行するために、当業者は、ソフトウェア、ハードウェア、および／または、ファームウェアを作成することができることが理解されるであろう。
【００７４】
本発明に係るいくつかの実施形態には、本明細書に記載の特徴及び方法を実行するコンピュータシステムをプログラムするために用いられる指示が格納されているコンピュータ読み取り可能な記録媒体を備えるコンピュータプログラム製品（computer program
product）が含まれる。典型的なコンピュータ読み取り可能な記録媒体には、フラッシュメモリデバイス、フロッピー（登録商標）ディスク、光ディスク、磁気ディスク、デジタルバーサタイルディスク（ＤＶＤｓ）、コンパクトディスク（ＣＤｓ）、マイクロドライブ、及びその他のディスク型記録媒体等のディスク型記録媒体、リードオンリーメモリ（ＲＯＭｓ）、プログラマブルリードオンリーメモリ（ＰＲＯＭｓ）、イレイサブルプログラマブルリードオンリーメモリ（ＥＰＲＯＭｓ）、エレクトリカリーイレイサブルプログラマブルリードオンリーメモリ（ＥＥＰＲＯＭｓ）、ランダムアクセスメモリ（ＲＡＭＳ）、ビデオランダムアクセスメモリ（ＶＲＡＭｓ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭｓ）、並びに、指示及び／又はデータを格納することのできる媒体やデバイスが含まれる。
【００７５】
（欠陥検出装置）
本発明に係る欠陥検出装置は、図１から図８を用いて説明した各ステップの少なくとも一部を実現する各手段を備えることによって実現することができる。
【００７６】
例えば、本発明に係る欠陥検出装置は、（ａ）工業用部品に関する入力画像を受け取る画像受信手段（ステップ１００の一部に対応）と、（ｂ）上記入力画像に関するモデルタイプを受け取るモデルタイプ受信手段（ステップ１００の一部に対応）と、（ｃ）上記モデルタイプに対応するモデル画像を取得するモデル画像取得手段（ステップ１０２に対応）と、（ｄ）上記モデル画像と上記入力画像との間の画像間変換を推定する画像間変換推定手段（ステップ１０６の一部に対応）であって、（ｄ−１）上記入力画像における第１の特徴点セットを検出し、（ｄ−２）上記モデル画像における第２の特徴点セットを検出し、（ｄ−３）現在の幾何学変換推定を決定し、（ｄ−４）最大反復条件が満たされるまで、（１）上記現在の幾何学変換推定に基づいた上記第１の特徴点セットと上記第２の特徴点のセットとの間の特徴点マッチングのセット、及び、（２）更新された上記特徴点マッチングのセットに基づいた上記現在の幾何学変換推定、を反復更新し、（ｄ−５）上記反復更新された現在の幾何学変換推定を上記推定された画像間変換に割り当てる画像間変換推定手段と、（ｅ）上記推定された画像間変換に基づいて、上記モデル画像及び上記入力画像を共通座標系に変換することによって、位置合わせされた入力画像と位置合わせされたモデル画像とを取得する画像変換手段（ステップ１０６の一部に対応）と、（ｆ）上記入力画像及び上記モデル画像に関する複数の画像差分ベクトルを形成する差分計算手段（ステップ１０８に対応）と、（ｇ）上記複数の画像差分ベクトルに基づいて、上記入力画像に関するラベルされた分類マップを生成する統計分類モデルと、を備えることによって実現することができる。
【００７７】
また、本発明に係る欠陥検出装置は、図２から図８に示した各ステップの少なくとも一部を実現するための各手段を更に備える構成とすることができる。
【００７８】
（プログラム及び記録媒体）
本発明に係る欠陥検出装置の各手段は、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。
【００７９】
後者の場合、欠陥検出装置は、各機能を実現するプログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである欠陥検出装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記欠陥検出装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【００８０】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。
【００８１】
また、欠陥検出装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
【００８２】
（付記事項）
以上説明したように、本発明のいくつかの実施形態においては、１画素単位で欠陥か無欠陥かを判定しているため、欠陥の形状にとらわれず、任意の形状の欠陥を検出可能である。また、以上説明したように、上記欠陥か無欠陥かの判定精度を向上させるために、１つの画素に基づく比較と１つの窓関数に基づく比較とを採用している。
【００８３】
上述した説明において用いられた用語や表現は、説明のための用語として用いられるものであり、何らの限定を伴うものではない。また、それらの用語や表現は、本明細書に記載された特徴またはその一部と同等の構成を排除することを意図するものではない。本発明の範囲は、以下の請求項によって定義され、以下の請求項によってのみ限定されるものである。
【技術分野】
【０００１】
本発明は、一般に、欠陥の検出に関するものである。より具体的には、本発明は、工業製品における欠陥領域の、画像に基づく自動検出に関するものである。
【背景技術】
【０００２】
欠陥検出における従来の方法の一つは、人間の検査によるものである。このような方法においては、１つ又は複数の欠陥領域を特定するために、作業者が工業製品の各画像を検査し、欠陥を手動で分類する必要がある。この人間の処理は、作業者の有する技術及び専門知識に深く依存する。加えて、異なる画像の処理に要する時間は大きく異なる。これにより、大量生産パイプラインについての問題を引き起こし得る。さらに、作業能力は、作業者間で大幅に異なり、かつ、時間が経過するにつれて作業者の疲労によりすぐに低下してしまう。
【０００３】
特許文献１には、検査画像中の通常領域について基準画像データと検査画像データとを比較検査し、検査画像中の特別領域について通常領域と異なる検査方法にて検査する技術が開示されている。
【０００４】
また、非特許文献１、及び、非特許文献２には、従来よく知られた、特徴点の検出、及び、各特徴点の形状記述子の抽出に関する方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−３４６６２７号公報（２０００年１２月１５日公開）
【非特許文献】
【０００６】
【非特許文献１】C.Schmid、R.Mohr、C.Bauckhage、“Evaluation of Interest Point Detectors”、International Journal of Computer Vision、２０００年６月、３７（２）号、１５１−１７２ページ、
【非特許文献２】P.Moreels、P.Perona、“Evaluation of Interest Point Detectors”、International Journal of Computer Vision、２００７年７月、７３（３）号、２６３−２８４ページ
【発明の概要】
【発明が解決しようとする課題】
【０００７】
欠陥検出における従来の他の方法は、例えば、画像周波数領域における位相相関、及び、画像空間領域における正規化相互相関など、画像テンプレートマッチングを含む。しかしながら、これらの方法は、画質ノイズ、コントラスト変化、及び、他の一般的な画像劣化や不整合に敏感である。さらに重要なことに、これらの方法では、カメラの動きや異なる操作設定によってモデル画像が幾何学的に変換されるような状況を取り扱うことができない。
【０００８】
実質的に同程度の時間で、かつ、実質的に同程度の正確さで、異なる画像の欠陥検出を実行することのできる、ロバストで自動的な方法、システム、及び、装置が望まれている。また、先の入力に基づいて学習を行い、性能を自動的に向上させることのできる、方法、システム、及び装置も望まれている。
【課題を解決するための手段】
【０００９】
本発明の実施形態は、一般的に、欠陥の検出に関するものである。より具体的には、本発明の実施形態は、工業製品の欠陥領域を画像に基づき自動検出することに関する。
【００１０】
本発明の実施形態の第１の側面に基づけば、オンライン分類段階より前にオフライン学習段階が実行される。
【００１１】
本発明の実施形態の第２の側面に基づけば、オンライン段階及びオフライン段階の双方は、ロバストな画像マッチングを含む。この画像マッチングにおいては、入力画像と対応モデル画像との間の幾何学変換が推定される。推定された幾何学変換は、入力画像及び対応モデル画像を、共通の座標系に変換するために用いられ、その結果、入力画像と対応モデル画像との位置合わせが行われる。画像の差分計測は、位置合わせされた入力画像及び位置合わせされた対応モデル画像から算出される。
【００１２】
本発明の実施形態の第３の側面に基づけば、ロバストな画像マッチングは、入力画像の特徴点と対応モデル画像の特徴点との間の特徴点マッチングが、現在推定されている幾何学変換に基づいて更新されるような反復処理を含んでいる。今度は、幾何学変換推定は、更新された特徴点マッチングに基づいて更新される。
【００１３】
本発明の実施形態の第４の側面に基づけば、画素に基づく差分計測が、位置合わせされた入力画像及び位置合わせされた対応モデル画像から算出される。
【００１４】
本発明の実施形態の第５の側面に基づけば、窓関数に基づく差分計測が、位置合わせされた入力画像及び位置合わせされた対応モデル画像から算出される。ここで、窓関数とは、指定された局所領域を窓とし、当該窓以外の領域では値が０となる関数である。したがって、窓関数に基づく差分計測とは、指定された局所領域内に含まれる画素のみに基づく差分計測であると表現することもできる。
【００１５】
本発明に係る欠陥検出方法は、工業用部品における欠陥を検出する欠陥検出方法であって、（ａ）工業用部品に関する入力画像を受け取るステップと、（ｂ）上記入力画像に関するモデルタイプを受け取るステップと、（ｃ）上記モデルタイプに対応するモデル画像を取得するステップと、（ｄ）上記モデル画像と上記入力画像との間の画像間変換を推定するステップであって、（ｄ−１）上記入力画像における第１の特徴点セットを検出するサブステップ、（ｄ−２）上記モデル画像における第２の特徴点セットを検出するサブステップ、（ｄ−３）現在の幾何学変換推定を決定するサブステップ、（ｄ−４）最大反復条件が満たされるまで、（１）上記現在の幾何学変換推定に基づいた上記第１の特徴点セットと上記第２の特徴点のセットとの間の特徴点マッチングのセット、及び、（２）更新された上記特徴点マッチングのセットに基づいた上記現在の幾何学変換推定、を反復更新するサブステップ、並びに、（ｄ−５）上記反復更新された現在の幾何学変換推定を上記推定された画像間変換に割り当てるサブステップ、を含むステップと、（ｅ）上記推定された画像間変換に基づいて、上記モデル画像及び上記入力画像を共通座標系に変換することによって、位置合わせされた入力画像と位置合わせされたモデル画像とを取得するステップと、（ｆ）上記入力画像及び上記モデル画像に関する複数の画像差分ベクトルを形成するステップと、（ｇ）上記入力画像に関するラベルされた分類マップを生成する統計分類モデルを、上記複数の画像差分ベクトルに対して適用するステップと、を含んでいることを特徴としている。
【００１６】
上記の欠陥検出方法によれば、上記モデル画像と上記入力画像との間の画像間変換が推定され、推定された画像間変換に基づいて、上記モデル画像及び上記入力画像を共通座標系に変換することによって、位置合わせされた入力画像と位置合わせされたモデル画像とが取得される。また、上記入力画像及び上記モデル画像に関する複数の画像差分ベクトルが形成され、上記入力画像に関するラベルされた分類マップを生成する統計分類モデルが、上記複数の画像差分ベクトルに対して適用される。
【００１７】
したがって、上記の欠陥検出方法によれば、上記推定された画像間変換に基づいて位置合わせされた上記入力画像および上記モデル画像に基づいて、欠陥検出を行うので、上記モデル画像に対する位置合わせがされていない入力画像が入力される場合であっても、工業用部品における欠陥を効果的に検出することができる。
【００１８】
また、上記の欠陥検出方法によれば、上記モデル画像と上記入力画像との間の画像間変換を推定するステップには、（ｄ−１）上記入力画像における第１の特徴点セットを検出するサブステップ、（ｄ−２）上記モデル画像における第２の特徴点セットを検出するサブステップ、（ｄ−３）現在の幾何学変換推定を決定するサブステップ、（ｄ−４）最大反復条件が満たされるまで、（１）上記現在の幾何学変換推定に基づいた上記第１の特徴点セットと上記第２の特徴点のセットとの間の特徴点マッチングのセット、及び、（２）更新された上記特徴点マッチングのセットに基づいた上記現在の幾何学変換推定、を反復更新するサブステップ、並びに、（ｄ−５）上記反復更新された現在の幾何学変換推定を上記推定された画像間変換に割り当てるサブステップが含まれる。
【００１９】
したがって、上記の欠陥検出方法によれば、上記幾何学変換を用いて上記画像間変換を推定するので、工業用部品における欠陥を効果的に検出することができる。
【００２０】
なお、上記画像間変換の例としては、２Ｄ平行移動（translation）、回転、サイズ変化（scaling）、アファイン変換、および、射影変換（homography）等が挙げられる。また、上記幾何学的変換とは、入力画像またはモデル画像の一方の画像内のある一つの画素を、他方の画像の新しい位置に写像する１対１変換である。
【００２１】
また、本発明に係る学習方法は、工業用部品の欠陥を検出するための欠陥検出システムの学習方法であって、（ａ）工業用部品に関する入力画像を受け取るステップと、（ｂ）上記入力画像に関するモデルタイプを受け取るステップと、（ｃ）上記モデルタイプに対応するモデル画像を取得するステップと、（ｄ）上記入力画像に関する真の欠陥マスクを受け取るステップと、（ｅ）上記モデル画像と上記入力画像との間の画像間変換を推定するステップであって、（ｅ−１）上記入力画像における第１の特徴点セットを検出するサブステップ、（ｅ−２）上記モデル画像における第２の特徴点セットを検出するサブステップ、（ｅ−３）現在の幾何学変換推定を決定するサブステップ、（ｅ−４）最大反復条件が満たされるまで、（１）上記現在の幾何学変換推定に基づいた上記第１の特徴点セットと上記第２の特徴点のセットとの間の特徴点マッチングのセット、及び、（２）更新された上記特徴点マッチングのセットに基づいた上記現在の幾何学変換推定、を反復推定するサブステップ、並びに、（ｅ−５）上記反復更新された現在の幾何学変換推定を上記推定された画像間変換に割り当てるサブステップ、を含むステップと、（ｆ）上記推定された画像間変換に基づいて、上記モデル画像及び上記入力画像を共通座標系に変換することによって、位置合わせされた入力画像と位置合わせされたモデル画像を取得するステップと、（ｇ）上記入力画像及び上記モデル画像に関する複数の画像差分ベクトルを形成するステップと、（ｈ）上記複数の画像差分ベクトル及び真の欠陥マスクを用いて、統計分類モデルを学習させるステップと、を含んでいることを特徴としている。
【００２２】
上記の学習方法によれば、先の入力画像に基づいて学習を行い、欠陥検出性能を自動的に向上させることができる。
【００２３】
本発明における、上述および他の目的、特徴、並びに、利点は、添付した図面とともに、下記に示す本発明の詳細な説明を参照することによって、より容易に理解されるだろう。
【発明の効果】
【００２４】
本発明に係る欠陥検出方法によれば、工業用部品における欠陥を効果的に検出することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施形態に係る、統計分類モデルのオフライン学習を示すフローチャートである。
【図２】本発明の実施形態に係る、入力画像と対応モデル画像のロバストマッチングを示すフローチャートである。
【図３】本発明の実施形態に係る、特徴点マッチングを示すフローチャートである。
【図４】本発明の実施形態に係る、現在の幾何学変換推定に基づく特徴点マッチングの更新を示すフローチャートである。
【図５】本発明の実施形態に係る、画像差分の計算を示すフローチャートである。
【図６】本発明の実施形態に係る、画像差分ベクトルの形成を示すフローチャートである。
【図７】本発明の実施形態に係る、統計分類モデルの学習を示すフローチャートである。
【図８】本発明の実施形態に係る、オンライン欠陥検出を示すフローチャートである。
【発明を実施するための形態】
【００２６】
本発明に係る実施形態は、図面を参照することによって最も明らかとなるだろう。なお、図面においては、同様の部材には同様の符号を付して示している。また、上述の図面は、この詳細な説明の一部として明示的に取り入れられる。
【００２７】
一般的に記載され、また、図面に示されている本発明の構成は、様々な異なる構成に変更および設計可能であることは、容易に理解できるだろう。すなわち、本発明の方法およびシステムに係る実施形態について下記に示すより詳細な説明は、本発明の範囲を限定するものではなく、本発明についての現在における好ましい実施形態を示しているに過ぎない。
【００２８】
本発明に係る実施形態の要素は、ハードウェア、ファームウェア、および／またはソフトウェアにおいて実現される。本明細書において開示する実施形態では、主として、これらの形態のうち１つのみについて説明するが、当業者が任意の形態においてこれらの要素を実現し得ることは明らかであり、このようにして実現されたものも本発明の範囲に含まれる。
【００２９】
本発明に係る実施形態は、一般に、欠陥の検出に関する。より具体的には、本発明に係る実施形態は、例えば、電子回路、液晶ディスプレイ（ＬＣＤ）パネル、及び他の工業製品などの、工業製品における欠陥領域を、画像に基づいて自動検出することに関する。
【００３０】
本発明のいくつかの実施形態によれば、工業製品が欠陥領域を含んでいるかどうかを検査するために、また、工業製品が欠陥領域を含んでいる場合には、欠陥領域を特定し欠陥を分類するために、１つ以上のデジタルカメラから工業製品のデジタル画像が取得される。
【００３１】
本発明のいくつかの実施形態は、図１に関連して記載されたオフライン学習段階を含んでいる。これらの実施形態において、モデル画像データベースは、一人または複数の作業者によって構築・更新される。モデル画像データベースは、異なるモデル画像と、各モデル画像についての関連情報とを含んでいる。例えば、関連情報とは、モデルタイプ、要素のラベル画像、及び、他のモデル画像情報などである。新しいモデル画像がモデル画像データベースに追加される度に、作業者は新しく追加されたモデル画像に関する情報を入力する。モデル画像データベースは、従来知られたデータベースの実装に従って、例えばＳＱＬｉｔｅ及び他の従来の関係型データベースソフトウェアなどの、モデルタイプ毎に索引を付けられる従来の関係型データベースソフトウェアによって実装される。オフライン学習段階において、入力画像及び入力画像のモデルタイプ情報が取得される（１００）。対応モデル画像がモデル画像データベースから検出され（１０２）、入力画像の真の欠陥マスクが取得される（１０４）。入力画像の真の欠陥マスクは、作業者に対し、各画素について、入力画像の各画素に欠陥があるのか否かを特定するラベルを供給するように問い合わせることによって取得される。本発明のいくつかの実施形態において、「１」のラベルは欠陥があることを示し、「−１」のラベルは欠陥がないことを示す。別の実施形態においては、他のラベル値を用いてもよい。ロバストマッチングは、入力画像と対応モデル画像との間で実行され（１０６）、画像差分ベクトルのセットが、全ての画像画素に対して形成される（１０８）。画像差分ベクトル及び真の欠陥マスクが、入力画像について格納される（１１０）。全ての入力画像が処理されたか否かが判定される（１１２）。未処理の入力画像が存在する場合（１１３）、次の入力画像及び次の入力画像のモデルタイプ情報が取得され（１００）、新しく取得された入力画像についての処理が行われる。全ての入力画像が処理された場合（１１５）、全ての入力画像について格納された画像差分ベクトル及び真の欠陥マスクが、本発明の実施形態に従ったオンライン欠陥検出で用いられる統計的分類モデルの学習のために用いられる（１１６）。
【００３２】
入力画像と対応モデル画像とのロバストマッチングの実行（１０６）は、入力画像と対応モデル画像との間の二次元（２Ｄ）幾何学変換の推定を含んでいる。二次元幾何学変換は、画像間変換、又は、変換とも呼ばれる。２Ｄ幾何学変換は、入力画像または対応モデル画像の一方の画像内のある一つの画素を、他方の画像の新しい位置に写像する１対１変換である。２Ｄ幾何学変換が推定された後、入力画像及び対応モデル画像は共通の２Ｄ座標系に写像される。いくつかの実施形態において、対応モデル画像が、入力画像の座標系に写像される。他の実施形態において、入力画像が、対応モデル画像の座標系に写像される。さらに他の実施形態においては、入力画像及び対応モデル画像の双方が、新しい座標系に写像される。
【００３３】
本発明の実施形態に係る、画像間変換の推定は、図２を参照することによって理解されるであろう。なお、画像間変換は、画像の位置あわせとも呼ばれる。これらの実施形態では、Ｔ１２と表される変換行列は、例えば、入力画像又は対応モデル画像である第１画像における
【００３４】
【数１】
【００３５】
と表される第１の点を、例えば、対応モデル画像又は入力画像である第２画像における
【００３６】
【数２】
【００３７】
と表される第１の点に、次式で表されるように割り当てる。
【００３８】
【数３】
【００３９】
ここで、Ｔ１２は、２Ｄ平行移動（translation）、回転、サイズ変化（scaling）、アファイン変換、射影変換（homography）及び他の画像間変換に関する３×３の行列で表される。本発明の実施形態によれば、多くの特徴点が、入力画像及び対応モデル画像から検出される（２００）。検出された各特徴点について、形状記述子が抽出される（２０２）。特徴点の検出（２００）及び各特徴点についての形状記述子の抽出（２０２）のための方法やシステムが多くあるということを、この分野の技術に関する知識を持った者であれば認識するであろう。典型的な方法は、例えば、Ｃ．Ｓｃｈｍｉｄ、Ｒ．Ｍｏｈｒ、及びＣ．Ｂａｕｃｋｈａｇｅによる“Ｅｖａｌｕａｔｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ Ｐｏｉｎｔ Ｄｅｔｅｃｔｏｒｓ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，３７（２）：１５１−１７２、２０００年６月、並びに、Ｐ．Ｍｏｒｅｅｌｓ、及びＰ．Ｐｅｒｏｎａによる“Ｅｖａｌｕａｔｉｏｎ ｏｆ Ｆｅａｒｕｒｅｓ Ｄｅｔｅｃｔｏｒｓ ａｎｄ Ｄｅｓｃｒｉｐｔｏｒｓ ｂａｓｅｄ ｏｎ ３Ｄ Ｏｂｊｅｃｔｓ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，７３（３）：２６３−２８４、２００７年７月、に記載されている。上記文献を参照することによって、それらの全体が本明細書に組み込まれるものとする。
【００４０】
図２に関連して示される本発明のいくつかの実施形態において、作業者は、幾何学変換推定を、２Ｄ平行移動に初期化するか否かを指示する（２０４）。作業者の指示は、平行移動指示（translation indicator）とも呼ばれる。平行移動指示が初期並行移動を算出することを示している場合（２０５）、初期画像平行移動は、例えば、位相相関及び他のテンプレートマッチング方法など、技術的に知られたテンプレートマッチング方法によって算出される。本発明のいくつかの実施形態において、初期画像平行移動は、モデル画像全体及び入力画像全体を用いて推定される。他の実施形態において、テンプレートマッチングは、モデル画像及び入力画像において選択された対象領域（ＲＯＩ：region of interest）を用いて行われる。いくつかの実施形態において、ＲＯＩは、矩形状又は他の形状の領域であり、モデル画像において、テンプレートマッチングを容易にする特有の特徴を含んでいる領域である。幾何学変換推定は、初期画像平行移動にて推定される。平行移動指示が初期平行移動を算出することを示していない場合（２０７）、初期幾何学変換推定は、マッチングされた特徴点から算出される。特徴点マッチングは、入力画像において検出された特徴点と、対応モデル画像において検出された特徴点との間の全数検査により決定される（２０８）。
【００４１】
図２及び図３に関連して示される本発明のいくつかの実施形態において、特徴点マッチングは、入力画像又は対応モデル画像の何れか一方である第１画像から検出された特徴点群から、当該第１画像における処理されていない特徴点を選択（３００）することにより、検出される（２０８）。処理されていない特徴点は、マッチングのための次の特徴点として用いられ、ｐ１と表される。第１画像から検出された特徴点群は、Ｐ１と表される。上記入力画像又は対応モデル画像の他の一方である第２画像から検出された特徴点群から、ｐ１と最もマッチ（適合）する上位Ｋ２個の点であるＫ２ベストマッチング特徴点が決定される（３０２）。第２画像から検出された特徴点群から選ばれた上記Ｋ２ベストマッチング特徴点は、Ｍ２と表され、第２画像から検出された特徴点群は、Ｐ２と表される。ｐ２と表される、処理されていない特徴点は、Ｍ２から選択され（３０４）、第１画像から検出された特徴点群から、ｐ２と最もマッチする上位Ｋ１個の点であるＫ１ベストマッチング特徴点が決定される（３０６）。上記Ｋ１ベストマッチング特徴点であるＭ１は、ｐ１がＭ１のセットに含まれるか否かを判定するために検証される（３０８）。ｐ１がＭ１に含まれる場合（３０９）、特徴点ペア{ｐ１、ｐ２}は、特徴点マッチングのセットに加えられ（３１０）、Ｍ２にまだ処理されていない点がないかが確認される（３１２）。ｐ１がＭ１に含まれていない場合（３１１）、Ｍ２にまだ処理されていない点がないかが確認される（３１２）。Ｍ２に処理されていない点がある場合（３１３）、Ｋ２ベストマッチング特徴点であるＭ２から、次の特徴点が選択される（３０４）。Ｍ２に処理されていない点がない場合（３１５）、Ｐ１に含まれる全ての点が処理されたか否かを判定する（３１６）。Ｐ１に処理されていない点がある場合（３１７）、Ｐ１に含まれる次の特徴点が選択され（３００）、マッチング処理が繰り返される。Ｐ１に処理されていない点がない場合（３１９）、特徴点マッチングの特徴点セットを後処理に利用可能にし（３２０）、例えば、特徴点マッチングに基づく初期変換の算出などの後処理を行う（２１０）。本発明のいくつかの実施形態において、Ｋ１及びＫ２は同一の値を用いる。
【００４２】
初期幾何学変換推定が算出された後（２０６、２１０）、特徴点マッチングは、現在の幾何学変換推定、最初は初期幾何学変換推定、によりガイドされて更新される（２１２）。特徴点マッチングの更新（２１２）にガイドされた現在の幾何学変換推定は、第１画像における第１の点ｐ１を示す図４を参照することによって理解されるであろう。まず、ｐ１は、現在の幾何学変換の推定に従って、第２画像の座標系における新しい位置ｐ１’に写像される（４００）。Ｒ１と表される局所領域は、第２画像中の新しい位置ｐ１’の周辺領域として決定される（４０２）。局所領域Ｒ１の中にある特徴点群から、次の処理されていない特徴点ｐ２が選択され（４０４）、ｐ１とｐ２との間の位置の差分及び記述子の値が算出され（４０８）、ｐ２がｐ１とのマッチングの上位Ｋ個以内に入る場合、算出された差分（４０８）に従って、Ｋ要素配列にｐ２が格納される（４１０）。Ｒ１における全ての特徴点が処理されたか否かが判定される（４１２）。処理されていない特徴点がある場合（４１３）、次の処理されていない特徴点が選択され（４０４）、処理される。Ｒ１における全ての特徴点が処理されていた場合（４１５）、ｐ１のための特徴点マッチングの特徴点セットが後処理に利用可能にされる（４１６）。幾何学変換推定は、更新された現在の特徴点マッチングに基づいて更新される（２１４）。現在の幾何学変換推定によってガイドされた特徴点マッチングの回数と、許可された反復の最大数とが、比較され（２１６）、２つの値の間の条件が一致する場合（２１７）、入力画像及び対応モデル画像は、推定された幾何学変換に基づく共通の座標系に変換され（２１８）、その結果として位置合わせされた入力画像及び位置合わせされた対応モデル画像が生成される。２つの値の間の条件が一致しない場合（２１９）、更新処理が再び繰り返される。
【００４３】
再び図１を参照すれば、画像差分ベクトルは、位置合わせされた画像の各画素位置について形成される（１０８）。図５に関連して示される本発明のいくつかの実施形態において、画像差分ベクトルの形成は、比較マスク画像の生成を含んでいる（５００）。比較マスク画像は、位置合わせされた入力画像と位置合わせされた対応モデル画像との間の各画素位置における画素値の差分を算出することによって生成される（５００）。いくつかの実施形態において、差分値の絶対値が、閾値と比較される。差分値の絶対値が閾値よりも小さい場合、マスク値は０に設定され、差分値の絶対値が閾値以上である場合、マスク値は０以外の値に設定される。いくつかの実施形態において、マスク値は、差分値の絶対値が０である場合にのみ、０に設定される。
【００４４】
比較マスク画像における次の処理されていない０でない画素が選択され（５０２）、位置合わせされた入力画像及び位置合わせされた対応モデル画像から、対応する画素値が抽出される（５０４）。画素に基づく差分計測が、画素値から算出される（５０６）。本発明のいくつかの実施形態において、差分値の絶対値は次式によって算出される。
【００４５】
【数４】
【００４６】
ここで、Ｉ（ｘ、ｙ）及びＭ（ｘ、ｙ）は、それぞれ、位置合わせされた入力画像及び位置合わせされた対応モデル画像の画素位置（ｘ、ｙ）における画素値を表している。本発明のいくつかの実施形態において、相対差分値は次式によって算出される。
【００４７】
【数５】
【００４８】
いくつかの実施形態において、位置合わせされた入力画像の強度値（画素値）と位置合わせされた対応モデル画像の強度値（画素値）との間の線形一次元（１Ｄ）変換は、次式により決定される。
【００４９】
【数６】
【００５０】
ここで、ａ及びｂは変換パラメータである。本発明のいくつかの実施形態において、補正された差分値の絶対値、及び、補正された相対差分値は、次の２式
【００５１】
【数７】
【００５２】
及び
【００５３】
【数８】
【００５４】
によってそれぞれ計算される。
【００５５】
画素値は、選択された画素位置周辺の局所領域から抽出され（５０８）、窓関数に基づく差分計測が算出される（５１０）。いくつかの実施形態において、矩形状の窓を用いた窓関数に基づく差分値は、次式によって計算される。
【００５６】
【数９】
【００５７】
ここで、Ｗは局所領域を表している。いくつかの実施形態において、正規化相互相関値は、次式で計算される。
【００５８】
【数１０】
【００５９】
ここで、
【００６０】
【数１１】
【００６１】
及び
【００６２】
【数１２】
【００６３】
は、それぞれ、局所領域Ｗの中の位置合わせされた入力画像の画素値の平均値、及び、局所領域Ｗの中の位置合わせされた対応モデル画像の画素値の平均値を表している。
【００６４】
全ての０でないマスク画素が処理されたか否かが判定される（５１２）。処理されていない０でないマスク画素が存在する場合（５１３）、次の０でないマスク画素が選択され（５０２）、処理される。全ての０でないマスク画素が処理されていた場合（５１５）、画像エッジ重みマップがモデル画像から算出される（５１６）。画像エッジ重みマップは、モデル画像のエッジ画素からの画素数（距離）に基づいて、画素重み付け値を決定する。エッジ画素はよく知られた一般的なエッジ抽出フィルタ処理により抽出する。例えばSobelフィルタにより抽出する。エッジ画素からの距離は例えば最も近いエッジ画素からの距離とする。エッジ画素により近い画素位置は、エッジ画素からより遠い画素位置よりも、より小さい重み付け値を持つ。いくつかの実施形態において、重み付け値は、０から１までの範囲の値である。ここで、エッジ位置と一致した画素位置には、０の重み付け値が与えられ、エッジから最も遠い画素位置には、１の重み付け値が与えられる。差分計測は画像エッジ重みマップに従って調整され（５１８）、調整された差分値は、後処理に利用可能にされる（５２０）。いくつかの実施形態において、差分値は、調整されていない差分値に対応する重み付け値を乗算することによって調整される。
【００６５】
画像差分ベクトルは、図６に示すように、各画素位置において形成される。画素位置周辺の局所領域が決定される（６００）。いくつかの実施形態において、局所領域は、画素位置を中心とする矩形状の領域である。
処理されていない差分マップが選択され（６０２）、局所領域内の画素位置から、差分マップに関する差分値が検索される（６０４）。差分値の２Ｄ配列（２次元配列）が、差分値の１Ｄ（１次元）ベクトルに変換される（６０６）。現在の処理された差分マップに関する値の１Ｄベクトルは、画素位置に関する画像差分ベクトルに追加される。全ての差分マップが処理されたか否かが判定される（６１０）。処理されていない差分マップが存在する場合（６１１）、次の処理されていない差分マップが選択される（６０２）。全ての差分マップが処理されている場合（６１３）、画素位置に関する画像差分ベクトルは、後処理に利用可能にされる（６１４）。
【００６６】
図１において、全ての入力画像が処理された後（１１５）、各入力画像について、入力画像の各画素位置に関する画像差分ベクトルと、真の欠陥マスクとが格納されている。統計分類モデルは、各入力画像について格納されている画像差分ベクトルと真の欠陥マスクとを用いて学習される（１１６）。学習処理については、図７を参照して説明する。
【００６７】
統計分類モデルは、入力として、入力画像に関する画像差分ベクトルを取り、入力画像の各画素位置における出力ラベルを生成する。ラベルされた出力は、例えば、「欠陥」及び「無欠陥」など、各画素の分類を示すラベルされた分類マップとして参照される。統計分類モデルに関する実施形態の典型例は、サポートベクターマシン、ブースティング分類手法、及び、技術的に知られた他の分類モデルなどを含んでいる。
【００６８】
学習データは、学習部分集合と検証部分集合との、２つの部分集合に分割される（７００）。学習パラメータの検証されていないセットが、学習可能なパラメータのセットから選択される（７０２）。統計分類モデルが、選択された学習パラメータを用いて学習部分集合を用いて学習される（７０４）。学習された統計分類モデルが、検証部分集合を用いて検証される（７０６）。検証は、検証部分集合における入力画像に関する画像差分ベクトルを、入力画像の各画素位置が「欠陥」または「無欠陥」とラベル付けされるような、ラベル付けされた出力を生成する統計分類モデルに入力することを含む。検証部分集合における全ての入力画像が処理されると、現在学習された分類モデルの性能スコアが、真の欠陥マスクを用いて算出される（７０８）。本発明のいくつかの実施形態において、分類モデルに関する性能スコアは、正検出率（true positive rate）及び誤検出率（false positive rate）に基づき、次式に従って決定される。
【００６９】
【数１３】
【００７０】
ここで、ＴＰ及びＦＴは、それぞれ、正検出率及び誤検出率を示しており、αは、欠陥検出システムの性能要求に関する設計パラメータを示している。これらの実施形態において、より高いスコアは、よりよい分類モデル性能を示している。
【００７１】
現在検証された分類モデルの性能スコアは、現在の最もよい分類モデルの性能スコアと比較される（７１０）。現在検証された分類モデルの性能スコアの方が、現在の最もよい分類モデルの性能スコアよりもよい性能スコアである場合（７１１）、現在の最もよい分類モデルは、現在検証された分類モデルに更新され（７１２）、検証すべきパラメータセットが残っているか否かが判定される（７１４）。現在検証された分類モデルの性能スコアの方が、現在の最もよい分類モデルの性能スコアよりもよい性能スコアでない場合（７１３）、検証すべきパラメータセットが残っているか否かが判定される（７１４）。検証すべきパラメータセットが残っている場合（７１５）、次の検証されていないパラメータのセットが選択される（７０２）。検証すべきパラメータセットが残っていない場合（７１７）、学習は完了し（７１８）、現在の最もよい分類モデルはオンライン欠陥検出処理に用いられる。
【００７２】
本発明のいくつかの実施形態におけるオンライン欠陥検出は、図８を参照することによって理解されるであろう。入力画像及び入力画像のモデルタイプ情報が取得される（８００）。対応するモデル画像がモデル画像データベースから検出される（８０２）。モデル画像データベースは、従来知られたデータベースの実装に従って、例えばＳＱＬｉｔｅ及び他の従来の関係型データベースソフトウェアなどの、モデルタイプ毎に索引を付けられる従来の関係型データベースソフトウェアによって実装される。入力画像と対応モデル画像との間のロバストマッチングが実行され（８０４）、全ての画像画素について、画像差分ベクトルのセットが形成される（８０６）。ロバストマッチング及び画像差分ベクトルの形成は、上述のオフライン学習段階と同様の処理で実行される。画像差分ベクトルは、以前に学習された統計分類モデルへの入力として用いられ（８０８）、統計分類モデルによって返される検出された欠陥領域は、１つ又は複数の後処理段階によって、整えられる（８１０）。典型的な後処理段階としては、モフォロジー処理の膨張処理（morphological dilation）、色領域の拡張、連結分析、及び、他の技術的に知られた領域改良等を用いた後処理を挙げることができる。
【００７３】
図におけるフローチャート及びダイアグラムは、特定の順序での処理を示しているが、処理の順序は、図に示されたものと異なっていてもよいことが理解されるであろう。例えば、ブロックの処理順序は、図示された順序に比べて変化してもよい。そのうえ、さらなる例として、図において連続して示された２つまたはそれ以上のブロックは、同時に実行されてもよく、または、一部が同時に実行されてもよい。本明細書に記載の様々な論理関数を実行するために、当業者は、ソフトウェア、ハードウェア、および／または、ファームウェアを作成することができることが理解されるであろう。
【００７４】
本発明に係るいくつかの実施形態には、本明細書に記載の特徴及び方法を実行するコンピュータシステムをプログラムするために用いられる指示が格納されているコンピュータ読み取り可能な記録媒体を備えるコンピュータプログラム製品（computer program
product）が含まれる。典型的なコンピュータ読み取り可能な記録媒体には、フラッシュメモリデバイス、フロッピー（登録商標）ディスク、光ディスク、磁気ディスク、デジタルバーサタイルディスク（ＤＶＤｓ）、コンパクトディスク（ＣＤｓ）、マイクロドライブ、及びその他のディスク型記録媒体等のディスク型記録媒体、リードオンリーメモリ（ＲＯＭｓ）、プログラマブルリードオンリーメモリ（ＰＲＯＭｓ）、イレイサブルプログラマブルリードオンリーメモリ（ＥＰＲＯＭｓ）、エレクトリカリーイレイサブルプログラマブルリードオンリーメモリ（ＥＥＰＲＯＭｓ）、ランダムアクセスメモリ（ＲＡＭＳ）、ビデオランダムアクセスメモリ（ＶＲＡＭｓ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭｓ）、並びに、指示及び／又はデータを格納することのできる媒体やデバイスが含まれる。
【００７５】
（欠陥検出装置）
本発明に係る欠陥検出装置は、図１から図８を用いて説明した各ステップの少なくとも一部を実現する各手段を備えることによって実現することができる。
【００７６】
例えば、本発明に係る欠陥検出装置は、（ａ）工業用部品に関する入力画像を受け取る画像受信手段（ステップ１００の一部に対応）と、（ｂ）上記入力画像に関するモデルタイプを受け取るモデルタイプ受信手段（ステップ１００の一部に対応）と、（ｃ）上記モデルタイプに対応するモデル画像を取得するモデル画像取得手段（ステップ１０２に対応）と、（ｄ）上記モデル画像と上記入力画像との間の画像間変換を推定する画像間変換推定手段（ステップ１０６の一部に対応）であって、（ｄ−１）上記入力画像における第１の特徴点セットを検出し、（ｄ−２）上記モデル画像における第２の特徴点セットを検出し、（ｄ−３）現在の幾何学変換推定を決定し、（ｄ−４）最大反復条件が満たされるまで、（１）上記現在の幾何学変換推定に基づいた上記第１の特徴点セットと上記第２の特徴点のセットとの間の特徴点マッチングのセット、及び、（２）更新された上記特徴点マッチングのセットに基づいた上記現在の幾何学変換推定、を反復更新し、（ｄ−５）上記反復更新された現在の幾何学変換推定を上記推定された画像間変換に割り当てる画像間変換推定手段と、（ｅ）上記推定された画像間変換に基づいて、上記モデル画像及び上記入力画像を共通座標系に変換することによって、位置合わせされた入力画像と位置合わせされたモデル画像とを取得する画像変換手段（ステップ１０６の一部に対応）と、（ｆ）上記入力画像及び上記モデル画像に関する複数の画像差分ベクトルを形成する差分計算手段（ステップ１０８に対応）と、（ｇ）上記複数の画像差分ベクトルに基づいて、上記入力画像に関するラベルされた分類マップを生成する統計分類モデルと、を備えることによって実現することができる。
【００７７】
また、本発明に係る欠陥検出装置は、図２から図８に示した各ステップの少なくとも一部を実現するための各手段を更に備える構成とすることができる。
【００７８】
（プログラム及び記録媒体）
本発明に係る欠陥検出装置の各手段は、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。
【００７９】
後者の場合、欠陥検出装置は、各機能を実現するプログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである欠陥検出装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記欠陥検出装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【００８０】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。
【００８１】
また、欠陥検出装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
【００８２】
（付記事項）
以上説明したように、本発明のいくつかの実施形態においては、１画素単位で欠陥か無欠陥かを判定しているため、欠陥の形状にとらわれず、任意の形状の欠陥を検出可能である。また、以上説明したように、上記欠陥か無欠陥かの判定精度を向上させるために、１つの画素に基づく比較と１つの窓関数に基づく比較とを採用している。
【００８３】
上述した説明において用いられた用語や表現は、説明のための用語として用いられるものであり、何らの限定を伴うものではない。また、それらの用語や表現は、本明細書に記載された特徴またはその一部と同等の構成を排除することを意図するものではない。本発明の範囲は、以下の請求項によって定義され、以下の請求項によってのみ限定されるものである。
【特許請求の範囲】
【請求項１】
工業用部品における欠陥を検出する欠陥検出方法であって、
（ａ）工業用部品に関する入力画像を受け取るステップと、
（ｂ）上記入力画像に関するモデルタイプを受け取るステップと、
（ｃ）上記モデルタイプに対応するモデル画像を取得するステップと、
（ｄ）上記モデル画像と上記入力画像との間の画像間変換を推定するステップであって、
（ｄ−１）上記入力画像における第１の特徴点セットを検出するサブステップ、
（ｄ−２）上記モデル画像における第２の特徴点セットを検出するサブステップ、
（ｄ−３）現在の幾何学変換推定を決定するサブステップ、
（ｄ−４）最大反復条件が満たされるまで、（１）上記現在の幾何学変換推定に基づいた上記第１の特徴点セットと上記第２の特徴点のセットとの間の特徴点マッチングのセット、及び、（２）更新された上記特徴点マッチングのセットに基づいた上記現在の幾何学変換推定、を反復更新するサブステップ、並びに、
（ｄ−５）上記反復更新された現在の幾何学変換推定を上記推定された画像間変換に割り当てるサブステップ、を含むステップと、
（ｅ）上記推定された画像間変換に基づいて、上記モデル画像及び上記入力画像を共通座標系に変換することによって、位置合わせされた入力画像と位置合わせされたモデル画像とを取得するステップと、
（ｆ）上記入力画像及び上記モデル画像に関する複数の画像差分ベクトルを形成するステップと、
（ｇ）上記入力画像に関するラベルされた分類マップを生成する統計分類モデルを、上記複数の画像差分ベクトルに対して適用するステップと、
を含んでいることを特徴とする欠陥検出方法。
【請求項２】
上記入力画像に関する上記ラベルされた分類マップを後処理するステップをさらに含んでいる
ことを特徴とする請求項１に記載の欠陥検出方法。
【請求項３】
上記工業用部品は、液晶ディスプレイパネル及び電子回路からなるグループから選択された部品である
ことを特徴とする請求項１に記載の欠陥検出方法。
【請求項４】
上記画像間変換を推定するステップは、
（ａ）上記第１の特徴点セットの各特徴点の第１形状記述子を抽出し、第１の特徴点セットの形状記述子の第１のセットを生成すると共に、上記第２の特徴点セットの各特徴点の第１形状記述子を抽出し、第２の特徴点セットの形状記述子の第２のセットを生成するサブステップと、
（ｂ）上記形状記述子の第１のセット及び上記形状記述子の第２のセットを用いて、上記第１の特徴点セットと上記第２の特徴点セットとの間の上記特徴点マッチングのセットを決定するサブステップと、
をさらに含んでいる
ことを特徴とする請求項１に記載の欠陥検出方法。
【請求項５】
（ａ）平行移動指示を受け取るステップと、
（ｂ）上記平行移動指示が初期平行移動の画像間変換を算出することを示しているときに、上記入力画像と上記モデル画像との間の初期画像平行移動変換を決定するステップと、
（ｃ）上記平行移動指示が初期平行移動の画像間変換を算出することを示していないときに、（ｃ−１）上記第１の特徴点セットと上記第２の特徴点セットとの間の第１の特徴点マッチングのセットを検出すると共に、（ｃ−２）上記第１の特徴点マッチングのセットに基づいて初期幾何学変換推定を算出するステップと、
をさらに含んでいる
ことを特徴とする請求項１に記載の欠陥検出方法。
【請求項６】
上記初期画像平行移動を決定するステップは、上記モデル画像の対象領域を上記入力画像とマッチングするサブステップを含んでいる
ことを特徴とする請求項５に記載の欠陥検出方法。
【請求項７】
上記モデル画像の上記対象領域は、モデル画像の特有の特徴を少なくとも１つ含んでいる。
ことを特徴とする請求項６に記載の欠陥検出方法。
【請求項８】
上記共通座標系は、上記入力画像の座標系である
ことを特徴とする請求項１に記載の欠陥検出方法。
【請求項９】
上記共通座標系は、上記モデル画像の座標系である、
ことを特徴とする請求項１に記載の欠陥検出方法。
【請求項１０】
上記第１の特徴点セットと上記第２の特徴点セットとの間の上記特徴点マッチングのセットを更新するサブステップは、
（ａ）上記推定された画像間変換に従って、新しい座標系の新しい位置に第１の点を写像するサブステップと、
（ｂ）上記新しい位置の周辺の局所領域を決定するサブステップと、
（ｃ）上記第１の点とマッチする点を決定するために、上記局所領域内の全ての点を検査するサブステップと、
をさらに含んでいる
ことを特徴とする請求項１に記載の欠陥検出方法。
【請求項１１】
上記入力画像及び上記モデル画像に関する上記複数の画像差分ベクトルを形成するステップは、
（ａ）少なくとも１つの画素に基づく差分計測を算出するサブステップと、
（ｂ）少なくとも１つの窓関数に基づく差分計測を算出するサブステップと、
をさらに含んでいる
ことを特徴とする請求項１に記載の欠陥検出方法。
【請求項１２】
（ａ）上記モデル画像の画像エッジ重みマップを算出するステップと、
（ｂ）上記画像エッジ重みマップを用いて、上記複数の画像差分ベクトルを調整するステップと、
をさらに含んでいる
ことを特徴とする請求項１に記載の欠陥検出方法。
【請求項１３】
第１画素が第２画素よりもよりエッジの近くに位置しているとき、上記画像エッジ重みマップは、上記第１画素よりも上記第２画素を重く重み付ける
ことを特徴とする請求項１２に記載の欠陥検出方法。
【請求項１４】
工業用部品における欠陥を検出する欠陥検出装置であって、
（ａ）工業用部品に関する入力画像を受け取る画像受信手段と、
（ｂ）上記入力画像に関するモデルタイプを受け取るモデルタイプ受信手段と、
（ｃ）上記モデルタイプに対応するモデル画像を取得するモデル画像取得手段と、
（ｄ）上記モデル画像と上記入力画像との間の画像間変換を推定する画像間変換推定手段であって、
（ｄ−１）上記入力画像における第１の特徴点セットを検出し、
（ｄ−２）上記モデル画像における第２の特徴点セットを検出し、
（ｄ−３）現在の幾何学変換推定を決定し、
（ｄ−４）最大反復条件が満たされるまで、（１）上記現在の幾何学変換推定に基づいた上記第１の特徴点セットと上記第２の特徴点のセットとの間の特徴点マッチングのセット、及び、（２）更新された上記特徴点マッチングのセットに基づいた上記現在の幾何学変換推定、を反復更新し、
（ｄ−５）上記反復更新された現在の幾何学変換推定を上記推定された画像間変換に割り当てる画像間変換推定手段と、
（ｅ）上記推定された画像間変換に基づいて、上記モデル画像及び上記入力画像を共通座標系に変換することによって、位置合わせされた入力画像と位置合わせされたモデル画像とを取得する画像変換手段と、
（ｆ）上記入力画像及び上記モデル画像に関する複数の画像差分ベクトルを形成する差分計算手段と、
（ｇ）上記複数の画像差分ベクトルに基づいて、上記入力画像に関するラベルされた分類マップを生成する統計分類モデルと、
を備えていることを特徴とする欠陥検出装置。
【請求項１５】
上記入力画像に関する上記ラベルされた分類マップを後処理する後処理手段をさらに備えている
ことを特徴とする請求項１４に記載の欠陥検出装置。
【請求項１６】
上記工業用部品は、液晶ディスプレイパネル及び電子回路からなるグループから選択された部品である
ことを特徴とする請求項１４に記載の欠陥検出装置。
【請求項１７】
上記画像間変換推定手段は、さらに、
（ａ）上記第１の特徴点セットの各特徴点の第１形状記述子を抽出し、第１の特徴点セットの形状記述子の第１のセットを生成すると共に、上記第２の特徴点セットの各特徴点の第１形状記述子を抽出し、第２の特徴点セットの形状記述子の第２のセットを生成し、
（ｂ）上記形状記述子の第１のセット及び上記形状記述子の第２のセットを用いて、上記第１の特徴点セットと上記第２の特徴点セットとの間の上記特徴点マッチングのセットを決定する
ことを特徴とする請求項１４に記載の欠陥検出装置。
【請求項１８】
（ａ）平行移動指示を受け取る平行移動指示受信手段と、
（ｂ）上記平行移動指示が初期平行移動の画像間変換を算出することを示しているときに、上記入力画像と上記モデル画像との間の初期画像平行移動変換を決定する平行移動推定手段と、
（ｃ）上記平行移動指示が初期平行移動の画像間変換を算出することを示していないときに、
（ｃ−１）上記第１の特徴点セットと上記第２の特徴点セットとの間の第１の特徴点マッチングのセットを検出する特徴点マッチング手段と、
（ｃ−２）上記第１の特徴点マッチングのセットに基づいて初期幾何学変換推定を算出する初期幾何学変換計算手段と、をさらに備えている
ことを特徴とする請求項１４に記載の欠陥検出装置。
【請求項１９】
上記共通座標系は、上記入力画像の座標系である
ことを特徴とする請求項１４に記載の欠陥検出装置。
【請求項２０】
上記共通座標系は、上記モデル画像の座標系である
ことを特徴とする請求項１４に記載の欠陥検出装置。
【請求項２１】
上記画像間変換推定手段は、
上記第１の特徴点セットと上記第２の特徴点セットとの間の上記特徴点マッチングのセットの更新を、
（ａ）上記推定された画像間変換に従って、新しい座標系の新しい位置に第１の点を写像し、
（ｂ）上記新しい位置の周辺の局所領域を決定し、
（ｃ）上記第１の点とマッチする点を決定するために、上記局所領域内の全ての点を検査する、
ことによって行う
ことを特徴とする請求項１４に記載の欠陥検出装置。
【請求項２２】
上記差分計算手段は、さらに、
（ａ）少なくとも１つの画素に基づく差分計測を算出する画素差分計算手段と、
（ｂ）少なくとも１つの窓関数に基づく差分計測を算出する窓差分計算手段と、をさらに備えている
ことを特徴とする請求項１４に記載の欠陥検出装置。
【請求項２３】
（ａ）上記モデル画像の画像エッジ重みマップを算出するエッジ重みマップ計算手段と、
（ｂ）上記画像エッジ重みマップを用いて、上記複数の画像差分ベクトルを調整する調整手段と、をさらに備えている
ことを特徴とする請求項１４に記載の欠陥検出装置。
【請求項２４】
工業用部品の欠陥を検出するための欠陥検出システムの学習方法であって、
（ａ）工業用部品に関する入力画像を受け取るステップと、
（ｂ）上記入力画像に関するモデルタイプを受け取るステップと、
（ｃ）上記モデルタイプに対応するモデル画像を取得するステップと、
（ｄ）上記入力画像に関する真の欠陥マスクを受け取るステップと、
（ｅ）上記モデル画像と上記入力画像との間の画像間変換を推定するステップであって、
（ｅ−１）上記入力画像における第１の特徴点セットを検出するサブステップ、
（ｅ−２）上記モデル画像における第２の特徴点セットを検出するサブステップ、
（ｅ−３）現在の幾何学変換推定を決定するサブステップ、
（ｅ−４）最大反復条件が満たされるまで、（１）上記現在の幾何学変換推定に基づいた上記第１の特徴点セットと上記第２の特徴点のセットとの間の特徴点マッチングのセット、及び、（２）更新された上記特徴点マッチングのセットに基づいた上記現在の幾何学変換推定、を反復推定するサブステップ、並びに、
（ｅ−５）上記反復更新された現在の幾何学変換推定を上記推定された画像間変換に割り当てるサブステップ、を含むステップと、
（ｆ）上記推定された画像間変換に基づいて、上記モデル画像及び上記入力画像を共通座標系に変換することによって、位置合わせされた入力画像と位置合わせされたモデル画像を取得するステップと、
（ｇ）上記入力画像及び上記モデル画像に関する複数の画像差分ベクトルを形成するステップと、
（ｈ）上記複数の画像差分ベクトル及び真の欠陥マスクを用いて、統計分類モデルを学習させるステップと、
を含んでいることを特徴とする学習方法。
【請求項２５】
請求項１４から２３までの何れか１項に記載の欠陥検出装置を動作させるための制御プログラムであって、コンピュータを上記の各手段として機能させるためのプログラム。
【請求項２６】
請求項２５に記載のプログラムが記録されたコンピュータ読み取り可能な記録媒体。
【請求項１】
工業用部品における欠陥を検出する欠陥検出方法であって、
（ａ）工業用部品に関する入力画像を受け取るステップと、
（ｂ）上記入力画像に関するモデルタイプを受け取るステップと、
（ｃ）上記モデルタイプに対応するモデル画像を取得するステップと、
（ｄ）上記モデル画像と上記入力画像との間の画像間変換を推定するステップであって、
（ｄ−１）上記入力画像における第１の特徴点セットを検出するサブステップ、
（ｄ−２）上記モデル画像における第２の特徴点セットを検出するサブステップ、
（ｄ−３）現在の幾何学変換推定を決定するサブステップ、
（ｄ−４）最大反復条件が満たされるまで、（１）上記現在の幾何学変換推定に基づいた上記第１の特徴点セットと上記第２の特徴点のセットとの間の特徴点マッチングのセット、及び、（２）更新された上記特徴点マッチングのセットに基づいた上記現在の幾何学変換推定、を反復更新するサブステップ、並びに、
（ｄ−５）上記反復更新された現在の幾何学変換推定を上記推定された画像間変換に割り当てるサブステップ、を含むステップと、
（ｅ）上記推定された画像間変換に基づいて、上記モデル画像及び上記入力画像を共通座標系に変換することによって、位置合わせされた入力画像と位置合わせされたモデル画像とを取得するステップと、
（ｆ）上記入力画像及び上記モデル画像に関する複数の画像差分ベクトルを形成するステップと、
（ｇ）上記入力画像に関するラベルされた分類マップを生成する統計分類モデルを、上記複数の画像差分ベクトルに対して適用するステップと、
を含んでいることを特徴とする欠陥検出方法。
【請求項２】
上記入力画像に関する上記ラベルされた分類マップを後処理するステップをさらに含んでいる
ことを特徴とする請求項１に記載の欠陥検出方法。
【請求項３】
上記工業用部品は、液晶ディスプレイパネル及び電子回路からなるグループから選択された部品である
ことを特徴とする請求項１に記載の欠陥検出方法。
【請求項４】
上記画像間変換を推定するステップは、
（ａ）上記第１の特徴点セットの各特徴点の第１形状記述子を抽出し、第１の特徴点セットの形状記述子の第１のセットを生成すると共に、上記第２の特徴点セットの各特徴点の第１形状記述子を抽出し、第２の特徴点セットの形状記述子の第２のセットを生成するサブステップと、
（ｂ）上記形状記述子の第１のセット及び上記形状記述子の第２のセットを用いて、上記第１の特徴点セットと上記第２の特徴点セットとの間の上記特徴点マッチングのセットを決定するサブステップと、
をさらに含んでいる
ことを特徴とする請求項１に記載の欠陥検出方法。
【請求項５】
（ａ）平行移動指示を受け取るステップと、
（ｂ）上記平行移動指示が初期平行移動の画像間変換を算出することを示しているときに、上記入力画像と上記モデル画像との間の初期画像平行移動変換を決定するステップと、
（ｃ）上記平行移動指示が初期平行移動の画像間変換を算出することを示していないときに、（ｃ−１）上記第１の特徴点セットと上記第２の特徴点セットとの間の第１の特徴点マッチングのセットを検出すると共に、（ｃ−２）上記第１の特徴点マッチングのセットに基づいて初期幾何学変換推定を算出するステップと、
をさらに含んでいる
ことを特徴とする請求項１に記載の欠陥検出方法。
【請求項６】
上記初期画像平行移動を決定するステップは、上記モデル画像の対象領域を上記入力画像とマッチングするサブステップを含んでいる
ことを特徴とする請求項５に記載の欠陥検出方法。
【請求項７】
上記モデル画像の上記対象領域は、モデル画像の特有の特徴を少なくとも１つ含んでいる。
ことを特徴とする請求項６に記載の欠陥検出方法。
【請求項８】
上記共通座標系は、上記入力画像の座標系である
ことを特徴とする請求項１に記載の欠陥検出方法。
【請求項９】
上記共通座標系は、上記モデル画像の座標系である、
ことを特徴とする請求項１に記載の欠陥検出方法。
【請求項１０】
上記第１の特徴点セットと上記第２の特徴点セットとの間の上記特徴点マッチングのセットを更新するサブステップは、
（ａ）上記推定された画像間変換に従って、新しい座標系の新しい位置に第１の点を写像するサブステップと、
（ｂ）上記新しい位置の周辺の局所領域を決定するサブステップと、
（ｃ）上記第１の点とマッチする点を決定するために、上記局所領域内の全ての点を検査するサブステップと、
をさらに含んでいる
ことを特徴とする請求項１に記載の欠陥検出方法。
【請求項１１】
上記入力画像及び上記モデル画像に関する上記複数の画像差分ベクトルを形成するステップは、
（ａ）少なくとも１つの画素に基づく差分計測を算出するサブステップと、
（ｂ）少なくとも１つの窓関数に基づく差分計測を算出するサブステップと、
をさらに含んでいる
ことを特徴とする請求項１に記載の欠陥検出方法。
【請求項１２】
（ａ）上記モデル画像の画像エッジ重みマップを算出するステップと、
（ｂ）上記画像エッジ重みマップを用いて、上記複数の画像差分ベクトルを調整するステップと、
をさらに含んでいる
ことを特徴とする請求項１に記載の欠陥検出方法。
【請求項１３】
第１画素が第２画素よりもよりエッジの近くに位置しているとき、上記画像エッジ重みマップは、上記第１画素よりも上記第２画素を重く重み付ける
ことを特徴とする請求項１２に記載の欠陥検出方法。
【請求項１４】
工業用部品における欠陥を検出する欠陥検出装置であって、
（ａ）工業用部品に関する入力画像を受け取る画像受信手段と、
（ｂ）上記入力画像に関するモデルタイプを受け取るモデルタイプ受信手段と、
（ｃ）上記モデルタイプに対応するモデル画像を取得するモデル画像取得手段と、
（ｄ）上記モデル画像と上記入力画像との間の画像間変換を推定する画像間変換推定手段であって、
（ｄ−１）上記入力画像における第１の特徴点セットを検出し、
（ｄ−２）上記モデル画像における第２の特徴点セットを検出し、
（ｄ−３）現在の幾何学変換推定を決定し、
（ｄ−４）最大反復条件が満たされるまで、（１）上記現在の幾何学変換推定に基づいた上記第１の特徴点セットと上記第２の特徴点のセットとの間の特徴点マッチングのセット、及び、（２）更新された上記特徴点マッチングのセットに基づいた上記現在の幾何学変換推定、を反復更新し、
（ｄ−５）上記反復更新された現在の幾何学変換推定を上記推定された画像間変換に割り当てる画像間変換推定手段と、
（ｅ）上記推定された画像間変換に基づいて、上記モデル画像及び上記入力画像を共通座標系に変換することによって、位置合わせされた入力画像と位置合わせされたモデル画像とを取得する画像変換手段と、
（ｆ）上記入力画像及び上記モデル画像に関する複数の画像差分ベクトルを形成する差分計算手段と、
（ｇ）上記複数の画像差分ベクトルに基づいて、上記入力画像に関するラベルされた分類マップを生成する統計分類モデルと、
を備えていることを特徴とする欠陥検出装置。
【請求項１５】
上記入力画像に関する上記ラベルされた分類マップを後処理する後処理手段をさらに備えている
ことを特徴とする請求項１４に記載の欠陥検出装置。
【請求項１６】
上記工業用部品は、液晶ディスプレイパネル及び電子回路からなるグループから選択された部品である
ことを特徴とする請求項１４に記載の欠陥検出装置。
【請求項１７】
上記画像間変換推定手段は、さらに、
（ａ）上記第１の特徴点セットの各特徴点の第１形状記述子を抽出し、第１の特徴点セットの形状記述子の第１のセットを生成すると共に、上記第２の特徴点セットの各特徴点の第１形状記述子を抽出し、第２の特徴点セットの形状記述子の第２のセットを生成し、
（ｂ）上記形状記述子の第１のセット及び上記形状記述子の第２のセットを用いて、上記第１の特徴点セットと上記第２の特徴点セットとの間の上記特徴点マッチングのセットを決定する
ことを特徴とする請求項１４に記載の欠陥検出装置。
【請求項１８】
（ａ）平行移動指示を受け取る平行移動指示受信手段と、
（ｂ）上記平行移動指示が初期平行移動の画像間変換を算出することを示しているときに、上記入力画像と上記モデル画像との間の初期画像平行移動変換を決定する平行移動推定手段と、
（ｃ）上記平行移動指示が初期平行移動の画像間変換を算出することを示していないときに、
（ｃ−１）上記第１の特徴点セットと上記第２の特徴点セットとの間の第１の特徴点マッチングのセットを検出する特徴点マッチング手段と、
（ｃ−２）上記第１の特徴点マッチングのセットに基づいて初期幾何学変換推定を算出する初期幾何学変換計算手段と、をさらに備えている
ことを特徴とする請求項１４に記載の欠陥検出装置。
【請求項１９】
上記共通座標系は、上記入力画像の座標系である
ことを特徴とする請求項１４に記載の欠陥検出装置。
【請求項２０】
上記共通座標系は、上記モデル画像の座標系である
ことを特徴とする請求項１４に記載の欠陥検出装置。
【請求項２１】
上記画像間変換推定手段は、
上記第１の特徴点セットと上記第２の特徴点セットとの間の上記特徴点マッチングのセットの更新を、
（ａ）上記推定された画像間変換に従って、新しい座標系の新しい位置に第１の点を写像し、
（ｂ）上記新しい位置の周辺の局所領域を決定し、
（ｃ）上記第１の点とマッチする点を決定するために、上記局所領域内の全ての点を検査する、
ことによって行う
ことを特徴とする請求項１４に記載の欠陥検出装置。
【請求項２２】
上記差分計算手段は、さらに、
（ａ）少なくとも１つの画素に基づく差分計測を算出する画素差分計算手段と、
（ｂ）少なくとも１つの窓関数に基づく差分計測を算出する窓差分計算手段と、をさらに備えている
ことを特徴とする請求項１４に記載の欠陥検出装置。
【請求項２３】
（ａ）上記モデル画像の画像エッジ重みマップを算出するエッジ重みマップ計算手段と、
（ｂ）上記画像エッジ重みマップを用いて、上記複数の画像差分ベクトルを調整する調整手段と、をさらに備えている
ことを特徴とする請求項１４に記載の欠陥検出装置。
【請求項２４】
工業用部品の欠陥を検出するための欠陥検出システムの学習方法であって、
（ａ）工業用部品に関する入力画像を受け取るステップと、
（ｂ）上記入力画像に関するモデルタイプを受け取るステップと、
（ｃ）上記モデルタイプに対応するモデル画像を取得するステップと、
（ｄ）上記入力画像に関する真の欠陥マスクを受け取るステップと、
（ｅ）上記モデル画像と上記入力画像との間の画像間変換を推定するステップであって、
（ｅ−１）上記入力画像における第１の特徴点セットを検出するサブステップ、
（ｅ−２）上記モデル画像における第２の特徴点セットを検出するサブステップ、
（ｅ−３）現在の幾何学変換推定を決定するサブステップ、
（ｅ−４）最大反復条件が満たされるまで、（１）上記現在の幾何学変換推定に基づいた上記第１の特徴点セットと上記第２の特徴点のセットとの間の特徴点マッチングのセット、及び、（２）更新された上記特徴点マッチングのセットに基づいた上記現在の幾何学変換推定、を反復推定するサブステップ、並びに、
（ｅ−５）上記反復更新された現在の幾何学変換推定を上記推定された画像間変換に割り当てるサブステップ、を含むステップと、
（ｆ）上記推定された画像間変換に基づいて、上記モデル画像及び上記入力画像を共通座標系に変換することによって、位置合わせされた入力画像と位置合わせされたモデル画像を取得するステップと、
（ｇ）上記入力画像及び上記モデル画像に関する複数の画像差分ベクトルを形成するステップと、
（ｈ）上記複数の画像差分ベクトル及び真の欠陥マスクを用いて、統計分類モデルを学習させるステップと、
を含んでいることを特徴とする学習方法。
【請求項２５】
請求項１４から２３までの何れか１項に記載の欠陥検出装置を動作させるための制御プログラムであって、コンピュータを上記の各手段として機能させるためのプログラム。
【請求項２６】
請求項２５に記載のプログラムが記録されたコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−３２３７０（Ｐ２０１２−３２３７０Ａ）
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願番号】特願２０１１−５２１７６（Ｐ２０１１−５２１７６）
【出願日】平成２３年３月９日（２０１１．３．９）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願日】平成２３年３月９日（２０１１．３．９）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]