パターン位置検出方法
【課題】簡便な画像処理によって部品の位置検出時間を短縮する。
【解決手段】モデル画像取得工程と、取得したモデル画像を特定のパターンを含む複数の基準画像に分割する基準画像生成工程と、検出対象物の画像を取得する検出画像取得工程と、検出画像の上の複数の所定位置に各基準画像の各原点を合わせる原点あわせ工程と、各基準画像の各原点を検出画像の上の複数の所定位置からＸＹ方向にずらしながら検出画像の中の各基準画像に対応する各領域にある各検出画像部分と各基準画像とを順次対比し、各相関値を順次取得する対比工程と、それぞれの対比位置における各相関値を統合ＸＹ面内で統合して統合相関値を生成する統合工程と、統合した統合相関値のピークの統合ＸＹ座標値を検出対象物の各所定位置からＸＹ面内での各基準画像に含まれる各特定のパターンの位置のズレと認識する位置ズレ認識工程と、を含むことを特徴とする。
【解決手段】モデル画像取得工程と、取得したモデル画像を特定のパターンを含む複数の基準画像に分割する基準画像生成工程と、検出対象物の画像を取得する検出画像取得工程と、検出画像の上の複数の所定位置に各基準画像の各原点を合わせる原点あわせ工程と、各基準画像の各原点を検出画像の上の複数の所定位置からＸＹ方向にずらしながら検出画像の中の各基準画像に対応する各領域にある各検出画像部分と各基準画像とを順次対比し、各相関値を順次取得する対比工程と、それぞれの対比位置における各相関値を統合ＸＹ面内で統合して統合相関値を生成する統合工程と、統合した統合相関値のピークの統合ＸＹ座標値を検出対象物の各所定位置からＸＹ面内での各基準画像に含まれる各特定のパターンの位置のズレと認識する位置ズレ認識工程と、を含むことを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検出対象物のパターン位置を検出する位置検出方法に関する。
【背景技術】
【０００２】
取得した画像に基づいて人物の顔の照合等をする方法が用いられている。例えば、蓄積した登録画像を正規化してその特徴部分抽出し、その特徴部分を判別性の高い判別空間に投射しておく。そして、照合しようとする画像を同様に正規化してその特徴を抽出し、その特徴を同様の判別空間に投射し、両者の特徴部分を比較して照合スコアを出力し、そのスコアによって照合判定を行う方法が提案されている（例えば、特許文献１参照）。
【０００３】
また、画像の画像特徴を判別するための方法として画像を分割する方法が提案されている。例えば、一つの原画像を一つの大きさが１４×１８画素（２５２次元）の大きさに９分割し、それぞれの大きさの局所画像を特徴ベクトルとし、それぞれの部分画像に対して学習サンプルを用いて判別分析を行うことが提案されている。この方法は、画像の特徴次元数が２５２次元と原画像より大幅に少なくなることから、画像の判別を行う学習サンプルが少なくとも精度を保って判別をすることができる（例えば、特許文献２参照）。
【０００４】
また、産業機械等において、取り付け部品或いは加工部品の画像を処理してその位置決めを行うことが行われている。例えば、半導体チップの周辺位置に認識パターンと、位置基準としてのターゲットを形成しておき、半導体チップの上に形成されているターゲットの画像データをＩＴＶカメラにより取り込み、この画像と予め設定されてあるターゲットデータの画像とを比較し、両者を一致させることで半導体チップの位置合わせを行うことが行われている（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−３３８０９２号公報
【特許文献２】特開２００４−１９２６０３号公報
【特許文献３】特開平０７−１９３０９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、特許文献３に記載された従来技術によって部品の位置合わせを行う場合には、部品の周辺等の予め決まった位置に位置基準としてのターゲットを設けておき、カメラで取り込んだターゲットの画像と予め設定されているターゲットデータの画像とを一致させることにより位置合わせを行うことから、まず、カメラで部品のターゲットの画像を取得することが必要となる。しかし、部品の周辺部分は照明の関係により鮮明な画像が取得できなかったり、何らかの理由で照明が不十分でターゲットの画像が取得できなかったりする場合がある。そして、ターゲットの画像が不鮮明な場合には、部品の位置決めの精度が低下し、ターゲットの画像が取得できなかった場合には、部品の位置が判断できず、組み立て装置を停止しなければならない場合があった。
【０００７】
そこで、産業機械においても、特許文献１，２に記載したような部品画像の特徴的部分を比較して部品の判定を行い、その結果を用いて部品の位置を検出し、部品の位置合わせを行う方法が用いられる場合が多くなってきている。この方法は、部品に予めターゲットを設けておく必要がなく、予めターゲットが設けられていない部品であっても部品の認識、位置合わせを行うことが可能な上、部品の周辺部分の画像が不鮮明であっても全体の画像に基づいて部品を認識し、その位置合わせを行うことができるので、位置合わせの安定性が高く、より精度よく位置合わせを行うことができる。また、少ない学習サンプルで画像の判別を行うことができるように、画像を分割する方法が用いられることが多い。
【０００８】
ところが、取得した画像に基づいて部品の判定を行うには、画像の処理時間が長くなってしまう。産業機械においては、部品の位置決めは短時間に行わなければならず、人間の顔の画像から個人を認識する様な場合以上の処理速度が要求される。例えば、画像を分割して処理した場合、その検出スコアを統合する際の処理時間が長くなったり、分割したどの画像によって部品の判定、位置決めを行ったら最適であるかを判断する時間が長くなったりすることから、産業機械における応用は制限されたものであった。
【０００９】
本発明は、簡便な画像処理によって部品の位置検出時間の短縮を図ることを目的とする。
【課題を解決するための手段】
【００１０】
本発明のパターン位置検出方法は、検出対象物のモデル画像を取得するモデル画像取得工程と、取得したモデル画像をそれぞれが特定のパターンを含む複数の基準画像に分割する基準画像生成工程と、検出対象物の検出画像を取得する検出画像取得工程と、検出画像の上の複数の所定位置に各基準画像の各原点を合わせる原点あわせ工程と、各基準画像の各原点を検出画像の上の複数の所定位置からＸＹ方向にずらしながら検出画像の中の各基準画像に対応する各領域にある各検出画像部分と各基準画像とを順次対比し、各検出画像部分と各基準画像との間の各相関値を順次取得する対比工程と、それぞれの対比位置における各検出画像部分と各基準画像との間の各相関値を統合ＸＹ面内で統合して統合相関値を生成する統合工程と、統合した統合相関値のピークの統合ＸＹ座標値を検出対象物の各所定位置からＸＹ面内での各基準画像に含まれる各特定のパターンの位置のズレと認識する位置ズレ認識工程と、を含むことを特徴とする。
【００１１】
本発明のパターン位置検出方法において、各基準画像の各特定のパターンに基づいて各相関値を統合する際の重みを計算する重み計算工程を含み、統合工程は、各相関値に重みを掛けあわせた各重みつき相関値を積算すること、としても好適である。
【００１２】
本発明のパターン位置検出方法において、各基準画像の伸びている方向を計算する方向計算工程を含み、対比工程は、取得した各相関値を空間フィルタによりフィルタリングして各フィルタリング後相関値を生成し、統合工程は、各フィルタリング後相関値を統合し、空間フィルタは、各画像の伸びている方向の相関値を抽出するフィルタであること、としても好適であるし、方向計算工程は、各基準画像の空間モーメントを計算する空間モーメント計算工程を含むこと、としても好適である。
【発明の効果】
【００１３】
本発明は、簡便な画像処理によって部品の位置検出時間の短縮を図ることができるという効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態におけるパターン位置検出方法を実行するボンディング装置の構成を示す説明図である。
【図２】本発明の実施形態におけるパターン位置検出方法を示すフローチャートである。
【図３】本発明の実施形態におけるパターン位置検出方法のモデル画像を示す説明図である。
【図４】本発明の実施形態におけるパターン位置検出方法のモデル画像の分割を示す説明図である。
【図５】本発明の実施形態におけるパターン位置検出方法の基準画像を示す説明図である。
【図６】本発明の実施形態におけるパターン位置検出方法の検出画像を示す説明図である。
【図７】本発明の実施形態におけるパターン位置検出方法の原点を合わせる工程を示す説明図である。
【図８】本発明の実施形態におけるパターン位置検出方法の対比工程を示す説明図である。
【図９】本発明の実施形態におけるパターン位置検出方法の相関値の分布を示す説明図である。
【図１０】本発明の実施形態におけるパターン位置検出方法の相関値の分布を示す説明図である。
【図１１】本発明の実施形態におけるパターン位置検出方法の空間フィルタの説明図である。
【図１２】本発明の実施形態におけるパターン位置検出方法の相関値の分布を示す説明図である。
【図１３】本発明の実施形態におけるパターン位置検出方法の相関値の分布を示す説明図である。
【図１４】本発明の実施形態におけるパターン位置検出方法の統合相関値の分布を示す説明図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について図面を参照しながら説明する。以下の説明では、半導体のチップの位置検出を行うことを例として説明する。本発明の実施形態について説明する前に、図１を参照しながら本発明の方法を実施するワイヤボンディング装置について説明する。図１において、信号線は１点鎖線で示す。図１に示すように、本発明の方法を実施するワイヤボンディング装置５０は、ＸＹテーブル５３の上にボンディングヘッド５２が設置され、ボンディングヘッド５２にはボンディングアーム５５が取り付けられている。ボンディングアーム５５はＺ方向モータによって回転中心の回りに駆動され、その先端に超音波ホーン５５ｂが取り付けられ、超音波ホーン５５ｂの先端が半導体チップ６２のパッド面に対して弧状に接離動作するように構成されている。超音波ホーン５５ｂの先端には、キャピラリ５８が取り付けられている。ＸＹテーブル５３とボンディングヘッド５２は移動機構５４を構成し、移動機構５４はＸＹテーブル５３によってボンディングヘッド５２をボンディング面に沿った面内(ＸＹ面内)で自在な位置に移動することができ、これに取り付けられたボンディングアーム５５をＺ方向モータで駆動させることによって、ボンディングアーム５５の先端に取り付けられた超音波ホーン５５ｂの先端及びその先端に取り付けられたキャピラリ５８をＸＹＺの方向に自在に移動させることができる。ＸＹテーブル５３のボンディングアーム５５の先端側には基板６３を吸着固定するボンディングステージ５６が設けられている。
【００１６】
図１に示すように、ワイヤ６１はボンディングヘッド５２の上に取り付けられたスプール５１から供給される。超音波ホーン５５ｂは、超音波振動子５７で発生した超音波エネルギをキャピラリ５８に供給し、キャピラリ５８に挿通されたワイヤ６１を半導体チップ６２のパッド面、及び基板６３のリードの表面に押し付けて接合させる機能を有している。ボンディングへッド５２にはキャピラリ５８に挿通されるワイヤ６１を把持、開放するクランパ５９が設けられている。クランパ５９はボンディングアーム５５と連動してＸＹＺ方向に移動する。
【００１７】
図１に示すように、ワイヤボンディング装置５０は内部にＣＰＵを持つ制御部３０によって各部の位置の検出及び動作制御が行われ、半導体チップ６２と基板６３との間をワイヤ６１によって接続する。ＸＹテーブル５３には、ボンディングへッド５２のＸＹ方向位置を検出するＸＹ位置検出手段が設けられている。ボンディングへッド５２には、半導体チップ６２、基板６３などの画像を取得する撮像手段であるカメラ６０が取り付けられ、カメラ６０によって撮像した画像に基づいて半導体チップ６２の位置を検出したりキャピラリ５８のＸＹ方向の位置決めを行ったりするよう構成されている。カメラ６０は画像信号を取得することができるものであれば絞り機構やシャッタ等の無い撮像素子とレンズ等によって構成されるものでもよい。
【００１８】
上記のＸＹテーブル５３とボンディングヘッド５２によって構成される移動機構５４は移動機構インターフェース４６を介してデータバス３１から制御部３０に接続され、カメラ６０は、撮像装置インターフェース４９を介してＣＰＵを含む制御部３０からの指令によって動作するように構成されている。また、ワイヤボンディング装置５０の制御部３０には、カメラ６０によって取得した画像を映し出すモニタ６５とボンディングヘッド５２或いはカメラ６０の位置を手動で変化させる手動入力装置６４がそれぞれモニタインターフェース４８、手動入力装置インターフェース４７を介して接続されている。カメラ６０によって取得した画像は撮像装置インターフェース４９、データバス３１、モニタインターフェース４８を介してモニタ６５に送られ、モニタ６５によって表示される。また、手動入力装置６４の信号は手動入力装置インターフェース４７、データバス３１、移動機構インターフェース４６を介してＸＹテーブル５３或いはボンディングヘッド５２を動作させるように構成されている。
【００１９】
データバス３１には記憶部３２が接続されている。記憶部３２は、制御部３０の行う位置検出処理や制御指令出力動作に必要な制御データ３４を保持しており、制御部３０からの指令によって制御データ３４を制御部３０に出力し、或いは入力された信号データなどを記憶、保持する。制御部３０とデータバス３１と記憶部３２と各インターフェース４６〜４９とは、一体として構成されたコンピュータ８０であり、記憶部３２には制御データ３４以外にボンディング制御全般をコントロールする制御プログラム３３や、後で説明する、基準画像生成プログラム３６、検出画像取得プログラム３７、原点合わせプログラム３８、対比プログラム３９、統合プログラム４０、位置ズレ認識プログラム４１、重み計算プログラム４２、方向計算プログラム４３、フィルタリングプログラム４５が格納されている。また、カメラ６０によって取得した画像は撮像装置インターフェース４９、データバス３１を介して記憶部３２の画像データ４４の中に格納され、各プログラム３５〜４３，４５によって処理された画像も画像データ４４の中に格納される。
【００２０】
以上のように構成されたワイヤボンディング装置５０によってパターン位置を検出する方法の実施形態について説明する。図２のステップＳ１０１に示すように、制御部３０は検出対象である半導体チップ６２のモデル画像を取得するために図１に示すモデル画像取得プログラム３５を実行する。このモデル画像取得プログラム３５の実行によって図示しない半導体チップ６２の搬送装置が駆動され、半導体チップ６２をモデル画像取得位置まで移動させる。モデル画像取得位置は、ボンディングステージ５６の上の通常のボンディングを行う位置であってもよいし、別途設けたモデル画像取得ステーションであってもよい。制御部３０は、半導体チップ６２をモデル画像取得位置に移動させると、カメラ６０を作動させて半導体チップ６２の画像を取得し、取得した画像をモニタ６５に表示させる。
【００２１】
モニタ６５には、図３に示す様な半導体チップ６２の画像１０が表示される。画像１０は、上側に二段、中央に二段、下側に二段にＸ方向に並んだ横長の長方形パッド１１と、左側に二列にＹ方向に並んだ正方形パッド１２と、４つの十字型の位置マーク１３とを含んでいる。画像１０の左上の角の点は基準点１７である。ここで、長方形パッド１１、正方形パッド１２、位置マーク１３は画像１０の特徴的な部分であり、特定のパターンである。画像１０は半導体チップ６２の半分程度の大きさの画像であるが、特徴的な部分となる長方形パッド１１、正方形パッド１２、位置マーク１３が含まれていればよく、半導体チップ６２全体の画像でなくともよい。本実施形態では、半導体チップ６２の半分程度の部分の画像がモニタ６５に表示されている。作業者は、このモニタ６５に出力された画像１０を確認し、画像１０に欠損や汚れがなく、モデル画像として十分な画質を備えているか、必要な特徴的部分が十分に含まれているかどうかを確認する。そして、作業者が画像１０は十分な画質と特徴的な部分とを有していると判断した場合、作業者はモニタ６５に表示されている画像１０をモデル画像として登録する指令を手動入力装置６４から入力する。制御部３０はこの指令によってモニタ６５に表示されている画像１０をモデル画像として登録し、画像データ４４の中に格納する（モデル画像取得工程）。
【００２２】
また、作業者が画像１０は十分な画質と特徴的な部分とを有していないと判断した場合、作業者は、十分な画質と特徴的な部分とを有している画像１０を取得できるまで、手動入力装置６４から搬送装置を動作させる指令を入力して半導体チップ６２の位置を修正し、制御部３０に図１に示すモデル画像取得プログラム３５を実行させる。そして画像１０が十分な画質と特徴的な部分とを有していると判断した場合、作業者はモニタ６５に表示されている画像１０をモデル画像として登録する指令を手動入力装置６４から入力する。制御部３０はこの指令によってモニタ６５に表示されている画像１０をモデル画像として登録し、画像データ４４の中に格納する。なお、本実施形態では、作業者が画像１０の画質と特徴的な部分の有無を判断することとして説明したが、制御部３０の中に画像１０の画質と特徴的な部分の有無を判断させ、自動的にモデル画像の登録を行うようにしてもよい。
【００２３】
図２のステップＳ１０２に示すように、制御部３０は、基準画像の生成を行うために図１に示す基準画像生成プログラム３６を実行する。この基準画像生成プログラム３６を実行すると、制御部３０は、最初に格納したモデル画像を基準画像に分割する動作を実行する。制御部３０は、図４に示すように、モデル画像に含まれるパッド１１，１２、位置マーク１３等の配置に基づいて画像の分割数を決定し、その分割数にモデル画像を分割する。本実施形態では、モデル画像を４つに分割して４つの基本画像とする場合について説明する。分割数は、モデル画像によって変更してもよいし、半導体チップ６２の種類によって予め決めておいてもよいし、作業者がモニタ６５に表示された画像に基づいて手動入力装置６４から手動入力するようにしてもよい。
【００２４】
図４に示すように、制御部３０は、モデル画像として登録された画像１０のデータを画像データ４４から読みだし、画像１０の左側上の角の基準点１７からＸ方向に距離ΔＸ1だけ画像１０の中心に寄った一点鎖線と、基準点１７からそれぞれＹ方向に距離ΔＹ1だけ画像１０の中心に寄った一点鎖線との範囲を同一の形状の４つのブロックに分割する。従って、各ブロックのＹ方向の長さは、画像１０のＹ方向に長さから距離ΔＹ1を引いた長さを二等分した長さよりも短ければよく、各ブロックのＸ方向の長さは、画像１０のＸ方向の長さから距離ΔＸ1を引いた長さを二等分した長さよりも短ければよく、各長さは、その中に含まれる特徴的な部分の個数等によって決めてよい。なお、本実施形態では、半導体チップ６２の各パッド１１，１２、位置マーク１３は上下方向（Ｙ方向）に対象で、横方向（Ｘ方向）の長さがＹ方向の長さよりも長いので、各ブロックは画像１０の上側、下側の各輪郭線からそれぞれ距離ΔＹ1だけ画像１０の中心に寄った一点鎖線の間を上下に二等分している。このため、各ブロックのＹ方向の長さは、［（画像１０のＹ方向に長さ）−２×（距離ΔＹ1）］／２、となっている。
【００２５】
このように、画像１０を４つのブロックに分割すると、図４に示すように、画像１０は第１基準画像１００，第２基準画像２００，第３基準画像３００，第４基準画像４００の４つの画像に分割される。図４に示すように、各基準画像１００〜４００の間には隙間がなく、第１の基準画像１００の左側の輪郭線と第２画像２００の右側の輪郭線、及び第３の基準画像３００の左側の輪郭線と第４画像４００の右側の輪郭線とはそれぞれ重なっており、上側の第１、第２基準画像１００，２００の各下側の輪郭線と下側の第３、第４基準画像３００，４００の各上側の輪郭線とはそれぞれ重なっている。そして、第１基準画像１００の左上の角の原点１０１は、画像１０の左上の基準点１７からＸ方向に距離ΔＸ1、Ｙ方向に距離ΔＹ1 だけ離れた位置となっている。
【００２６】
そして、制御部３０は生成した各基準画像１００〜４００を画像データ４４に格納する。図５に示すように、各基準画像１００〜４００は同一の形状、大きさとなっており、各基準画像１００〜４００の各左上の角が各基準画像１００〜４００の各原点１０１，２０１，３０１，４０１となっている。第１基準画像１００は、特定のパターンである複数の長方形パッド１１と複数の正方形パッド１２と２つの位置マーク１３とを含んでいる。第３基準画像は、第１基準画像１００と上下対称の画像である。また、第２基準画像２００は、画像１０の上側に配置された長方形パッド１１と画像１０の上下方向の中央部分に配置された長方形パッド１１の上側の段とを特定のパターンとして含んでおり、第４基準画像４００は、第２基準画像２００と上下対称の画像である（基準画像生成工程）。
【００２７】
図２のステップＳ１０３に示すように、制御部３０は、画像データ４４の中に格納した各基準画像１００〜４００の各空間モーメントを計算し、図１に示す方向計算プログラムを実行して計算した各空間モーメントの値に基づいて各基準画像１００〜４００の画像の伸びる方向を計算し、画像データ４４の中に格納する。各空間モーメントは画像の特徴を示す指標となる値であり、以下の式１〜式４によって示される。
座標（ｉ，ｊ）における基準画像１００〜４００のピクセル値をピクセル値ｆ（ｉ，ｊ）とすると、次数（ｐ，ｑ）の空間モーメントｍpqは次の式で計算される。
【００２８】
【数１】
【００２９】
基準画像１００〜４００は二値画像であり、０次モーメントｍ00は各基準画像１００〜４００の面積を表す。また、０次モーメントｍ00に対するＸ軸１次モーメントｍ10の割合（ｍ10／ｍ00)、及び０次モーメントｍ00に対するＹ軸１次モーメントｍ01の割合（ｍ01／ｍ00)は各基準画像１００〜４００の各重心のＸＹ座標Ｇ（ｉG，ｊG）を表す。重心の周りのモーメントは，特に重心モーメントと呼ばれ、次の式２で与えられる。
【００３０】
【数２】
【００３１】
また、２次モーメントは慣性モーメントとも呼ばれ，各基準画像１００〜４００の各２次重心モーメントは式２でｐ＝２，ｑ＝０ならびにｐ＝０，ｑ＝２で次の式３のように与えられる。
【００３２】
【数３】
【００３３】
式３で各基準画像１００〜４００の各重心を原点としたときのＸ軸，Ｙ軸についての各２次モーメントをそれぞれμ02、μ20とすると，各重心の周りの2次モーメントは次の式４にようになる。
【００３４】
【数４】
【００３５】
図２のステップＳ１０４に示すように、制御部３０は、上記の式１〜式４によって計算した各基準画像１００〜４００の空間モーメントに基づいて各基準画像１００〜４００が伸びている方向を表す特徴量である慣性主軸の傾きθを図１に示す方向計算プログラムを実行して計算し、その結果を画像データ４４の中に格納する。慣性主軸の傾きθは、１次モーメントをμ11、Ｘ軸、Ｙ軸についての２次モーメントをそれぞれμ02、μ20として次の式５で表される（方向計算工程）。
【００３６】
【数５】
【００３７】
図２のステップＳ１０５に示すように、制御部３０は、図１に示す重み計算プログラム４２を実行し、上記の式１〜式５によって計算した各基準画像の面積（０次モーメント）、重心位置Ｇ（ｉG，ｊG）、各基準画像の伸びている方向（慣性主軸の傾きθ）等の特徴量に基づいて、各基準画像１００〜４００の重みづけを計算する。例えば、第１、第３基準画像１００，３００と第２、第４基準画像２００，４００とを比較すると、第１、第３基準画像１００，３００は第２、第４基準画像よりも各パッド１１，１２、位置マーク１３の面積が多く、Ｘ方向に長方形パッド１１が等間隔で２列に配置され、Ｙ方向に正方形パッド１２が等間隔で２列に配置され、２つの位置マーク１３が略４５°方向に沿って並んで配置されていることから、画像の伸びている方向が斜め方向となる。一方、第２，第４基準画像の特定パターンは、長方形パッド１１がＸ方向に等間隔で連続して３列に配置されているものであり、画像の面積は第１、第３基準画像１００，３００よりも小さく、画像の伸びる方向は単純なＸ方向となる。このことから、各基準画像１００〜４００を他の画像と対比してその判別を行う際に、第１、第３基準画像１００，３００の方が第２、第４基準画像２００，４００よりも画像の判別を行う特徴量が大きく、より正確に判別を行うことができる。このことから、第１、第３基準画像１００，３００の重みは第２、第４基準画像よりも大きくする。この重みづけは、各基準画像１００〜４００に含まれている特定パターンによって自由に選ぶことができる。制御部３０は、各基準画像１００〜４００の各重みを計算したら、画像データ４４の中に格納する（重み計算工程）。
【００３８】
以上説明したように、各基準画像１００〜４００の生成、各基準画像１００〜４００の方向、重みの計算が終了したら、制御部３０は、実際にボンディングを行う半導体チップ６２の位置検出を行う。
【００３９】
図２のステップＳ１０６に示すように、制御部３０は図１に示す検出画像取得プログラム３７を実行し、検出対象である半導体チップ６２の検出画像の取得を行う。この検出画像取得プログラム３７を実行すると、まず、制御部３０によって図示しない半導体チップ６２の搬送装置が駆動され、ボンディングを行う半導体チップ６２がボンディングステージ５６の上のボンディング位置に搬送される。次に、制御部３０は、カメラ６０を作動させて半導体チップ６２の画像を図６に示すような検出画像２０として取得し、取得した検出画像２０を画像データ４４に格納する。検出画像２０は、先に図３を参照して説明したモデル画像として登録した画像１０と同様、長方形パッド２１、正方形パッド２２、位置マーク２３が同様の位置に配置されたものとなっており、画像の左上の角の点が第１所定位置２７ａとなっている（検出画像取得工程）。
【００４０】
半導体チップ６２の表面の汚れや、照明の位置、方向等により検出画像２０は、画像の特徴部分或いは特定パターンである長方形パッド２１、正方形パッド２２、位置マーク２３が不鮮明の場合が多い。本実施形態では、検出画像２０は、図６に示すように、左上と右下とにそれぞれ影２５，２６ができており、この部分の長方形パッド２１、正方形パッド１２、位置マーク１３が不鮮明で識別できなくなっている。
【００４１】
制御部３０は、図２のステップＳ１０７に示すように、図１に示す原点あわせプログラム３８を実行し、取得した検出画像２０の上に各基準画像１００〜４００を重ね合わせる。原点あわせプログラム３８を実行すると、制御部３０は、図７に示すように、第１基準画像１００の原点１０１を検出画像２０の第１所定位置２７ａに合わせる。すると、図７に示すように、第１基準画像１００の原点１０１は図４を参照して説明した第１基準画像１００を生成する際の第１基準画像１００の原点１０１の位置からＸ方向に距離ΔＸ1、Ｙ方向に距離ΔＹ1だけずれた位置となっている。また、図７に示すように、各基準画像１００〜４００の各長方形パッド１１、各正方形パッド１２、各位置マーク１３の位置は、検出画像２０の各長方形パッド２１、各正方形パッド２２、各位置マーク２３の位置からＸ方向に距離ΔＸ1、Ｙ方向に距離ΔＹ1だけずれた位置となっている。また、第２〜第４基準画像２００〜４００は、図４を参照して説明したように、各基準画像１００〜４００が隙間なく並ぶような位置に位置合わせされる。すると、図７に示すように、第２〜第４基準画像２００〜４００の各原点２０１〜４０１も図４を参照して説明した各基準画像２００〜４００を生成する際の各基準画像２００〜４００の各原点２０１，３０１，４０１の位置からＸ方向に距離ΔＸ1、Ｙ方向に距離ΔＹ1だけずれた位置となっている。この各原点２０１，３１０，４０１の位置は、それぞれ検出画像２０の第２所定位置２７ｂ，第３所定位置２７ｃ、第４所定位置２７ｄの位置となっている。つまり、各基準画像１００〜４００は、図７において一点鎖線５００で示す各基準画像１００〜４００を生成する際の各基準画像１００〜４００の位置からＸＹ方向にそれぞれ同一距離（Ｘ方向に距離ΔＸ1、Ｙ方向に距離ΔＹ1）だけずれた位置となっている（原点合わせ工程）。
【００４２】
制御部３０は、図２のステップＳ１０８に示すように、図１に示す対比プログラム３９を実行し、検出画像２０に対して各基準画像１００〜４００を移動させながら検出画像２０と各基準画像１００〜４００を対比し、その相関値を取得する。以下、図８を参照して検出画像２０と第１基準画像１００との対比と相関値の取得について説明する。なお、図８において一点鎖線５００は各基準画像１００〜４００を生成する際の各基準画像１００〜４００の位置を示している。
【００４３】
制御部３０は、図８に示すように、第１基準画像１００の左上の原点１０１を検出画像２０の左上の角の第１所定位置２７ａに合わせる。この際の基準画像の原点１０１の位置を図８において点１０１ａとして示す。点１０１ａのＸＹ座標は（０，０）である。先に説明したように、この位置では、第１基準画像１００の各長方形パッド１１、各正方形パッド１２、各位置マーク１３の位置は、検出画像２０の各長方形パッド２１、各正方形パッド２２、各位置マーク２３の位置からＸ方向に距離ΔＸ1、Ｙ方向に距離ΔＹ1だけずれた位置となっている。そして、制御部３０は、この位置で検出画像２０と第１基準画像１００とを対比し、その相関値を取得し、図１に示す画像データ４４の中に格納する。そして、次に制御部３０は、第１基準画像１００の原点１０１を第１所定位置２７ａからＸ方向に１ピクセル分だけ移動させ、第１基準画像１００の原点１０１をＸＹ座標（１，０）とし、この位置で検出画像２０と第１基準画像１００との対比し、その相関値を取得して画像データ４４の中に格納する。このように、制御部３０は基準画像１００の原点１０１をＸ方向に１ピクセル移動させる毎に、検出画像２０と基準画像１００とを対比し、相関値を取得し、画像データ４４に格納する。
【００４４】
そして、制御部３０は、図８に示すように、第１基準画像１００の原点１０１の位置をＸ方向に距離ΔＸ1の点１０１ｂ（ＸＹ座標は（ΔＸ1，０））まで移動させたら、原点１０１のＸ方向位置を検出画像２０の第１所定位置２７ａの位置まで戻すと共に、Ｙ方向に１ピクセルだけ移動させ、原点１０１のＸＹ座標を（０，１）とし、検出画像２０と第１基準画像１００と対比し、相関値を取得し、画像データ４４に格納する。制御部３０は、先に説明したと同様、Ｘ方向に向かって第１基準画像１００を１ピクセル移動させる毎に検出画像２０と基準画像１００とを対比し、相関値を取得し、画像データ４４に格納する。そして、制御部３０は、先に説明したと同様、第１基準画像１００の原点１０１の位置をＸ方向に距離ΔＸ1だけ移動動させたら（ＸＹ座標は（ΔＸ1，１））、原点１０１のＸ方向位置を検出画像２０の第１所定位置２７ａの位置まで戻すと共に、Ｙ方向に更に１ピクセルだけ移動させ、原点１０１のＸＹ座標を（０，２）とし、検出画像２０と第１基準画像１００と対比し、相関値を取得し、画像データ４４に格納する。このように、基準画像１００の原点１０１をＸ方向に１ピクセルずつ距離ΔＸ1だけ移動させたら、原点１０１のＸ方向位置を０に戻し、Ｙ方向に１ピクセル移動させてからＸ方向に１ピクセルずつ距離ΔＸ1だけ移動させ、原点１０１の位置をＸＹ座標（ΔＸ1，ΔＹ1）まで移動させる。原点１０１の位置がＸＹ座標（ΔＸ1，ΔＹ1）となったら、制御部３０は、検出画像２０と第１基準画像１００との対比、相関値の取得を終了する。このように、制御部３０は、検出画像２０の中の第１基準画像１００を生成する際の第１基準画像１００よりもＸ方向、Ｙ方向にそれぞれ距離ΔＸ1、距離ΔＹ1だけ広がった領域１１０（図８でハッチングで示した領域）と第１基準画像１００とを対比し、その相関値を取得していく。領域１１０は、第１の基準画像１００に対応する検出画像２０の一部である。
【００４５】
同様に、第２〜第４基準画像もそれぞれ図７に示すように、図４を参照して説明した各基準画像２００〜４００を生成する際の各基準画像２００〜４００の各原点２０１，３０１，４０１の位置からＸ方向に距離ΔＸ1、Ｙ方向に距離ΔＹ1だけずれた各所定位置２７ｂ〜２７ｄから各基準画像２００〜４００の各原点２０１〜４０１をＸ方向に１ピクセルずつ距離ΔＸ1だけ移動させたら、各原点２０１〜４０１のＸ方向位置を各所定位置２７ｂ〜２７ｄのＸ方向位置、即ち、Ｘ方向座標を０に戻し、Ｙ方向に１ピクセル移動させてからＸ方向に１ピクセルずつ距離ΔＸ1だけ移動させ、各原点２０１〜４０１の位置をＸＹ座標（ΔＸ1，ΔＹ1）まで移動させたら、検出画像２０と各基準画像２００〜４００との対比、相関値の取得を終了する。このように、制御部３０は、検出画像２０の中の各基準画像２００〜４００を生成する際の各基準画像２００〜４００よりもＸ方向、Ｙ方向にそれぞれ距離ΔＸ1、距離ΔＹ1だけ広がった図８にハッチングで示す各領域２１０，３１０，４１０と各基準画像２００〜４００とを対比し、その相関値を取得していく（対比工程）。
【００４６】
領域２１０，３１０，４１０は、それぞれ第２、第３、第４基準画像２００〜４００にそれぞれ対応する検出画像２０の一部であり、図８に示すように、領域１１０，３１０の右側部分と領域２１０，４１０の左側部とはそれぞれ距離ΔＸ1だけ重なりあい、領域１１０，２１０の下側部分と領域３１０，４１０の上側部分は距離ΔＹ1だけ重なり合っている。
【００４７】
以上説明したように、本実施形態は、各基準画像１００〜４００の各原点１０１〜４０１を検出画像２０の上にある各基準画像１００〜４００を生成する際の各基準画像１００〜４００の各原点１０１〜４０１の位置よりＸ方向に距離ΔＸ1、Ｙ方向に距離ΔＹ1だけずれた複数の所定位置からＸＹ方向に１ピクセルずらす毎に検出画像２０の中の各基準画像１００〜４００を生成する際の各基準画像１００〜４００よりもＸ方向、Ｙ方向にそれぞれ距離ΔＸ1、距離ΔＹ1だけ広がった各領域１１０〜４１０と各基準画像１００〜４００とを対比し、その相関値を取得していく。従って、もし、検出画像２０の位置とモデル画像として登録した図３に示す画像１０の位置とが全く同一位置であるならば、検出画像２０の各領域と各基準画像１００〜４００との各相関値は、いずれも各基準画像１００〜４００を生成する際の各基準画像１００〜４００の各原点１０１〜４０１の位置からＸ方向に距離ΔＸ1、Ｙ方向に距離ΔＹ1だけ移動した位置において最大の相関値を示すことになる。
【００４８】
このようにして取得した各基準画像１００〜４００の各ＸＹ位置における各相関値は図９、図１０、図１２、図１３に示す様な分布として示される。図９、図１０、図１２、図１３において、縦軸はそれぞれ検出画像２０と各基準画像１００〜４００との各相関値の大きさを示し、先端に丸印のある直線６０１は、その座標位置における各相関値の大きさを示している。図９に示すように、第１基準画像１００と検出画像２０の領域１１０とを対比した結果、Ｘ方向に５ピクセル、Ｙ方向に５ピクセルのＸＹ座標（５，５）の位置で検出画像２０の領域１１０と第１基準画像１００との相関値は第１最大相関値Ｐ1となっているが、後で説明する他の基準画像と検出画像２０との相関値の分布の様な特徴のあるピークがなく、全体的に平坦な分布となっている。これは、検出画像２０の左上に存在する影２５によって検出画像２０の図８に示す領域１１０の中に鮮明な長方形パッド２１、正方形パッド２２、位置マーク２３の画像が少なく、各位置において相関値が低くなってしまったためである。
【００４９】
一方、図１０に示すように、第２基準画像２００と検出画像２０の領域２１０とを対比した結果の相関値の分布は、Ｙ方向に３ピクセルの位置でＸ方向に向かって波打つ様なピークを持つものとなっている。ピークの点のつながりを線６２１として示す。これは、第２基準画像２００は、図５に示すように、長方形パッド１１がＸ方向に等間隔で連続して配置されていることから、長方形パッド１１のＸ方向のピッチ毎に大きな相関値が出現するためである。なお、実際の長方形パッド１１のピッチは２ピクセルよりもずっと大きいが、図１０では、模式的にピッチが２ピクセルとして相関値の変化を示している。また、Ｙ方向には３ピクセル以外の位置にピークはない。これは、Ｙ方向には長方形パッド１１の各行の間隔が大きいことから、第２基準画像２００と領域２１０との対比では、Ｙ方向には１つの位置でのみ相関値のピークができるためである。そして、線６２１に沿った各ピークには大小があり、本実施形態では、図１０に示すようにＸ方向に４ピクセル、Ｙ方向に３ピクセルのＸＹ座標（４，３）の位置で第２最大相関値Ｐ2となる。
【００５０】
また、基準画像２００と特定パターンが対称である第４基準画像４００も図１３に示す様に、第２基準画像２００と同様の相関値の分布を示している。異なる点は、Ｙ方向の２ピクセルの位置にＸ方向に向かって波打つ様なピークがみられる点である。ピークの点のつながりを線６４１として示す。そして、線６４１に沿った各ピークには大小があり、本実施形態では、図１３に示すようにＸ方向に５ピクセル、Ｙ方向に２ピクセルのＸＹ座標（５，２）で第４最大相関値Ｐ4となる。
【００５１】
他方、図１２に示すように、第３基準画像３００と検出画像２０の領域３１０とを対比した結果の相関値の分布は、Ｘ方向に４ピクセル、Ｙ方向に３ピクセルのＸＹ座標（４，３）に大きな相関値のピークである第３最大相関値Ｐ3があり、各相関値はこの点を頂点としてＸ方向、Ｙ方向に向かって低下している。このＸ方向に向かう相関値の変化を線６３１で、Ｙ方向に向かう相関値の変化を線６３３で示す。このように、一つのピークができるのは、第３基準画像３００には、長方形パッド１１、正方形パッド１２、位置マーク１３という特定パターンが多く含まれていること、及び検出画像２０の領域３１０には領域１１０のような影２５がないことから、各特定パターンを的確に対比することができ、１つの大きな相関値のピークが出現するためである。
【００５２】
以上のように、各基準画像１００〜４００と検出画像２０の各領域１１０〜４１０との対比の結果、第１基準画像１００と領域１１０の対比による第１最大相関値Ｐ1のＸＹ位置は（５，５）、第２基準画像２００と領域２１０の対比による第２最大相関値Ｐ2のＸＹ位置は（４，３）、第３基準画像３００と領域３１０の対比による第３最大相関値Ｐ3のＸＹ位置は（４，３）、第４基準画像４００と領域４１０の対比による第４最大相関値Ｐ4のＸＹ位置は（５，２）となっている。そして、図９、図１０、図１２、図１３に示す各基準画像１００〜４００と検出画像２０との各ＸＹ座標位置における各相関値に各基準画像１００〜４００の重みを掛けて足し合わせると、図１４に示すように各ＸＹ座標位置における統合された相関値の分布を求めることができる。そして、この統合した相関値のピークとなるＸＹ座標の位置が、各基準画像１００〜４００の各特定パターンの位置であるとしてもよい。しかし、図１０、図１３の線６２１，線６４１で示した波状の相関値の分布は、Ｙ方向の特定パターンの位置をよく示す一方、Ｘ方向の特定パターンの位置を不明確にしてしまう。そこで、他の基準画像と相関値の統合を行う前に、図２のステップＳ１０９に示す様に相関値のフィルタリングを行う。
【００５３】
ここでは、第２基準画像２００、第４基準画像４００と検出画像２０の各領域２１０，４１０との相関値のフィルタリングについて説明する。先に説明したように、制御部３０は図２のステップＳ１０４において各基準画像１００〜４００の伸びる方向を慣性主軸の傾きθとして計算し、その結果を画像データ４４に格納している。第２基準画像２００のように、単純にＸ方向に長方形パッド１１が等間隔で並んでいる様な特定パターンの場合は、画像の伸びる方向は単純にＸ方向となる。そこで、制御部３０は図１に示すフィルタリングプログラム４５を実行し、図１１に示す様なＸ方向の空間フィルタによって図１０に示す相関値の分布をフィルタリングする。この場合、図１１に示す空間フィルタはＸ方向に向かって波打つ相関値を平均化し、図１０に示すように、先端に丸印のある直線６０１を繋げた線６２１のような分布から先端に矢印のある直線６０２を繋げた線６２２のように相関値の分布を平均化する。同様に図１３に示す第４基準画像４００と検出画像２０との領域４１０との相関値の分布も先端に丸印のある直線６０１を繋げた線６４１のような分布から先端に矢印のある直線６０２を繋げた線６４２のような分布に平均化される。そして、制御部３０はフィルタリングした後の各ＸＹ座標の各相関値を画像データ４４に格納する。以上、第２基準画像２００の相関値と第４基準画像４００の相関値のフィルタリングについて説明したが、他の基準画像についても同様に画像の伸びる方向の空間フィルタを用いて各ＸＹ座標の相関値のフィルタリングを行い、その結果を画像データ４４に格納する（フィルタリング工程）。
【００５４】
制御部３０は、図２のステップＳ１１０に示すように、図１に示す統合プログラム４０を実行し、画像データ４４からフィルタリングした後の各基準画像１００〜４００と検出画像２０の各領域１１０〜４１０との各ＸＹ座標位置における各相関値に図２のステップＳ１０３で計算した重みを掛け、ＸＹ座標毎に足し合わせ、図１４に示すように共通の統合ＸＹ座標位置における統合相関値とし、その分布を求める。この工程を空間的に説明すると、図９、図１０、図１２、図１３の４つの相関値の分布図の各原点を図１４に示す共通の統合ＸＹ座標の原点に合わせ、各ＸＹ座標位置における各相関値に図２のステップＳ１０３で計算した重みを掛け、ＸＹ座標毎に足し合わせることとなる（統合工程）。
【００５５】
図１４に示すように統合ＸＹ座標では、Ｘ方向に５ピクセル、Ｙ方向に３ピクセルの統合ＸＹ座標（５，３）の位置に統合した相関値のピークである統合最大相関値Ｐtが表れている。統合ＸＹ座標位置の各統合相関値はこの点を頂点としてＸ方向、Ｙ方向に向かって低下している。このＸ方向に向かう統合相関値の変化を線６５１で、Ｙ方向に向かう相関値の変化を線６５３で示す。このように統合最大相関値Ｐtは空間的に鋭い一つのピークとして現れることから、容易にそのピークの統合ＸＹ座標の位置を求めることができる。
【００５６】
そして、制御部３０は、図２のステップＳ１１１に示すように、図１に示す位置ズレ認識プログラム４１を実行し、統合最大相関値Ｐtの統合ＸＹ座標位置を取得し、図２のステップＳ１１２に示すように、この統合ＸＹ座標の位置を、各基準画像１００〜４００の各特定パターンのズレ位置であると認識する。つまり、第１基準画像１００の場合、制御部３０は、各特定パターンの位置は、第１基準画像１００の原点１０１を検出画像２０の第１所定位置２７ａに合わせた位置からそれぞれＸ方向に５ピクセル、Ｙ方向に３ピクセルのずれた位置にあると認識する。同様に、第２〜第４基準画像２００〜４００の各特定パターンの位置は、第２〜第４基準画像２００〜４００の各原点２０１〜４０１を検出画像２０の第２〜第４所定位置２７ｂ〜２７ｄに合わせた位置からそれぞれＸ方向に５ピクセル、Ｙ方向に３ピクセルだけずれた位置にあると認識する（位置ズレ認識工程）。
【００５７】
そして、この位置ズレ量に基づいて各特定パターンの絶対位置を算出し、その位置にキャピラリ５８を移動させ、ワイヤボンディングを行う。また、この位置ズレ量に基づいて半導体チップ６２の位置を算出し、その位置に基づいてワイヤボンディングを行うようにしてもよい。
【００５８】
以上説明したように、本実施形態では、モデル画像を分割した各基準画像１００〜４００と検出画像２０の各領域１１０〜４１０との各相関値を足し合わせるという簡便な手段によって短時間に特定パターンの位置ズレを認識することができるので、ワイヤボンディング装置５０において半導体チップ６２の位置検出時間の短縮を図ることができるという効果を奏する。また、モデル画像を分割した各基準画像１００〜４００と検出画像２０とを対比するので、検出画像２０の一部に不鮮明な部分があっても精度よく特定パターンの位置ズレを認識することができ、半導体チップ６２の位置検出の精度を向上させることができる。更に、各基準画像のフィルタリングした後、重みを掛けることによって足し合わせの際に発生する検出誤差を抑制し、精度よく特定パターンの位置ズレを認識することができ、半導体チップ６２の位置検出の精度を向上させることができる。
【符号の説明】
【００５９】
１０ 画像、１１，２１ 長方形パッド、１２，２２ 正方形パッド、１３，２３ 位置マーク、１７ 基準点、２０ 検出画像、２５，２６ 影、２７ａ〜２７ｄ 所定位置、３０ 制御部、３１ データバス、３２ 記憶部、３３ 制御プログラム、３４ 制御データ、３５ モデル画像取得プログラム、３６ 基準画像生成プログラム、３７ 検出画像取得プログラム、３８ 原点合わせプログラム、３９ 対比プログラム、４０ 統合プログラム、４１ 位置ズレ認識プログラム、４２ 重み計算プログラム、４３ 方向計算プログラム、４４ 画像データ、４５ フィルタリングプログラム、４６ 移動機構インターフェース、４７ 手動入力装置インターフェース、４８ モニタインターフェース、４９ 撮像装置インターフェース、５０ ワイヤボンディング装置、５１ スプール、５２ ボンディングヘッド、５３ ＸＹテーブル、５４ 移動機構、５５ ボンディングアーム、５５ｂ 超音波ホーン、５６ ボンディングステージ、５７ 超音波振動子、５８ キャピラリ、５９ クランパ、６０ カメラ、６１ ワイヤ、６２ 半導体チップ、６３ 基板、６４ 手動入力装置、６５ モニタ、８０ コンピュータ、１００，２００，３００，４００ 基準画像、１０１，２０１，３０１，４０１ 原点、１１０，２１０，３１０，４１０ 領域、Ｐ1〜Ｐ4，Ｐt 最大相関値、ｍpq 空間モーメント。
【技術分野】
【０００１】
本発明は、検出対象物のパターン位置を検出する位置検出方法に関する。
【背景技術】
【０００２】
取得した画像に基づいて人物の顔の照合等をする方法が用いられている。例えば、蓄積した登録画像を正規化してその特徴部分抽出し、その特徴部分を判別性の高い判別空間に投射しておく。そして、照合しようとする画像を同様に正規化してその特徴を抽出し、その特徴を同様の判別空間に投射し、両者の特徴部分を比較して照合スコアを出力し、そのスコアによって照合判定を行う方法が提案されている（例えば、特許文献１参照）。
【０００３】
また、画像の画像特徴を判別するための方法として画像を分割する方法が提案されている。例えば、一つの原画像を一つの大きさが１４×１８画素（２５２次元）の大きさに９分割し、それぞれの大きさの局所画像を特徴ベクトルとし、それぞれの部分画像に対して学習サンプルを用いて判別分析を行うことが提案されている。この方法は、画像の特徴次元数が２５２次元と原画像より大幅に少なくなることから、画像の判別を行う学習サンプルが少なくとも精度を保って判別をすることができる（例えば、特許文献２参照）。
【０００４】
また、産業機械等において、取り付け部品或いは加工部品の画像を処理してその位置決めを行うことが行われている。例えば、半導体チップの周辺位置に認識パターンと、位置基準としてのターゲットを形成しておき、半導体チップの上に形成されているターゲットの画像データをＩＴＶカメラにより取り込み、この画像と予め設定されてあるターゲットデータの画像とを比較し、両者を一致させることで半導体チップの位置合わせを行うことが行われている（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−３３８０９２号公報
【特許文献２】特開２００４−１９２６０３号公報
【特許文献３】特開平０７−１９３０９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、特許文献３に記載された従来技術によって部品の位置合わせを行う場合には、部品の周辺等の予め決まった位置に位置基準としてのターゲットを設けておき、カメラで取り込んだターゲットの画像と予め設定されているターゲットデータの画像とを一致させることにより位置合わせを行うことから、まず、カメラで部品のターゲットの画像を取得することが必要となる。しかし、部品の周辺部分は照明の関係により鮮明な画像が取得できなかったり、何らかの理由で照明が不十分でターゲットの画像が取得できなかったりする場合がある。そして、ターゲットの画像が不鮮明な場合には、部品の位置決めの精度が低下し、ターゲットの画像が取得できなかった場合には、部品の位置が判断できず、組み立て装置を停止しなければならない場合があった。
【０００７】
そこで、産業機械においても、特許文献１，２に記載したような部品画像の特徴的部分を比較して部品の判定を行い、その結果を用いて部品の位置を検出し、部品の位置合わせを行う方法が用いられる場合が多くなってきている。この方法は、部品に予めターゲットを設けておく必要がなく、予めターゲットが設けられていない部品であっても部品の認識、位置合わせを行うことが可能な上、部品の周辺部分の画像が不鮮明であっても全体の画像に基づいて部品を認識し、その位置合わせを行うことができるので、位置合わせの安定性が高く、より精度よく位置合わせを行うことができる。また、少ない学習サンプルで画像の判別を行うことができるように、画像を分割する方法が用いられることが多い。
【０００８】
ところが、取得した画像に基づいて部品の判定を行うには、画像の処理時間が長くなってしまう。産業機械においては、部品の位置決めは短時間に行わなければならず、人間の顔の画像から個人を認識する様な場合以上の処理速度が要求される。例えば、画像を分割して処理した場合、その検出スコアを統合する際の処理時間が長くなったり、分割したどの画像によって部品の判定、位置決めを行ったら最適であるかを判断する時間が長くなったりすることから、産業機械における応用は制限されたものであった。
【０００９】
本発明は、簡便な画像処理によって部品の位置検出時間の短縮を図ることを目的とする。
【課題を解決するための手段】
【００１０】
本発明のパターン位置検出方法は、検出対象物のモデル画像を取得するモデル画像取得工程と、取得したモデル画像をそれぞれが特定のパターンを含む複数の基準画像に分割する基準画像生成工程と、検出対象物の検出画像を取得する検出画像取得工程と、検出画像の上の複数の所定位置に各基準画像の各原点を合わせる原点あわせ工程と、各基準画像の各原点を検出画像の上の複数の所定位置からＸＹ方向にずらしながら検出画像の中の各基準画像に対応する各領域にある各検出画像部分と各基準画像とを順次対比し、各検出画像部分と各基準画像との間の各相関値を順次取得する対比工程と、それぞれの対比位置における各検出画像部分と各基準画像との間の各相関値を統合ＸＹ面内で統合して統合相関値を生成する統合工程と、統合した統合相関値のピークの統合ＸＹ座標値を検出対象物の各所定位置からＸＹ面内での各基準画像に含まれる各特定のパターンの位置のズレと認識する位置ズレ認識工程と、を含むことを特徴とする。
【００１１】
本発明のパターン位置検出方法において、各基準画像の各特定のパターンに基づいて各相関値を統合する際の重みを計算する重み計算工程を含み、統合工程は、各相関値に重みを掛けあわせた各重みつき相関値を積算すること、としても好適である。
【００１２】
本発明のパターン位置検出方法において、各基準画像の伸びている方向を計算する方向計算工程を含み、対比工程は、取得した各相関値を空間フィルタによりフィルタリングして各フィルタリング後相関値を生成し、統合工程は、各フィルタリング後相関値を統合し、空間フィルタは、各画像の伸びている方向の相関値を抽出するフィルタであること、としても好適であるし、方向計算工程は、各基準画像の空間モーメントを計算する空間モーメント計算工程を含むこと、としても好適である。
【発明の効果】
【００１３】
本発明は、簡便な画像処理によって部品の位置検出時間の短縮を図ることができるという効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態におけるパターン位置検出方法を実行するボンディング装置の構成を示す説明図である。
【図２】本発明の実施形態におけるパターン位置検出方法を示すフローチャートである。
【図３】本発明の実施形態におけるパターン位置検出方法のモデル画像を示す説明図である。
【図４】本発明の実施形態におけるパターン位置検出方法のモデル画像の分割を示す説明図である。
【図５】本発明の実施形態におけるパターン位置検出方法の基準画像を示す説明図である。
【図６】本発明の実施形態におけるパターン位置検出方法の検出画像を示す説明図である。
【図７】本発明の実施形態におけるパターン位置検出方法の原点を合わせる工程を示す説明図である。
【図８】本発明の実施形態におけるパターン位置検出方法の対比工程を示す説明図である。
【図９】本発明の実施形態におけるパターン位置検出方法の相関値の分布を示す説明図である。
【図１０】本発明の実施形態におけるパターン位置検出方法の相関値の分布を示す説明図である。
【図１１】本発明の実施形態におけるパターン位置検出方法の空間フィルタの説明図である。
【図１２】本発明の実施形態におけるパターン位置検出方法の相関値の分布を示す説明図である。
【図１３】本発明の実施形態におけるパターン位置検出方法の相関値の分布を示す説明図である。
【図１４】本発明の実施形態におけるパターン位置検出方法の統合相関値の分布を示す説明図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について図面を参照しながら説明する。以下の説明では、半導体のチップの位置検出を行うことを例として説明する。本発明の実施形態について説明する前に、図１を参照しながら本発明の方法を実施するワイヤボンディング装置について説明する。図１において、信号線は１点鎖線で示す。図１に示すように、本発明の方法を実施するワイヤボンディング装置５０は、ＸＹテーブル５３の上にボンディングヘッド５２が設置され、ボンディングヘッド５２にはボンディングアーム５５が取り付けられている。ボンディングアーム５５はＺ方向モータによって回転中心の回りに駆動され、その先端に超音波ホーン５５ｂが取り付けられ、超音波ホーン５５ｂの先端が半導体チップ６２のパッド面に対して弧状に接離動作するように構成されている。超音波ホーン５５ｂの先端には、キャピラリ５８が取り付けられている。ＸＹテーブル５３とボンディングヘッド５２は移動機構５４を構成し、移動機構５４はＸＹテーブル５３によってボンディングヘッド５２をボンディング面に沿った面内(ＸＹ面内)で自在な位置に移動することができ、これに取り付けられたボンディングアーム５５をＺ方向モータで駆動させることによって、ボンディングアーム５５の先端に取り付けられた超音波ホーン５５ｂの先端及びその先端に取り付けられたキャピラリ５８をＸＹＺの方向に自在に移動させることができる。ＸＹテーブル５３のボンディングアーム５５の先端側には基板６３を吸着固定するボンディングステージ５６が設けられている。
【００１６】
図１に示すように、ワイヤ６１はボンディングヘッド５２の上に取り付けられたスプール５１から供給される。超音波ホーン５５ｂは、超音波振動子５７で発生した超音波エネルギをキャピラリ５８に供給し、キャピラリ５８に挿通されたワイヤ６１を半導体チップ６２のパッド面、及び基板６３のリードの表面に押し付けて接合させる機能を有している。ボンディングへッド５２にはキャピラリ５８に挿通されるワイヤ６１を把持、開放するクランパ５９が設けられている。クランパ５９はボンディングアーム５５と連動してＸＹＺ方向に移動する。
【００１７】
図１に示すように、ワイヤボンディング装置５０は内部にＣＰＵを持つ制御部３０によって各部の位置の検出及び動作制御が行われ、半導体チップ６２と基板６３との間をワイヤ６１によって接続する。ＸＹテーブル５３には、ボンディングへッド５２のＸＹ方向位置を検出するＸＹ位置検出手段が設けられている。ボンディングへッド５２には、半導体チップ６２、基板６３などの画像を取得する撮像手段であるカメラ６０が取り付けられ、カメラ６０によって撮像した画像に基づいて半導体チップ６２の位置を検出したりキャピラリ５８のＸＹ方向の位置決めを行ったりするよう構成されている。カメラ６０は画像信号を取得することができるものであれば絞り機構やシャッタ等の無い撮像素子とレンズ等によって構成されるものでもよい。
【００１８】
上記のＸＹテーブル５３とボンディングヘッド５２によって構成される移動機構５４は移動機構インターフェース４６を介してデータバス３１から制御部３０に接続され、カメラ６０は、撮像装置インターフェース４９を介してＣＰＵを含む制御部３０からの指令によって動作するように構成されている。また、ワイヤボンディング装置５０の制御部３０には、カメラ６０によって取得した画像を映し出すモニタ６５とボンディングヘッド５２或いはカメラ６０の位置を手動で変化させる手動入力装置６４がそれぞれモニタインターフェース４８、手動入力装置インターフェース４７を介して接続されている。カメラ６０によって取得した画像は撮像装置インターフェース４９、データバス３１、モニタインターフェース４８を介してモニタ６５に送られ、モニタ６５によって表示される。また、手動入力装置６４の信号は手動入力装置インターフェース４７、データバス３１、移動機構インターフェース４６を介してＸＹテーブル５３或いはボンディングヘッド５２を動作させるように構成されている。
【００１９】
データバス３１には記憶部３２が接続されている。記憶部３２は、制御部３０の行う位置検出処理や制御指令出力動作に必要な制御データ３４を保持しており、制御部３０からの指令によって制御データ３４を制御部３０に出力し、或いは入力された信号データなどを記憶、保持する。制御部３０とデータバス３１と記憶部３２と各インターフェース４６〜４９とは、一体として構成されたコンピュータ８０であり、記憶部３２には制御データ３４以外にボンディング制御全般をコントロールする制御プログラム３３や、後で説明する、基準画像生成プログラム３６、検出画像取得プログラム３７、原点合わせプログラム３８、対比プログラム３９、統合プログラム４０、位置ズレ認識プログラム４１、重み計算プログラム４２、方向計算プログラム４３、フィルタリングプログラム４５が格納されている。また、カメラ６０によって取得した画像は撮像装置インターフェース４９、データバス３１を介して記憶部３２の画像データ４４の中に格納され、各プログラム３５〜４３，４５によって処理された画像も画像データ４４の中に格納される。
【００２０】
以上のように構成されたワイヤボンディング装置５０によってパターン位置を検出する方法の実施形態について説明する。図２のステップＳ１０１に示すように、制御部３０は検出対象である半導体チップ６２のモデル画像を取得するために図１に示すモデル画像取得プログラム３５を実行する。このモデル画像取得プログラム３５の実行によって図示しない半導体チップ６２の搬送装置が駆動され、半導体チップ６２をモデル画像取得位置まで移動させる。モデル画像取得位置は、ボンディングステージ５６の上の通常のボンディングを行う位置であってもよいし、別途設けたモデル画像取得ステーションであってもよい。制御部３０は、半導体チップ６２をモデル画像取得位置に移動させると、カメラ６０を作動させて半導体チップ６２の画像を取得し、取得した画像をモニタ６５に表示させる。
【００２１】
モニタ６５には、図３に示す様な半導体チップ６２の画像１０が表示される。画像１０は、上側に二段、中央に二段、下側に二段にＸ方向に並んだ横長の長方形パッド１１と、左側に二列にＹ方向に並んだ正方形パッド１２と、４つの十字型の位置マーク１３とを含んでいる。画像１０の左上の角の点は基準点１７である。ここで、長方形パッド１１、正方形パッド１２、位置マーク１３は画像１０の特徴的な部分であり、特定のパターンである。画像１０は半導体チップ６２の半分程度の大きさの画像であるが、特徴的な部分となる長方形パッド１１、正方形パッド１２、位置マーク１３が含まれていればよく、半導体チップ６２全体の画像でなくともよい。本実施形態では、半導体チップ６２の半分程度の部分の画像がモニタ６５に表示されている。作業者は、このモニタ６５に出力された画像１０を確認し、画像１０に欠損や汚れがなく、モデル画像として十分な画質を備えているか、必要な特徴的部分が十分に含まれているかどうかを確認する。そして、作業者が画像１０は十分な画質と特徴的な部分とを有していると判断した場合、作業者はモニタ６５に表示されている画像１０をモデル画像として登録する指令を手動入力装置６４から入力する。制御部３０はこの指令によってモニタ６５に表示されている画像１０をモデル画像として登録し、画像データ４４の中に格納する（モデル画像取得工程）。
【００２２】
また、作業者が画像１０は十分な画質と特徴的な部分とを有していないと判断した場合、作業者は、十分な画質と特徴的な部分とを有している画像１０を取得できるまで、手動入力装置６４から搬送装置を動作させる指令を入力して半導体チップ６２の位置を修正し、制御部３０に図１に示すモデル画像取得プログラム３５を実行させる。そして画像１０が十分な画質と特徴的な部分とを有していると判断した場合、作業者はモニタ６５に表示されている画像１０をモデル画像として登録する指令を手動入力装置６４から入力する。制御部３０はこの指令によってモニタ６５に表示されている画像１０をモデル画像として登録し、画像データ４４の中に格納する。なお、本実施形態では、作業者が画像１０の画質と特徴的な部分の有無を判断することとして説明したが、制御部３０の中に画像１０の画質と特徴的な部分の有無を判断させ、自動的にモデル画像の登録を行うようにしてもよい。
【００２３】
図２のステップＳ１０２に示すように、制御部３０は、基準画像の生成を行うために図１に示す基準画像生成プログラム３６を実行する。この基準画像生成プログラム３６を実行すると、制御部３０は、最初に格納したモデル画像を基準画像に分割する動作を実行する。制御部３０は、図４に示すように、モデル画像に含まれるパッド１１，１２、位置マーク１３等の配置に基づいて画像の分割数を決定し、その分割数にモデル画像を分割する。本実施形態では、モデル画像を４つに分割して４つの基本画像とする場合について説明する。分割数は、モデル画像によって変更してもよいし、半導体チップ６２の種類によって予め決めておいてもよいし、作業者がモニタ６５に表示された画像に基づいて手動入力装置６４から手動入力するようにしてもよい。
【００２４】
図４に示すように、制御部３０は、モデル画像として登録された画像１０のデータを画像データ４４から読みだし、画像１０の左側上の角の基準点１７からＸ方向に距離ΔＸ1だけ画像１０の中心に寄った一点鎖線と、基準点１７からそれぞれＹ方向に距離ΔＹ1だけ画像１０の中心に寄った一点鎖線との範囲を同一の形状の４つのブロックに分割する。従って、各ブロックのＹ方向の長さは、画像１０のＹ方向に長さから距離ΔＹ1を引いた長さを二等分した長さよりも短ければよく、各ブロックのＸ方向の長さは、画像１０のＸ方向の長さから距離ΔＸ1を引いた長さを二等分した長さよりも短ければよく、各長さは、その中に含まれる特徴的な部分の個数等によって決めてよい。なお、本実施形態では、半導体チップ６２の各パッド１１，１２、位置マーク１３は上下方向（Ｙ方向）に対象で、横方向（Ｘ方向）の長さがＹ方向の長さよりも長いので、各ブロックは画像１０の上側、下側の各輪郭線からそれぞれ距離ΔＹ1だけ画像１０の中心に寄った一点鎖線の間を上下に二等分している。このため、各ブロックのＹ方向の長さは、［（画像１０のＹ方向に長さ）−２×（距離ΔＹ1）］／２、となっている。
【００２５】
このように、画像１０を４つのブロックに分割すると、図４に示すように、画像１０は第１基準画像１００，第２基準画像２００，第３基準画像３００，第４基準画像４００の４つの画像に分割される。図４に示すように、各基準画像１００〜４００の間には隙間がなく、第１の基準画像１００の左側の輪郭線と第２画像２００の右側の輪郭線、及び第３の基準画像３００の左側の輪郭線と第４画像４００の右側の輪郭線とはそれぞれ重なっており、上側の第１、第２基準画像１００，２００の各下側の輪郭線と下側の第３、第４基準画像３００，４００の各上側の輪郭線とはそれぞれ重なっている。そして、第１基準画像１００の左上の角の原点１０１は、画像１０の左上の基準点１７からＸ方向に距離ΔＸ1、Ｙ方向に距離ΔＹ1 だけ離れた位置となっている。
【００２６】
そして、制御部３０は生成した各基準画像１００〜４００を画像データ４４に格納する。図５に示すように、各基準画像１００〜４００は同一の形状、大きさとなっており、各基準画像１００〜４００の各左上の角が各基準画像１００〜４００の各原点１０１，２０１，３０１，４０１となっている。第１基準画像１００は、特定のパターンである複数の長方形パッド１１と複数の正方形パッド１２と２つの位置マーク１３とを含んでいる。第３基準画像は、第１基準画像１００と上下対称の画像である。また、第２基準画像２００は、画像１０の上側に配置された長方形パッド１１と画像１０の上下方向の中央部分に配置された長方形パッド１１の上側の段とを特定のパターンとして含んでおり、第４基準画像４００は、第２基準画像２００と上下対称の画像である（基準画像生成工程）。
【００２７】
図２のステップＳ１０３に示すように、制御部３０は、画像データ４４の中に格納した各基準画像１００〜４００の各空間モーメントを計算し、図１に示す方向計算プログラムを実行して計算した各空間モーメントの値に基づいて各基準画像１００〜４００の画像の伸びる方向を計算し、画像データ４４の中に格納する。各空間モーメントは画像の特徴を示す指標となる値であり、以下の式１〜式４によって示される。
座標（ｉ，ｊ）における基準画像１００〜４００のピクセル値をピクセル値ｆ（ｉ，ｊ）とすると、次数（ｐ，ｑ）の空間モーメントｍpqは次の式で計算される。
【００２８】
【数１】
【００２９】
基準画像１００〜４００は二値画像であり、０次モーメントｍ00は各基準画像１００〜４００の面積を表す。また、０次モーメントｍ00に対するＸ軸１次モーメントｍ10の割合（ｍ10／ｍ00)、及び０次モーメントｍ00に対するＹ軸１次モーメントｍ01の割合（ｍ01／ｍ00)は各基準画像１００〜４００の各重心のＸＹ座標Ｇ（ｉG，ｊG）を表す。重心の周りのモーメントは，特に重心モーメントと呼ばれ、次の式２で与えられる。
【００３０】
【数２】
【００３１】
また、２次モーメントは慣性モーメントとも呼ばれ，各基準画像１００〜４００の各２次重心モーメントは式２でｐ＝２，ｑ＝０ならびにｐ＝０，ｑ＝２で次の式３のように与えられる。
【００３２】
【数３】
【００３３】
式３で各基準画像１００〜４００の各重心を原点としたときのＸ軸，Ｙ軸についての各２次モーメントをそれぞれμ02、μ20とすると，各重心の周りの2次モーメントは次の式４にようになる。
【００３４】
【数４】
【００３５】
図２のステップＳ１０４に示すように、制御部３０は、上記の式１〜式４によって計算した各基準画像１００〜４００の空間モーメントに基づいて各基準画像１００〜４００が伸びている方向を表す特徴量である慣性主軸の傾きθを図１に示す方向計算プログラムを実行して計算し、その結果を画像データ４４の中に格納する。慣性主軸の傾きθは、１次モーメントをμ11、Ｘ軸、Ｙ軸についての２次モーメントをそれぞれμ02、μ20として次の式５で表される（方向計算工程）。
【００３６】
【数５】
【００３７】
図２のステップＳ１０５に示すように、制御部３０は、図１に示す重み計算プログラム４２を実行し、上記の式１〜式５によって計算した各基準画像の面積（０次モーメント）、重心位置Ｇ（ｉG，ｊG）、各基準画像の伸びている方向（慣性主軸の傾きθ）等の特徴量に基づいて、各基準画像１００〜４００の重みづけを計算する。例えば、第１、第３基準画像１００，３００と第２、第４基準画像２００，４００とを比較すると、第１、第３基準画像１００，３００は第２、第４基準画像よりも各パッド１１，１２、位置マーク１３の面積が多く、Ｘ方向に長方形パッド１１が等間隔で２列に配置され、Ｙ方向に正方形パッド１２が等間隔で２列に配置され、２つの位置マーク１３が略４５°方向に沿って並んで配置されていることから、画像の伸びている方向が斜め方向となる。一方、第２，第４基準画像の特定パターンは、長方形パッド１１がＸ方向に等間隔で連続して３列に配置されているものであり、画像の面積は第１、第３基準画像１００，３００よりも小さく、画像の伸びる方向は単純なＸ方向となる。このことから、各基準画像１００〜４００を他の画像と対比してその判別を行う際に、第１、第３基準画像１００，３００の方が第２、第４基準画像２００，４００よりも画像の判別を行う特徴量が大きく、より正確に判別を行うことができる。このことから、第１、第３基準画像１００，３００の重みは第２、第４基準画像よりも大きくする。この重みづけは、各基準画像１００〜４００に含まれている特定パターンによって自由に選ぶことができる。制御部３０は、各基準画像１００〜４００の各重みを計算したら、画像データ４４の中に格納する（重み計算工程）。
【００３８】
以上説明したように、各基準画像１００〜４００の生成、各基準画像１００〜４００の方向、重みの計算が終了したら、制御部３０は、実際にボンディングを行う半導体チップ６２の位置検出を行う。
【００３９】
図２のステップＳ１０６に示すように、制御部３０は図１に示す検出画像取得プログラム３７を実行し、検出対象である半導体チップ６２の検出画像の取得を行う。この検出画像取得プログラム３７を実行すると、まず、制御部３０によって図示しない半導体チップ６２の搬送装置が駆動され、ボンディングを行う半導体チップ６２がボンディングステージ５６の上のボンディング位置に搬送される。次に、制御部３０は、カメラ６０を作動させて半導体チップ６２の画像を図６に示すような検出画像２０として取得し、取得した検出画像２０を画像データ４４に格納する。検出画像２０は、先に図３を参照して説明したモデル画像として登録した画像１０と同様、長方形パッド２１、正方形パッド２２、位置マーク２３が同様の位置に配置されたものとなっており、画像の左上の角の点が第１所定位置２７ａとなっている（検出画像取得工程）。
【００４０】
半導体チップ６２の表面の汚れや、照明の位置、方向等により検出画像２０は、画像の特徴部分或いは特定パターンである長方形パッド２１、正方形パッド２２、位置マーク２３が不鮮明の場合が多い。本実施形態では、検出画像２０は、図６に示すように、左上と右下とにそれぞれ影２５，２６ができており、この部分の長方形パッド２１、正方形パッド１２、位置マーク１３が不鮮明で識別できなくなっている。
【００４１】
制御部３０は、図２のステップＳ１０７に示すように、図１に示す原点あわせプログラム３８を実行し、取得した検出画像２０の上に各基準画像１００〜４００を重ね合わせる。原点あわせプログラム３８を実行すると、制御部３０は、図７に示すように、第１基準画像１００の原点１０１を検出画像２０の第１所定位置２７ａに合わせる。すると、図７に示すように、第１基準画像１００の原点１０１は図４を参照して説明した第１基準画像１００を生成する際の第１基準画像１００の原点１０１の位置からＸ方向に距離ΔＸ1、Ｙ方向に距離ΔＹ1だけずれた位置となっている。また、図７に示すように、各基準画像１００〜４００の各長方形パッド１１、各正方形パッド１２、各位置マーク１３の位置は、検出画像２０の各長方形パッド２１、各正方形パッド２２、各位置マーク２３の位置からＸ方向に距離ΔＸ1、Ｙ方向に距離ΔＹ1だけずれた位置となっている。また、第２〜第４基準画像２００〜４００は、図４を参照して説明したように、各基準画像１００〜４００が隙間なく並ぶような位置に位置合わせされる。すると、図７に示すように、第２〜第４基準画像２００〜４００の各原点２０１〜４０１も図４を参照して説明した各基準画像２００〜４００を生成する際の各基準画像２００〜４００の各原点２０１，３０１，４０１の位置からＸ方向に距離ΔＸ1、Ｙ方向に距離ΔＹ1だけずれた位置となっている。この各原点２０１，３１０，４０１の位置は、それぞれ検出画像２０の第２所定位置２７ｂ，第３所定位置２７ｃ、第４所定位置２７ｄの位置となっている。つまり、各基準画像１００〜４００は、図７において一点鎖線５００で示す各基準画像１００〜４００を生成する際の各基準画像１００〜４００の位置からＸＹ方向にそれぞれ同一距離（Ｘ方向に距離ΔＸ1、Ｙ方向に距離ΔＹ1）だけずれた位置となっている（原点合わせ工程）。
【００４２】
制御部３０は、図２のステップＳ１０８に示すように、図１に示す対比プログラム３９を実行し、検出画像２０に対して各基準画像１００〜４００を移動させながら検出画像２０と各基準画像１００〜４００を対比し、その相関値を取得する。以下、図８を参照して検出画像２０と第１基準画像１００との対比と相関値の取得について説明する。なお、図８において一点鎖線５００は各基準画像１００〜４００を生成する際の各基準画像１００〜４００の位置を示している。
【００４３】
制御部３０は、図８に示すように、第１基準画像１００の左上の原点１０１を検出画像２０の左上の角の第１所定位置２７ａに合わせる。この際の基準画像の原点１０１の位置を図８において点１０１ａとして示す。点１０１ａのＸＹ座標は（０，０）である。先に説明したように、この位置では、第１基準画像１００の各長方形パッド１１、各正方形パッド１２、各位置マーク１３の位置は、検出画像２０の各長方形パッド２１、各正方形パッド２２、各位置マーク２３の位置からＸ方向に距離ΔＸ1、Ｙ方向に距離ΔＹ1だけずれた位置となっている。そして、制御部３０は、この位置で検出画像２０と第１基準画像１００とを対比し、その相関値を取得し、図１に示す画像データ４４の中に格納する。そして、次に制御部３０は、第１基準画像１００の原点１０１を第１所定位置２７ａからＸ方向に１ピクセル分だけ移動させ、第１基準画像１００の原点１０１をＸＹ座標（１，０）とし、この位置で検出画像２０と第１基準画像１００との対比し、その相関値を取得して画像データ４４の中に格納する。このように、制御部３０は基準画像１００の原点１０１をＸ方向に１ピクセル移動させる毎に、検出画像２０と基準画像１００とを対比し、相関値を取得し、画像データ４４に格納する。
【００４４】
そして、制御部３０は、図８に示すように、第１基準画像１００の原点１０１の位置をＸ方向に距離ΔＸ1の点１０１ｂ（ＸＹ座標は（ΔＸ1，０））まで移動させたら、原点１０１のＸ方向位置を検出画像２０の第１所定位置２７ａの位置まで戻すと共に、Ｙ方向に１ピクセルだけ移動させ、原点１０１のＸＹ座標を（０，１）とし、検出画像２０と第１基準画像１００と対比し、相関値を取得し、画像データ４４に格納する。制御部３０は、先に説明したと同様、Ｘ方向に向かって第１基準画像１００を１ピクセル移動させる毎に検出画像２０と基準画像１００とを対比し、相関値を取得し、画像データ４４に格納する。そして、制御部３０は、先に説明したと同様、第１基準画像１００の原点１０１の位置をＸ方向に距離ΔＸ1だけ移動動させたら（ＸＹ座標は（ΔＸ1，１））、原点１０１のＸ方向位置を検出画像２０の第１所定位置２７ａの位置まで戻すと共に、Ｙ方向に更に１ピクセルだけ移動させ、原点１０１のＸＹ座標を（０，２）とし、検出画像２０と第１基準画像１００と対比し、相関値を取得し、画像データ４４に格納する。このように、基準画像１００の原点１０１をＸ方向に１ピクセルずつ距離ΔＸ1だけ移動させたら、原点１０１のＸ方向位置を０に戻し、Ｙ方向に１ピクセル移動させてからＸ方向に１ピクセルずつ距離ΔＸ1だけ移動させ、原点１０１の位置をＸＹ座標（ΔＸ1，ΔＹ1）まで移動させる。原点１０１の位置がＸＹ座標（ΔＸ1，ΔＹ1）となったら、制御部３０は、検出画像２０と第１基準画像１００との対比、相関値の取得を終了する。このように、制御部３０は、検出画像２０の中の第１基準画像１００を生成する際の第１基準画像１００よりもＸ方向、Ｙ方向にそれぞれ距離ΔＸ1、距離ΔＹ1だけ広がった領域１１０（図８でハッチングで示した領域）と第１基準画像１００とを対比し、その相関値を取得していく。領域１１０は、第１の基準画像１００に対応する検出画像２０の一部である。
【００４５】
同様に、第２〜第４基準画像もそれぞれ図７に示すように、図４を参照して説明した各基準画像２００〜４００を生成する際の各基準画像２００〜４００の各原点２０１，３０１，４０１の位置からＸ方向に距離ΔＸ1、Ｙ方向に距離ΔＹ1だけずれた各所定位置２７ｂ〜２７ｄから各基準画像２００〜４００の各原点２０１〜４０１をＸ方向に１ピクセルずつ距離ΔＸ1だけ移動させたら、各原点２０１〜４０１のＸ方向位置を各所定位置２７ｂ〜２７ｄのＸ方向位置、即ち、Ｘ方向座標を０に戻し、Ｙ方向に１ピクセル移動させてからＸ方向に１ピクセルずつ距離ΔＸ1だけ移動させ、各原点２０１〜４０１の位置をＸＹ座標（ΔＸ1，ΔＹ1）まで移動させたら、検出画像２０と各基準画像２００〜４００との対比、相関値の取得を終了する。このように、制御部３０は、検出画像２０の中の各基準画像２００〜４００を生成する際の各基準画像２００〜４００よりもＸ方向、Ｙ方向にそれぞれ距離ΔＸ1、距離ΔＹ1だけ広がった図８にハッチングで示す各領域２１０，３１０，４１０と各基準画像２００〜４００とを対比し、その相関値を取得していく（対比工程）。
【００４６】
領域２１０，３１０，４１０は、それぞれ第２、第３、第４基準画像２００〜４００にそれぞれ対応する検出画像２０の一部であり、図８に示すように、領域１１０，３１０の右側部分と領域２１０，４１０の左側部とはそれぞれ距離ΔＸ1だけ重なりあい、領域１１０，２１０の下側部分と領域３１０，４１０の上側部分は距離ΔＹ1だけ重なり合っている。
【００４７】
以上説明したように、本実施形態は、各基準画像１００〜４００の各原点１０１〜４０１を検出画像２０の上にある各基準画像１００〜４００を生成する際の各基準画像１００〜４００の各原点１０１〜４０１の位置よりＸ方向に距離ΔＸ1、Ｙ方向に距離ΔＹ1だけずれた複数の所定位置からＸＹ方向に１ピクセルずらす毎に検出画像２０の中の各基準画像１００〜４００を生成する際の各基準画像１００〜４００よりもＸ方向、Ｙ方向にそれぞれ距離ΔＸ1、距離ΔＹ1だけ広がった各領域１１０〜４１０と各基準画像１００〜４００とを対比し、その相関値を取得していく。従って、もし、検出画像２０の位置とモデル画像として登録した図３に示す画像１０の位置とが全く同一位置であるならば、検出画像２０の各領域と各基準画像１００〜４００との各相関値は、いずれも各基準画像１００〜４００を生成する際の各基準画像１００〜４００の各原点１０１〜４０１の位置からＸ方向に距離ΔＸ1、Ｙ方向に距離ΔＹ1だけ移動した位置において最大の相関値を示すことになる。
【００４８】
このようにして取得した各基準画像１００〜４００の各ＸＹ位置における各相関値は図９、図１０、図１２、図１３に示す様な分布として示される。図９、図１０、図１２、図１３において、縦軸はそれぞれ検出画像２０と各基準画像１００〜４００との各相関値の大きさを示し、先端に丸印のある直線６０１は、その座標位置における各相関値の大きさを示している。図９に示すように、第１基準画像１００と検出画像２０の領域１１０とを対比した結果、Ｘ方向に５ピクセル、Ｙ方向に５ピクセルのＸＹ座標（５，５）の位置で検出画像２０の領域１１０と第１基準画像１００との相関値は第１最大相関値Ｐ1となっているが、後で説明する他の基準画像と検出画像２０との相関値の分布の様な特徴のあるピークがなく、全体的に平坦な分布となっている。これは、検出画像２０の左上に存在する影２５によって検出画像２０の図８に示す領域１１０の中に鮮明な長方形パッド２１、正方形パッド２２、位置マーク２３の画像が少なく、各位置において相関値が低くなってしまったためである。
【００４９】
一方、図１０に示すように、第２基準画像２００と検出画像２０の領域２１０とを対比した結果の相関値の分布は、Ｙ方向に３ピクセルの位置でＸ方向に向かって波打つ様なピークを持つものとなっている。ピークの点のつながりを線６２１として示す。これは、第２基準画像２００は、図５に示すように、長方形パッド１１がＸ方向に等間隔で連続して配置されていることから、長方形パッド１１のＸ方向のピッチ毎に大きな相関値が出現するためである。なお、実際の長方形パッド１１のピッチは２ピクセルよりもずっと大きいが、図１０では、模式的にピッチが２ピクセルとして相関値の変化を示している。また、Ｙ方向には３ピクセル以外の位置にピークはない。これは、Ｙ方向には長方形パッド１１の各行の間隔が大きいことから、第２基準画像２００と領域２１０との対比では、Ｙ方向には１つの位置でのみ相関値のピークができるためである。そして、線６２１に沿った各ピークには大小があり、本実施形態では、図１０に示すようにＸ方向に４ピクセル、Ｙ方向に３ピクセルのＸＹ座標（４，３）の位置で第２最大相関値Ｐ2となる。
【００５０】
また、基準画像２００と特定パターンが対称である第４基準画像４００も図１３に示す様に、第２基準画像２００と同様の相関値の分布を示している。異なる点は、Ｙ方向の２ピクセルの位置にＸ方向に向かって波打つ様なピークがみられる点である。ピークの点のつながりを線６４１として示す。そして、線６４１に沿った各ピークには大小があり、本実施形態では、図１３に示すようにＸ方向に５ピクセル、Ｙ方向に２ピクセルのＸＹ座標（５，２）で第４最大相関値Ｐ4となる。
【００５１】
他方、図１２に示すように、第３基準画像３００と検出画像２０の領域３１０とを対比した結果の相関値の分布は、Ｘ方向に４ピクセル、Ｙ方向に３ピクセルのＸＹ座標（４，３）に大きな相関値のピークである第３最大相関値Ｐ3があり、各相関値はこの点を頂点としてＸ方向、Ｙ方向に向かって低下している。このＸ方向に向かう相関値の変化を線６３１で、Ｙ方向に向かう相関値の変化を線６３３で示す。このように、一つのピークができるのは、第３基準画像３００には、長方形パッド１１、正方形パッド１２、位置マーク１３という特定パターンが多く含まれていること、及び検出画像２０の領域３１０には領域１１０のような影２５がないことから、各特定パターンを的確に対比することができ、１つの大きな相関値のピークが出現するためである。
【００５２】
以上のように、各基準画像１００〜４００と検出画像２０の各領域１１０〜４１０との対比の結果、第１基準画像１００と領域１１０の対比による第１最大相関値Ｐ1のＸＹ位置は（５，５）、第２基準画像２００と領域２１０の対比による第２最大相関値Ｐ2のＸＹ位置は（４，３）、第３基準画像３００と領域３１０の対比による第３最大相関値Ｐ3のＸＹ位置は（４，３）、第４基準画像４００と領域４１０の対比による第４最大相関値Ｐ4のＸＹ位置は（５，２）となっている。そして、図９、図１０、図１２、図１３に示す各基準画像１００〜４００と検出画像２０との各ＸＹ座標位置における各相関値に各基準画像１００〜４００の重みを掛けて足し合わせると、図１４に示すように各ＸＹ座標位置における統合された相関値の分布を求めることができる。そして、この統合した相関値のピークとなるＸＹ座標の位置が、各基準画像１００〜４００の各特定パターンの位置であるとしてもよい。しかし、図１０、図１３の線６２１，線６４１で示した波状の相関値の分布は、Ｙ方向の特定パターンの位置をよく示す一方、Ｘ方向の特定パターンの位置を不明確にしてしまう。そこで、他の基準画像と相関値の統合を行う前に、図２のステップＳ１０９に示す様に相関値のフィルタリングを行う。
【００５３】
ここでは、第２基準画像２００、第４基準画像４００と検出画像２０の各領域２１０，４１０との相関値のフィルタリングについて説明する。先に説明したように、制御部３０は図２のステップＳ１０４において各基準画像１００〜４００の伸びる方向を慣性主軸の傾きθとして計算し、その結果を画像データ４４に格納している。第２基準画像２００のように、単純にＸ方向に長方形パッド１１が等間隔で並んでいる様な特定パターンの場合は、画像の伸びる方向は単純にＸ方向となる。そこで、制御部３０は図１に示すフィルタリングプログラム４５を実行し、図１１に示す様なＸ方向の空間フィルタによって図１０に示す相関値の分布をフィルタリングする。この場合、図１１に示す空間フィルタはＸ方向に向かって波打つ相関値を平均化し、図１０に示すように、先端に丸印のある直線６０１を繋げた線６２１のような分布から先端に矢印のある直線６０２を繋げた線６２２のように相関値の分布を平均化する。同様に図１３に示す第４基準画像４００と検出画像２０との領域４１０との相関値の分布も先端に丸印のある直線６０１を繋げた線６４１のような分布から先端に矢印のある直線６０２を繋げた線６４２のような分布に平均化される。そして、制御部３０はフィルタリングした後の各ＸＹ座標の各相関値を画像データ４４に格納する。以上、第２基準画像２００の相関値と第４基準画像４００の相関値のフィルタリングについて説明したが、他の基準画像についても同様に画像の伸びる方向の空間フィルタを用いて各ＸＹ座標の相関値のフィルタリングを行い、その結果を画像データ４４に格納する（フィルタリング工程）。
【００５４】
制御部３０は、図２のステップＳ１１０に示すように、図１に示す統合プログラム４０を実行し、画像データ４４からフィルタリングした後の各基準画像１００〜４００と検出画像２０の各領域１１０〜４１０との各ＸＹ座標位置における各相関値に図２のステップＳ１０３で計算した重みを掛け、ＸＹ座標毎に足し合わせ、図１４に示すように共通の統合ＸＹ座標位置における統合相関値とし、その分布を求める。この工程を空間的に説明すると、図９、図１０、図１２、図１３の４つの相関値の分布図の各原点を図１４に示す共通の統合ＸＹ座標の原点に合わせ、各ＸＹ座標位置における各相関値に図２のステップＳ１０３で計算した重みを掛け、ＸＹ座標毎に足し合わせることとなる（統合工程）。
【００５５】
図１４に示すように統合ＸＹ座標では、Ｘ方向に５ピクセル、Ｙ方向に３ピクセルの統合ＸＹ座標（５，３）の位置に統合した相関値のピークである統合最大相関値Ｐtが表れている。統合ＸＹ座標位置の各統合相関値はこの点を頂点としてＸ方向、Ｙ方向に向かって低下している。このＸ方向に向かう統合相関値の変化を線６５１で、Ｙ方向に向かう相関値の変化を線６５３で示す。このように統合最大相関値Ｐtは空間的に鋭い一つのピークとして現れることから、容易にそのピークの統合ＸＹ座標の位置を求めることができる。
【００５６】
そして、制御部３０は、図２のステップＳ１１１に示すように、図１に示す位置ズレ認識プログラム４１を実行し、統合最大相関値Ｐtの統合ＸＹ座標位置を取得し、図２のステップＳ１１２に示すように、この統合ＸＹ座標の位置を、各基準画像１００〜４００の各特定パターンのズレ位置であると認識する。つまり、第１基準画像１００の場合、制御部３０は、各特定パターンの位置は、第１基準画像１００の原点１０１を検出画像２０の第１所定位置２７ａに合わせた位置からそれぞれＸ方向に５ピクセル、Ｙ方向に３ピクセルのずれた位置にあると認識する。同様に、第２〜第４基準画像２００〜４００の各特定パターンの位置は、第２〜第４基準画像２００〜４００の各原点２０１〜４０１を検出画像２０の第２〜第４所定位置２７ｂ〜２７ｄに合わせた位置からそれぞれＸ方向に５ピクセル、Ｙ方向に３ピクセルだけずれた位置にあると認識する（位置ズレ認識工程）。
【００５７】
そして、この位置ズレ量に基づいて各特定パターンの絶対位置を算出し、その位置にキャピラリ５８を移動させ、ワイヤボンディングを行う。また、この位置ズレ量に基づいて半導体チップ６２の位置を算出し、その位置に基づいてワイヤボンディングを行うようにしてもよい。
【００５８】
以上説明したように、本実施形態では、モデル画像を分割した各基準画像１００〜４００と検出画像２０の各領域１１０〜４１０との各相関値を足し合わせるという簡便な手段によって短時間に特定パターンの位置ズレを認識することができるので、ワイヤボンディング装置５０において半導体チップ６２の位置検出時間の短縮を図ることができるという効果を奏する。また、モデル画像を分割した各基準画像１００〜４００と検出画像２０とを対比するので、検出画像２０の一部に不鮮明な部分があっても精度よく特定パターンの位置ズレを認識することができ、半導体チップ６２の位置検出の精度を向上させることができる。更に、各基準画像のフィルタリングした後、重みを掛けることによって足し合わせの際に発生する検出誤差を抑制し、精度よく特定パターンの位置ズレを認識することができ、半導体チップ６２の位置検出の精度を向上させることができる。
【符号の説明】
【００５９】
１０ 画像、１１，２１ 長方形パッド、１２，２２ 正方形パッド、１３，２３ 位置マーク、１７ 基準点、２０ 検出画像、２５，２６ 影、２７ａ〜２７ｄ 所定位置、３０ 制御部、３１ データバス、３２ 記憶部、３３ 制御プログラム、３４ 制御データ、３５ モデル画像取得プログラム、３６ 基準画像生成プログラム、３７ 検出画像取得プログラム、３８ 原点合わせプログラム、３９ 対比プログラム、４０ 統合プログラム、４１ 位置ズレ認識プログラム、４２ 重み計算プログラム、４３ 方向計算プログラム、４４ 画像データ、４５ フィルタリングプログラム、４６ 移動機構インターフェース、４７ 手動入力装置インターフェース、４８ モニタインターフェース、４９ 撮像装置インターフェース、５０ ワイヤボンディング装置、５１ スプール、５２ ボンディングヘッド、５３ ＸＹテーブル、５４ 移動機構、５５ ボンディングアーム、５５ｂ 超音波ホーン、５６ ボンディングステージ、５７ 超音波振動子、５８ キャピラリ、５９ クランパ、６０ カメラ、６１ ワイヤ、６２ 半導体チップ、６３ 基板、６４ 手動入力装置、６５ モニタ、８０ コンピュータ、１００，２００，３００，４００ 基準画像、１０１，２０１，３０１，４０１ 原点、１１０，２１０，３１０，４１０ 領域、Ｐ1〜Ｐ4，Ｐt 最大相関値、ｍpq 空間モーメント。
【特許請求の範囲】
【請求項１】
検出対象物のモデル画像を取得するモデル画像取得工程と、
取得したモデル画像をそれぞれが特定のパターンを含む複数の基準画像に分割する基準画像生成工程と、
検出対象物の検出画像を取得する検出画像取得工程と、
前記検出画像の上の複数の所定位置に前記各基準画像の各原点を合わせる原点合わせ工程と、
前記各基準画像の前記各原点を前記検出画像の上の前記複数の所定位置からＸＹ方向にずらしながら前記検出画像の中の前記各基準画像に対応する各領域にある各検出画像部分と前記各基準画像とを順次対比し、各検出画像部分と前記各基準画像との間の各相関値を順次取得する対比工程と、
前記それぞれの対比位置における前記各検出画像部分と前記各基準画像との間の前記各相関値を統合ＸＹ面内で統合して統合相関値を生成する統合工程と、
統合した統合相関値のピークの統合ＸＹ座標値を前記検出対象物の各所定位置からＸＹ面内での各基準画像に含まれる前記各特定のパターンの位置のズレと認識する位置ズレ認識工程と、
を含むパターン位置検出方法。
【請求項２】
請求項1に記載の位置検出方法であって、
前記各基準画像の前記各特定のパターンに基づいて前記各相関値を統合する際の重みを計算する重み計算工程を含み、
前記統合工程は、前記各相関値に前記重みを掛けあわせた各重みつき相関値を積算すること、
を特徴とするパターン位置検出方法。
【請求項３】
請求項１または２に記載のパターン位置検出方法であって、
前記各基準画像の伸びている方向を計算する方向計算工程を含み、
前記対比工程は、取得した前記各相関値を空間フィルタによりフィルタリングして各フィルタリング後相関値を生成し、
前記統合工程は、前記各フィルタリング後相関値を統合し、
前記空間フィルタは、前記各画像の伸びている方向の前記相関値を抽出するフィルタであること、
を特徴とするパターン位置検出方法。
【請求項４】
請求項３に記載の位置検出方法であって、
前記方向計算工程は、前記各基準画像の空間モーメントを計算する空間モーメント計算工程を含むこと、
を特徴とするパターン位置検出方法。
【請求項１】
検出対象物のモデル画像を取得するモデル画像取得工程と、
取得したモデル画像をそれぞれが特定のパターンを含む複数の基準画像に分割する基準画像生成工程と、
検出対象物の検出画像を取得する検出画像取得工程と、
前記検出画像の上の複数の所定位置に前記各基準画像の各原点を合わせる原点合わせ工程と、
前記各基準画像の前記各原点を前記検出画像の上の前記複数の所定位置からＸＹ方向にずらしながら前記検出画像の中の前記各基準画像に対応する各領域にある各検出画像部分と前記各基準画像とを順次対比し、各検出画像部分と前記各基準画像との間の各相関値を順次取得する対比工程と、
前記それぞれの対比位置における前記各検出画像部分と前記各基準画像との間の前記各相関値を統合ＸＹ面内で統合して統合相関値を生成する統合工程と、
統合した統合相関値のピークの統合ＸＹ座標値を前記検出対象物の各所定位置からＸＹ面内での各基準画像に含まれる前記各特定のパターンの位置のズレと認識する位置ズレ認識工程と、
を含むパターン位置検出方法。
【請求項２】
請求項1に記載の位置検出方法であって、
前記各基準画像の前記各特定のパターンに基づいて前記各相関値を統合する際の重みを計算する重み計算工程を含み、
前記統合工程は、前記各相関値に前記重みを掛けあわせた各重みつき相関値を積算すること、
を特徴とするパターン位置検出方法。
【請求項３】
請求項１または２に記載のパターン位置検出方法であって、
前記各基準画像の伸びている方向を計算する方向計算工程を含み、
前記対比工程は、取得した前記各相関値を空間フィルタによりフィルタリングして各フィルタリング後相関値を生成し、
前記統合工程は、前記各フィルタリング後相関値を統合し、
前記空間フィルタは、前記各画像の伸びている方向の前記相関値を抽出するフィルタであること、
を特徴とするパターン位置検出方法。
【請求項４】
請求項３に記載の位置検出方法であって、
前記方向計算工程は、前記各基準画像の空間モーメントを計算する空間モーメント計算工程を含むこと、
を特徴とするパターン位置検出方法。
【図１】
【図２】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−３８２１（Ｐ２０１３−３８２１Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３３９８７（Ｐ２０１１−１３３９８７）
【出願日】平成２３年６月１６日（２０１１．６．１６）
【出願人】（０００１４６７２２）株式会社新川 (128)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１６日（２０１１．６．１６）
【出願人】（０００１４６７２２）株式会社新川 (128)
【Ｆターム（参考）】
[ Back to top ]